生成学习算法（转载）

zouquan

网易公开课机器学习的第五节。
generative algorithms主要是通过先验概率来预测后验概率。先验概率包括两部分，一是对数据分布的先验假设，二是对结果的似然估计。也就是p(y)的分布模型，以及p(x|y)的频率。其中y是类别，x是特征向量。算出这两个模型的参数后，就可以计算后延概率p(y|x)。
一种计算p(y|x)的方法是利用计算好的模型分别比较p(x|y)p(y)，另一种是把先验概率转化为后验概率，然后根据最大似然（mle）来估计参数。如果是高斯判别（也就是假定数据符合高斯分布），则后验概率的形式是逻辑回归（logistic regression）。另外指数分布等几个分布，转化为后验概率形式后，都是逻辑回归。
除了用高斯判别算法（gaussian discriminative algorithm）形式化的说明generative algorithm，还讲了朴素贝叶斯（naive bayes）。nb算法主要就是根据先验概率算出数据分布p(xi|y)，然后根据独立概率分布假设，来计算联合概率p(x|y)，最后用贝叶斯公式转化为后验概率形式来做判别。
另外降了拉普拉斯（laplace）平滑方法。其实就是对于稀疏数据给一个很小的因子（factor），保证算法更合理（相当于加入了对未知知识的低概率估计）。