机器学习和生物信息学实验室联盟

标题: 生成学习算法(转载) [打印本页]

作者: zouquan    时间: 2012-3-14 08:48
标题: 生成学习算法(转载)
网易公开课机器学习的第五节。
generative algorithms主要是通过先验概率来预测后验概率。先验概率包括两部分,一是对数据分布的先验假设,二是对结果的似然估计。也就是p(y)的分布模型,以及p(x|y)的频率。其中y是类别,x是特征向量。算出这两个模型的参数后,就可以计算后延概率p(y|x)。
一种计算p(y|x)的方法是利用计算好的模型分别比较p(x|y)p(y),另一种是把先验概率转化为后验概率,然后根据最大似然(mle)来估计参数。如果是高斯判别(也就是假定数据符合高斯分布),则后验概率的形式是逻辑回归(logistic regression)。另外指数分布等几个分布,转化为后验概率形式后,都是逻辑回归。
除了用高斯判别算法(gaussian discriminative algorithm)形式化的说明generative algorithm,还讲了朴素贝叶斯(naive bayes)。nb算法主要就是根据先验概率算出数据分布p(xi|y),然后根据独立概率分布假设,来计算联合概率p(x|y),最后用贝叶斯公式转化为后验概率形式来做判别。
另外降了拉普拉斯(laplace)平滑方法。其实就是对于稀疏数据给一个很小的因子(factor),保证算法更合理(相当于加入了对未知知识的低概率估计)。





欢迎光临 机器学习和生物信息学实验室联盟 (http://123.57.240.48/) Powered by Discuz! X3.2