在学习变分贝叶斯高斯混合模型(VBGMM)的使用了EM算法:
L(o)原本要求出的L(o)最值得o,但是直接求导很复杂
1、随机给定一个o,根据观测结果和o计算中间变量m的期望
2、m求出来以后,可以通过极大似然估计求最优的θ’
求期望的过程中,可能需要用到Jessen不等式
如果函数f(x)是一个凸函数,则函数的期望E(f(x))>=f(E(x)),当且仅当x为常数时取等号
如果函数f(x)时一个凹函数,则f(E(x))>=E(f(x)),当且仅当x为常数时取等号