部分机器学习算法理论推导:逻辑回归梯度下降牛顿法奇异值分解(SVD)距离集成学习决策树推介算法

    技术2023-11-24  98

    目录

    逻辑回归

    梯度下降

    牛顿法

    奇异值分解(SVD)

    距离

    集成学习

    决策树

    推介算法


    逻辑回归

    目标

    处理分类问题,二分类的概率预测输出,通过OVA可以用于多分类。OAV将预测的多个类别看作目标类与其他类,两类。

    原理

    损失函数只有一个局部最优值,因为损失函数是一个连续凸函数。

    可解释性:θ的每个元素可以解释为,对结果的贡献的大小。b(x恒为1),b=0,可以判断正负判断是均匀的,b>0说明更容易分为正类。

    梯度下降

    牛顿法

    奇异值分解(SVD)

    距离

    集成学习

    决策树

    推介算法

     

    Processed: 0.009, SQL: 9