kevinyukun/comments

comments's Issues

ML图 | 我啊lkjflaj

https://icream.top/2019/09/23/ML%E5%9B%BE/#more

regularization | 我啊lkjflaj

https://icream.top/2019/09/21/regularization/#more

有道云笔记 [TOC] cost Function和regularization监督学习的目的就是要最小化cost Function. 但这个过程中往往会产生些错误，如overfit，而正则化的存在是通过调整正则化参数而达到想要的目的 cost Functionlog对数cost Function—logstic regression square loss —– 最小二乘，OLS Hinge

GBDT | 我啊lkjflaj

https://icream.top/2019/07/18/GBDT/

加载不了图片就点有道云笔记 机器学习技法 —— Gradient Boosted Decison Tree==这一章，从第一小节已知延伸到最后的GBDT，其中每一小节都包含了一个不同的aggregation== 1. AdaBoost Decision Tree首先，比对比对上图左右两个，RF和AdaBoost DT,区别就在于base algorithm用的是bagging还是AdaBoost。

SVM 集成学习 Xmind | 我啊lkjflaj

https://icream.top/2019/09/05/SVM-%E9%9B%86%E6%88%90%E5%AD%A6%E4%B9%A0-Xmind/

SVM 集成学习 XmindSVM 集成学习 SVM model 总结

SVM 集成学习 Xmind | 我啊lkjflaj

https://icream.top/2019/09/05/SVM-%E9%9B%86%E6%88%90%E5%AD%A6%E4%B9%A0-Xmind/

SVM 集成学习 XmindSVM 集成学习 SVM model 总结

numpy可视化文档 | 我啊lkjflaj

https://icream.top/2019/09/06/numpy%E5%8F%AF%E8%A7%86%E5%8C%96%E6%96%87%E6%A1%A3/

numpy可视化文档 https://jalammar.github.io/visual-numpy/

SVM与对偶perceptron | 我啊lkjflaj

https://icream.top/2019/10/29/SVM%E4%B8%8E%E5%AF%B9%E5%81%B6perceptron/#more

SVM与对偶Perceptron最近上课讲到SVM，太久没回顾了有点蒙，之前笔记之记在纸上，甚是不便，今日便将其整理upload。 由perceptron引发的这篇文章普通perceptronloss function：梯度更新则有： 对偶perceptron我们可以相对原本的perceptron算法换个思路去思考，因为我们有梯度更新如下，即最终的w = 所有ηyx相加，b = 所有ηy相加

逻辑回归与交叉熵 | 我啊lkjflaj

https://icream.top/2019/09/27/%E9%80%BB%E8%BE%91%E5%9B%9E%E5%BD%92%E4%B8%8E%E4%BA%A4%E5%8F%89%E7%86%B5/

由于逻辑回归是一个伯努利分布，所以逻辑回归本质是交叉熵(作为损失函数)逻辑回归和交叉熵对于MSE顾虑都一样，(y-a)^2，对于神经网络而言，会降低w,b的更新速度，而对于逻辑回归来说,MSE会导致代价函数非凸，存在很多局部最优解。先了解信息熵和相对熵 相对熵—KL散度相对熵又称KL散度,如果我们对于同一个随机变量 x 有两个单独的概率分布 P(x) 和 Q(x)，我们可以使用 KL 散度（K

Random Tree | 我啊lkjflaj

https://icream.top/2019/07/16/Random%20Tree/

加载不了图片就点有道云笔记 机器学习技法 —— Random Forest基分类器gt 1. Random Forest Alogorithm回想Bagging, 其可以减少variance，而Decision Tree则是具有很大的variance，那么如果把他们结合起来就有Random Forest同时，这种方法具有相对多的好处，能够并行运算不同的决策树再合起来，RF集成了CART的优点，还

C3 信息增益 | 我啊lkjflaj

https://icream.top/2019/09/04/C3%20%E4%BF%A1%E6%81%AF%E5%A2%9E%E7%9B%8A/#more

看不到图片就点有道云笔记 ==为了对信息(特征？)进行量化处理，然后再选定以什么作为标准，期望(纯度越来越高)信息增益越大== [TOC] 决策树 特征选择“信息熵”是度量样本集合不确定度（纯度）的最常用的指标熵—->不确定性的量度熵越高，不确定性越大越随机，概率低，熵越大熵越大，信息量越大 1. 信息熵信息熵公式: 其中p(xi)代表随机事件X为xi的概率 信息量：(时间发生概率越大，信息

c3 决策树算法比较 | 我啊lkjflaj

https://icream.top/2019/09/04/c3%20%E5%86%B3%E7%AD%96%E6%A0%91%E7%AE%97%E6%B3%95%E6%AF%94%E8%BE%83/

看不到图片就点有道云笔记 [TOC] CART, C4.5, ID3 比较ID3信息增益主导ID3 容易导致一个问题就是加入14个样本，14个都不同种类，算法的结果会是分成14个分支，不容易泛化，由此衍生出C4.5的算法 C4.5信息增益率主导 CARTGini系数主导Gini系数反应的是剩余数据集的纯度，如果Gini系数越小就说明数据集D纯度越高 与信息增益公式类似：==加入特征X后数据不