smirkcao / lihang Goto Github PK

View Code? Open in Web Editor NEW

5.9K 160.0 1.6K 10.14 MB

Statistical learning methods, 统计学习方法(第2版)[李航] [笔记, 代码, notebook, 参考文献, Errata, lihang]

Python 52.52% Shell 2.34% Jupyter Notebook 45.15%

book lihang statistical-learning-methods machine-learning python

lihang's People

Contributors

Stargazers

Watchers

Forkers

yxz9087 betterzgf liushuchun hulalazz happog johnnyzhang-chn ivonnechen reswqa skjack fishredleaf huobuwei un-knower congwen ljh-zjut lnsongxf xding fengyikil gitter-badger qianguyizhe snowdj limengmingx gezhengyy66 alexbnlee theonefred sunhui0608 huosan0123 waics tlwzzy zhengchenyang smilingfish000 wensincai uraboer yilinzhi nealleehit electronicliujiang zhenyuwei jzyhywxz im-han lizenghui1121 jijiji1477 waterleephant reyoung1988 zitronell sweetice hmiaooo qiangzhangcv xjs924 nofeetbird0321 sunxiaoyang1996 qiuchumo chessqian shannonyu xiaochengcike wlwd13303 codecollect zhangxujinsh anme90 andudu zeyuxiao1997 gpsbird batermj guanlongtianzi fengjixuchui xiangjjj tasen legendtianjin liwzhi machinecf ailiwensong zhangbei123 luojianp vipzpb 2673323862 fuxianh yahiko-l zengjz mojirml qinghecc duxm lemonxy qinmyeric gscr10 finaivip lqpcwl1986 parety extreme-assistant debinzhanghhu brandonsherlocking jplee1969 haonan-qin paulzhangising pierrezhangcw liuheng2cqupt zswzifir porterpan binbinche jcchao licsh hongbowei maymayw

lihang's Issues

问题描述

具体问题描述
RT，方差为1 和标准差为1是一个概念么？

在规范化这个过程里面，去均值，除以标准差。

问题描述

就$P_{330}$中的结果，使用np.svd拿到的结果和书中的结果不太一样，有符号差异，为什么？

问题描述

测试案例分解
代码整理
这章节笔记也要重新整理，大bug，之前没注意，这章笔记基本没整理过来。
后面加法模型与前向分步算法处理下。

问题描述

[x]针对EM算法应该采用什么样的测试案例验证算法的正确性.

增加一维和多维的数据生成.

比较近的数据混合, 用工具包看下效果.

问题描述

最后的图entropy写成了enntropy

这个图不是太完整，统一一下风格，做成矢量图，补充一下数据集的说明。

问题描述

AdaBoost算法最终分类器的训练误差界是怎么推导出来的:
$$
\frac{1}{N}\sum\limits_{i=1}\limits^N I(G(x_i)\neq y_i)\le\frac{1}{N}\sum\limits_i\exp(-y_i f(x_i))=\prod\limits_m Z_m
$$
看第一版有详细的说明, 但是还有个地方不太明白是怎么推导出来的
$$
\frac{1}{N}\sum_i exp \left ( -\sum_{m=1}^M a_m y_i G_m(x_i)\right ) \
= \sum_i w_{1i}\prod_{m=1}^M exp \left ( -a_m y_i G_m(x_i) \right)
$$
麻烦老师讲解

章节结构

为什么在第五章安排了决策树

感知机中的损失函数中的分母为什么可以不考虑？

问题描述

问题来自知乎301591528
https://www.zhihu.com/question/310591528
感知机是支持向量机和NN的基础，这个问题整理下。

原问题：
有些人解释是正数，不影响，但是分母中含有 w，而其也是未知数，在考虑损失函数的最值时候会不影响么？想不通

最大熵模型中, 特征函数个数为什么和样本数不一样?

问题描述

最大熵模型中, 特征函数个数为什么和样本数不一样?

图片无法正常显示

问题描述

具体问题描述
如“关于感知机为什么不能处理异或问题, 可以借助下图理解。”这句话下面的图片无法正常显示。

GMM聚类怎么确定类别的？

问题描述

使用EM算法估计GMM的参数，做聚类的应用。怎么决定样本的类别的？

考虑是否需要改进示例10.2

问题描述

这个例子里面状态集合大小和观测序列长度一样, 实现的时候axis容易混淆.
是不是可以考虑增加T到4或5

解压密码是多少

问题描述

具体问题描述

整理前向后向部分代码

问题描述

这部分代码写的不够整洁, 重新整理一下.
递推应该可以写的比较美

CRF 相关问题

逻辑回归只能用Sigmoid么？比如ReLU行不行

问题描述

逻辑回归只能用sigmoid么？ReLU行不行。

贝叶斯定理中各个部分的意义

how to show the 'hits'?

Can you tell me how to show the button of hits?

后向与前向求解一致性问题.

问题描述

后向算法求观测序列概率和前向算法有千分位差异, 问题出在哪里

EM算法的初值敏感性分析

问题描述

EM算法对初值敏感, 考虑提供示例进行说明

说实话你这个解说问题太太多

问题描述

各种语焉不详说完前面没后面以及公式不规范导致即使安装了插件也无法识别出来你想要写的公式，$$这种少了个后面符号导致整段识别错误的情况比比皆是，还是算了算了

这行 j 因该是 i

Lihang/CH07/svm.py

Line 83 in 598eaa3

if (0 < self.alpha[i]) and (self.C > self.alpha[j]):

关于LSA的一些问题

问题描述

首先，非常感谢能无私开源自己的代码，对我们的学习真的很有帮助。
在lsa的fit()方法中，这个函数的作用是将x->x_trainsform。但是我不太理解为什么x_transform是Us，因为U本身已经是话题向量空间。svh代表文本在话题向量空间中的表示。那么这里x_transform的含义是什么？
而component返回的则是vh，这个component的意义又是什么？
还有explained_variance是计算的x_transform的方差，这个的意义又是什么

Undefined names: 'x' and 'rst'

flake8 testing of https://github.com/SmirkCao/Lihang on Python 3.7.1

$ flake8 . --count --select=E901,E999,F821,F822,F823 --show-source --statistics

./CH11/crf.py:60:59: F821 undefined name 'x'
                    self.M[i, j, :] = self.f[k](y_i, y_j, x, j)
                                                          ^
./CH10/hmm.py:153:24: F821 undefined name 'rst'
                return rst
                       ^
2     F821 undefined name 'rst'
2

E901,E999,F821,F822,F823 are the "showstopper" flake8 issues that can halt the runtime with a SyntaxError, NameError, etc. These 5 are different from most other flake8 issues which are merely "style violations" -- useful for readability but they do not effect runtime safety.

F821: undefined name name
F822: undefined name name in __all__
F823: local variable name referenced before assignment
E901: SyntaxError or IndentationError
E999: SyntaxError -- failed to compile a file into an Abstract Syntax Tree

关于第二章感知机的代码

问题描述

perceptron.py

if __name__ == '__main__':
    logging.basicConfig(level=logging.INFO, format='%(asctime)s - %(name)s - %(levelname)s - %(message)s')
    logger = logging.getLogger(__name__)

    ap = argparse.ArgumentParser()
    ap.add_argument("-p", "--path", required=False, help="path to input data file")
    args = vars(ap.parse_args())
else:
    logging.basicConfig(level=logging.INFO, format='%(asctime)s - %(name)s - %(levelname)s - %(message)s')
    logger = logging.getLogger(__name__)

在单元测试中，以上设置日志的代码显然是有意义的，在库perceptron中包含这样的代码的作用是什么？

三硬币中9.6,9.7,9.8怎么理解

问题描述

这三个公式什么含义? 该怎么理解

全书Review-02

CH06中logistic_regression代码的问题

问题描述

logistic_regression.py中第74行代码：rst_ = (1 / m) * np.dot(x_.T, y_ * sigmoid(np.dot(x_, w_))) （g函数）；
如果使用梯度下降作为更新法则，应该是y_ - sigmoid(np.dot(x_, w_))才对吧？请问作者为什么这里给的是y_ * sigmoid(np.dot(x_, w_))呢？感谢。

有没有那么一瞬间觉得PCA和LSA是一回事？

问题描述

在sklearn里面更是把LSA和截断奇异值分解当作一回事。
元芳，你怎么看？

基尼系数的几何表示

CH05

感知机中的w怎么画出来的?

问题描述

具体问题描述
图2.1 或者后面支持向量机中的图7.2, 7.3, 7.5之类

SVM推导过程中有用到合页损失么？

问题描述

书中的推导有没有用到合页损失？

您好作者，请问为什么我打开不显示公式

问题描述

我使用了你说的
Chrome插件TeX All the Things
本地Markdown编辑器Typora
但是打开还是显示不全，因为是ubuntu系统吗？

EM中M步公式推导

后面补一下这部分推导

关于支持向量机有6个向量拉格朗日对偶来求怎么理解?

问题描述

在知乎上推了这么个问题，有空可以处理下。
原链接

关于支持向量机有6个向量拉格朗日对偶来求怎么理解?
线性支持向量机对如下两类可分数据进行分类：

+1：（1，1），（2，2），（2，0）

-1：（0，0），（1，0），（0，1）

（1）在图中做出这6个训练点，构造具有最优超平面和最优间隔的权重向量

（2）说明支持向量是哪些

（3）通过寻找拉格朗日乘子αi来构造在对偶空间中的解，并将其与（1）中的结果比较

SVM为什么安排在LR和AdaBoost中间

CH07

问题描述

具体问题描述
支持向量机为什么安排在LR和AdaBoost中间

楼主能否提供PDF？

问题描述

具体问题描述

能否提供下pdf文件下载，现在的md 公式显示不太全。

EM例9.1

问题描述

书中描述
独立的重复n次实验(这里n=10), 观测结果如下:
1,1,0,1,0,0,1,0,1,1

上面这个观测,
和1,1,1,1,1,1,0,0,0,0有区别么?

smirkcao / lihang Goto Github PK

lihang's People

Contributors

Stargazers

Watchers

Forkers

lihang's Issues

相关章节

相关主题

问题描述

相关章节

相关主题

问题描述

相关章节

相关主题

问题描述

相关章节

相关主题

问题描述

相关章节

相关主题

问题描述

相关章节

相关主题

问题描述

相关章节

相关主题

问题描述

相关章节

相关主题

问题描述

相关章节

问题描述

相关章节

相关主题

问题描述

相关章节

相关主题

问题描述

相关章节

相关主题

问题描述

相关章节

相关主题

问题描述

相关章节

相关主题

问题描述

相关章节

相关主题

问题描述

相关章节

相关主题

问题描述

相关章节

相关主题

问题描述

相关章节

相关主题

问题描述

相关章节

相关主题

相关章节

相关主题

问题描述

相关章节

相关主题

问题描述

相关章节

相关主题

问题描述

相关章节

相关主题

问题描述

相关章节

相关主题

问题描述

相关章节

相关主题

问题描述