吴恩达的Deep Learning Specialization 知识点整理, 内容暂时跳过了CNN部分, 建议与课程一起食用, 这部分作为复习时快速过知识点, 课程参考Coursera.
Course 1 Neural Networks and Deep Learning
-
- logistic回归 -- 二分类器
- sigmoid函数
- loss函数 && MSE和Cross Entropy方法对比
- cost函数
- 前向传播与反向传播
- numpy中的广播机制
- numpy的二分类器实现
- logistic回归 -- 二分类器
-
- 浅层神经网络
- 神经网络的表示
- 正向传播和反向传播
- 激活函数 && sigmoid和relu, tanh的比较
- 梯度下降的学习方法
- 随机初始化
Course 2 Hyperparameter tuning, Regularization and Optimization
-
- train/Dev/Test Set
- 利用Bias和Variance诊断模型
- 正则化
- L1/L2
- Dropout
- others
- 归一化
- 梯度爆炸和梯度消失
- Xavier参数初始化
-
- Mini-batch训练方法和优点
- 指数加权平均
- Bias Correction
- Momentum SGD
- RMSprop
- Adam
- 学习率衰减
- 神经网络优化中的局部最优问题
-
- 超参调整
- 调整顺序(重要性排列)
- 调整方法
- Batch Normalization
- 计算方法
- 机制有效性
- BN在test过程的正确性
- TensorFlow基础
- tensorflow基本操作
- 使用tensorFlow训练全连接多分类器
- 超参调整
Course3 Structuring Machine Learning Projects Todo!
Course5 Sequence Model
- Week1
- RNN 基本结构
- RNN的正向传播
- BPTT反向传播
- 梯度消失问题
- 梯度爆炸/Clipping方法
- RNN的numpy实现
- GRU
- pytorch实现
- LSTM
- pytorch实现
- 双向RNN
- Deep RNN
- RNN 基本结构
- Week2 !todo
- 词嵌入
- Word2Vec && GloVe
- Week3
- Seq2Seq
- Beam Search
- Attention Model
- Attention变种
- Self Attention
- Multi-head Attention
Reinforcement Learning
Others
React
Typescript
Django
Laravel
Facebook
Microsoft
Google
Alibaba
D3
Tencent