wangshusen/deeplearning

deeplearning's Issues

老师能分享代码吗？

课件不能正常下载

您好，您在这里提供的相关课件不能正常下载，不知道是什么原因，如果可以的话，您抽空检查一下。
下载时提示 ‘Sorry, this file is invalid so it cannot be displayed.’

数据中毒攻击[幻灯片][视频（中文） ] ，这个视频能分享一下吗

既然有中文的能发到B站吗?不能科学上网

王老师您好，请问传统机器学习的教程有视频版吗

谁有pytorch实现的课程代码呢?

LectureNotes/DRL/DRL.pdf

Optimal state-value function 公式中少了个*

embedding层参数量的计算

@wangshusen 老师，您好，我实验了一下， pdf(9_RNN_3)中embedding的参数量应该是output shape[1] * shape[2]， 因此应该是16000，您的ppt上写的是320000，请问是否是误写呢？

FL联邦学习中，server对client恶意行为的侦测（方式的猜想）

机器学习是希望使用一个矩阵，高维空间，对数据特征特征进行模拟。
server如 google 维护一个全局的矩阵w_global。客户端的数据不满足独立同分布，其中本地数据记为 w_local_i, 其中i 为用户名。
给定一个标量 trust_Max 超参数，定义最大偏离的距离，定义某个客户 与 w 的”距离“的矩阵 distance_to_global_i = w - w_local_i (对应元素相减)，检验一下distance_to_global_i 矩阵 L2 范数与 trust_Max 的关系。

大于阈值，代表该用户和大多数用户的使用习惯偏差过大，有蓄意攻击的可能。
但世界上还会存在少量其他用户 w_local_k 和他的 w_local_i 的分布近似，体现在两个“距离矩阵”的差 distance_to_global_i - distance_to_global_k 的新矩阵的L2 很小。意味着利用 google 提供的高维空间 w 拟合两个用户的习惯类似。

---以下，猜测的部分----

在i k中分别训练另一个网络 m_i 和 m_k，m 使用不同于 w 的网络结构、参数，但 m_i 和 m_k参数相同。训练相同epoch。
方法一：得到本地的训练评价acc_i 和 acc_k，交换 m，分别在异地验证m，得到对方m 在本地的评价。与先前的评价进行比较。
方法二：直接对 m_i 和 m_k 差的 L2进行度量，判断 m_1 和 m_k 是否相近。

// 猜测基于假设：
// 如果两个客户的本地 w_local_ 和 w_global 的 对应元素差相近，它们的数据更接近。
// 蓄意攻击者通过加噪声等方式修改本地数据，意图污染 w_global，会让本地数据变得很奇怪，和其他的善良的偏离者在 w 网络下表现类似，却在另一个高纬空间的投影，新的网络 m 中表现不同。（我的猜测，不知道有没有可能。恶意用户 i 修改数据会让数据变得和谁都不像，在 w 中呈现和善良的用户 k 相近的表现，只是偶然。并不会在 m 中 依然接近 k）

还有一种通用方式（应对某些恶意用户 i 他的 w_local_i 并不过分偏离 w_global）：
找一个用户k，他的 w_local_k 和 w_local_i 距离很近。server命令他们根据参数列表 temporary_table(临时生成的一组网络参数，包括层数、行列数量)。i 和 k 依据 table 训练网络 m， 交叉验证异地表现。

并行机器学习中（ring—structure），efficient all—reduce，可否在 O( number_of(node) / Network_bandwidth ) 复杂度下实现？

您的视频中，四个节点，六轮（每轮通讯四条链路同时利用）通讯，共24次通讯，复杂度是（number_of_parameter / wide——bandwidth）

有A B C D四台机器，分别在本地维护维护一个 w 矩阵，和一个同纬度的sum_local 矩阵，一个计数器 i 初始化为1。

sum_local = w // 根据本地 w 的拷贝初始化 sum_local
i = 1 // sum_local 已收集了一个矩阵
while( i != number_of_Node_in_ring )
{
throw w to next node
get new w from previous node // 每次接到上个节点传来的 w，下次循环时只将接收到的w再传递出去
++i
sum_local += w
}

这个方法可行么，共计四轮（每轮，四条链路同时利用）通讯，共16 次通讯（复杂度是 number_of_node / bandwidth）

老师能传个Recommender System那一章节的视频吗，就一节

想听听言简意赅的Recommender System协同过滤内容~

VAE的讲解

感谢王老师的视频讲解与PPT分享，最近在学习VAE的内容，有些疑惑，希望老师能出一期视频讲解一下VAE的内容。谢谢王老师！

感谢王老师，王老师的视频是全网最全面和简明的。

感谢王老师，王老师的视频是全网最全面和简明的。期待王老师持续更新。辛苦了！

Questions about Differentiable Neural Architecture Search

问题 1:
https://www.bilibili.com/video/BV1C64y127Fv 时间: 10:26

θ 不是张量 (看时间：7:00)，所以卷积层block 的输出 不等于 θ

那么 卷积层block 的输出 怎么生成 θ 呢 ？

Question 1:
https://youtu.be/D9m9-CXw_HY?t=626

θ is not a tensor (check video at t=7:00), so the convolutional block output is not equal to θ

So, how does the convolutional block generate θ ?

问题 2:
在 D-X-Y/AutoDL-Projects#99 (comment) 和 GDAS 文献 的式子 (7) 里，如何在两个节点之间的多个平行 的连接线 进行反向传播的运作 ？

Question 2:
For D-X-Y/AutoDL-Projects#99 (comment) and equation (7) of GDAS paper , how to do backpropagation across multiple parallel edges between two nodes ?

您的讲解真的太好了，但是能否提供一下每节课的源码呢？

老师能否发布一下源代码

DeepLearning/Slides/9_RNN_7.pdf 这篇应该是 与机器翻译与 Seq2Seq 结果内容是 Image Caption

内容与标题不匹配，可能是老师处理的课件太多了，失手了，希望可以更新。

PPT

王老师,方便参考一下您的PPT吗?,感觉做的太好了,想着是否可以下载了学习下