用你的train、第一步训练softmax时提示错误

[luhaofang]

用你的train、第一步训练softmax时提示错误

[luhaofang]

请检查一下是否是因为batch-size太大了

[yzk0281]

batch_size是30

[yzk0281]

batch_size改成1也不行..

[yzk0281]

请问你用的哪个版本的caffe？

[yzk0281]

请问您用的哪个python版本？

[luhaofang]

python 2.7
caffe

[yzk0281]

Hi
我用你的vgg_softmax在webface上训练 10010个人 40W张图片 batch_size选择15
然后花了3个小时跑完sampledata.py里面的读取数据后 一直卡在iteration = 0 一整晚都不动
是否训练所需资源太多
请问有什么建议吗？

[luhaofang]

sampledata读的是文本文件，是不会花费3个小时读取的。
iteration卡住有可能是因为在筛选样本的时候，在15个样本中找不到符合semi-hard的样本对，可在代码中添加阈值项避免死循环。

btw：我正在调整代码，之后会发布一个新的版本。

[yzk0281]

不会吧 我看sampledata会读取整个train_val.txt阿
我的里面有40W行阿

[yzk0281]

我还没用tripletselectlayer
我准备先从0开始在clean webface上训练 softmax的vgg网络

[luhaofang]

训练softmax可以直接用原来的方法做

[yzk0281]

原来是什么方法。。
我用的你目录下的train.prototxt 和solver.prototxt 只是把train.prototxt的softmax和triplet的注释换过来 这样行吗？

对了 你的train_val.txt规则。。
现在是
name@_.jpg 类index
为何 name 和 类index是两个东西 然后前面一串name@_.jpg是图片文件下完整的图片名吧？
我的理解对么

[luhaofang]

注释掉是ok的，然后命名规则是 idendity@idendity_id.jpg，我所有的图片文件都放在同一个文件目录下

[yzk0281]

你老的代码才是这个规则( idendity@idendity_id.jpg)吧
现在的sampledata.py:
lines = open('../data/train_val.txt','r')
for line in lines:
personname = line.split('@')[0]
picname = line.split(' ')[0]
self._sample.append(picname)
if personname in self._sample_person.keys():
self._sample_person[personname].append(picname)
else:
self._sample_person[personname] = []
self._sample_person[personname].append(picname)
self._sample_label[personname] = int(line.split(' ')[1])
print len(self._sample_person)
看意思就是你data文件里面的示例阿：[email protected] 类index

[yzk0281]

代码有个语法错误
datalayer.py和tripletlosslayer.py tripletselectlayer.py里面的param_str_ 都应该是 param_str吧

[yzk0281]

我在webface上训练vgg的softmax loss 一直在9左右，，，不收敛 是不是要等很久很久才会收敛？ 因为webface有1W+个人 40W张图片
请问有什么建议吗?
solver和网络都用的你这里的 batch_size设置的15

[yzk0281]

我又开了个用你那个997个人的 model 在wenface上进行finetune的 batchsize也是15
观察中 感觉收敛没什么规律阿 7 8 9 乱跳

[yzk0281]

我用的你的一个老版本的train.py 好像是你刚放出来那会儿的版本
挂着训练 等你新代码放出来研究

[yzk0281]

Hello 请问你的softmax训练的 solver 和 网络文件是怎样的 我一直不收敛。。可以共享下吗？
学习率是多少

[dianxin556]

请问你的config中positive的num是5，triplet层中batch_size 是30，就是说你datalayer层一个blob中包含了一个anchor，4个positive和25个negtive吗？

[luhaofang]

@dianxin556 是的，新的代码里边挑选机制有变化，参数也做了调整

[yzk0281]

Hi， 请问softmax训练时base_lr调整为多少？

[yzk0281]

finetune triplet的时候 solver就用现在这个吗？

[dianxin556]

恩，谢谢。另外我看你的selectnegtive里选择negtive只用了一个条件就是an>ap,没有用论文里的margin，我想问您这样选的原因是什么呢？还有就是tripletlosslayer里的的backward为什么是对a，p，n求偏导？

[yzk0281]

还有就是 你的train_val.txt的组织为何是
idendity@idendity_id.jpg 529
这个529是啥。。

一个图片只有一个identity阿 要么是529要么就是这个identity
难道。。。你这个identity和529是一一对应的？ 好吧 貌似是这样的。。。

[luhaofang]

@dianxin556 筛选条件没有做变化，跟论文里边是一致的。
求偏导是因为layer的输入是3个，分别对应的a、p、n

[luhaofang]

我把这个关掉了，如果有其他的问题，请重新开一个

[luhaofang]

@yzk0281 是的 @ 的前半部分是identity的名称，后半部分是identity的id，整个是一张图片的名称，加上image_path就是全路径。
然后空格后边是这个cls的标识。

[luhaofang]

@yzk0281 训练参数请依据自己的数据进行调整，这个跟数据的关系比较大，建议可以用一些常规的手段，比如vgg_face的model进行finetune

[zhangfudiyi]

@yzk0281 你好，请问一下 一直卡在iteration = 0不动，后面你是怎么解决的！谢谢了！希望能给点意见，不胜感激

[yzk0281]

@zhangfudiyi
你是否batch_size太大 太大的话对机器内存显存要求都比较高
你是否有GPU？没有GPU训练的话机器卡住或者程序直接挂掉
还有一种可能是python死循环了 我好像遇到过 你用他新版本的代码跑就好了