deeplab训练问题

[pengtaojiang]

deeplab训练问题

[PengtaoJiang]

请问这个效果是crf后的效果吗？ 论文里面的结果都是加了crf的效果。

[DL3399]

谢谢您的回复！在以上结果中我加了crf之后，miou分别是vgg16_v1：68.5%，vgg16_v2,：69.3%，resnet_v1:70.4%，resnet_v2:71.3%，与论文的结果还是有小差别，比如说vgg16的结果比论文高，而resnet101的结果比论文低，我知道训练环境的不同也可能会导致这样的差别，所以我还想请问下，论文中的值是单次跑出来的结果还是多次跑出来的结果然后取平均呢？以及您在生成训练deeplab用的伪掩码时是否使用了crf？再次感谢！

[PengtaoJiang]

论文是单次跑出来的结果，伪掩码没有加crf。你的伪标签在训练集上面的mIoU是多少？ ResNet-based deeplab 是不是用的coco pretrained model 做的初始化？

[DL3399]

谢谢，我在运行gen_gt.py时，使用的背景阈值是0.25，这时候生成的pseudo_seg_labels在train集上的mIoU是71.74%，在train_aug集上是69.93%，ResNet-based deeplab使用预训练模型是遵照readme下载的./pretrained/deeplabv1_resnet101-coco.pth，VGG-based deeplab分别是v1：./pretrained/vgg16_deeplabv1_pretrain.pth，v2：./pretrained/vgg16_pretrain.pth

[PengtaoJiang]

方便提供下config文件吗？

[DL3399]

好的谢谢，这是voc12_resnet_v1
EXP:
ID: voc12_resnet_v1
OUTPUT_DIR: data

DATASET:
NAME: vocaug
ROOT: /media/jnu/dgs/VOC2012/
LABELS: ./data/datasets/voc12/labels.txt
N_CLASSES: 21
IGNORE_LABEL: 255
SCALES: [0.5, 0.75, 1.0, 1.25, 1.5]
SPLIT:
TRAIN: train_aug
VAL: val
TEST: test

DATALOADER:
NUM_WORKERS: 0

IMAGE:
MEAN:
R: 122.675
G: 116.669
B: 104.008
SIZE:
BASE: # None
TRAIN: 321
TEST: 513

MODEL:
NAME: DeepLabV1_ResNet101_MSC
N_BLOCKS: [3, 4, 23, 3]
ATROUS_RATES: [6, 12, 18, 24]
INIT_MODEL: ./pretrained/deeplabv1_resnet101-coco.pth

SOLVER:
BATCH_SIZE:
TRAIN: 5
TEST: 1
ITER_MAX: 20000
ITER_SIZE: 2
ITER_SAVE: 5000
ITER_TB: 100
LR_DECAY: 10
LR: 2.5e-4
MOMENTUM: 0.9
OPTIMIZER: sgd
POLY_POWER: 0.9
WEIGHT_DECAY: 5.0e-4
AVERAGE_LOSS: 20

CRF:
ITER_MAX: 10
POS_W: 3
POS_XY_STD: 3
BI_W: 4
BI_XY_STD: 121
BI_RGB_STD: 5

这是 voc12_resnet_v2
EXP:
ID: voc12_resnet_v2
OUTPUT_DIR: data

DATASET:
NAME: vocaug
ROOT: /media/jnu/dgs/VOC2012/
LABELS: ./data/datasets/voc12/labels.txt
N_CLASSES: 21
IGNORE_LABEL: 255
SCALES: [0.5, 0.75, 1.0, 1.25, 1.5]
SPLIT:
TRAIN: train_aug
VAL: val
TEST: test

DATALOADER:
NUM_WORKERS: 0

IMAGE:
MEAN:
R: 122.675
G: 116.669
B: 104.008
SIZE:
BASE: # None
TRAIN: 321
TEST: 513

MODEL:
NAME: DeepLabV2_ResNet101_MSC
N_BLOCKS: [3, 4, 23, 3]
ATROUS_RATES: [6, 12, 18, 24]
INIT_MODEL: ./pretrained/deeplabv1_resnet101-coco.pth

SOLVER:
BATCH_SIZE:
TRAIN: 5
TEST: 1
ITER_MAX: 20000
ITER_SIZE: 2
ITER_SAVE: 5000
ITER_TB: 100
LR_DECAY: 10
LR: 2.5e-4
MOMENTUM: 0.9
OPTIMIZER: sgd
POLY_POWER: 0.9
WEIGHT_DECAY: 5.0e-4
AVERAGE_LOSS: 20

CRF:
ITER_MAX: 10
POS_W: 3
POS_XY_STD: 1
BI_W: 4
BI_XY_STD: 67
BI_RGB_STD: 3

[DL3399]

我又训练了一遍，resnet_v1:70%，resnet_v2:71.4%，和第一次训练的结果区别不是很大，请问能否提供您生成的用于训练deeplab的伪掩码，谢谢

[PengtaoJiang]

你好，我们生成的伪标签就是用提供的预训练分类模型生成的，你可以直接生成下。 此外，可否提供下你的预训练的分割模型，我们确认下问题是出在测试阶段还是训练阶段？

[DL3399]

不好意思我没有理解，“伪标签就是用提供的预训练分类模型生成的”，我没有找到预训练分类模型，请问在哪里能下载呢，还有“预训练的分割模型”是指deeplabv1_resnet101-coco.pth这个文件吗

[YuqiYang213]

抱歉没有说明清楚，“提供的预训练模型”是指这个，你可以尝试一下。
“预训练的分割模型”是指你训练后得到的deeplabv1和deeplabv2模型，我们希望在我们这里测试一下模型从而确定测试过程没有问题。

[DL3399]

这是我训练后得到的deeplabv1_resnet101和deeplabv2_resnet101模型，麻烦您了。链接：https://pan.baidu.com/s/1cju8ilH1ghPo0mWfyZ4_jw
提取码：l2x3

[PengtaoJiang]

@DL3399 hello, 请问你用我们的伪标签训练过模型了吗？

[DL3399]

嗯嗯，我训练过了，在val集上结果分别是vgg16_v1：68.7%，vgg16_v2,：69.7%，resnet_v1:70.5%，resnet_v2:71.5%

[YuqiYang213]

使用caffe转化的预训练模型可以得到论文相应的结果，同时也好于pytorch模型的初始化。
这个（提取码48kv）是caffe转化的预训练模型，你可以试一试。

[DL3399]

谢谢！