da-southampton/read_bert_code

Bert源码阅读与讲解(Pytorch版本)-以BERT文本分类代码为例子

read_bert_code's Issues

转换模型后无法读取

Traceback (most recent call last):
File "run_classifier.py", line 522, in
main()
File "run_classifier.py", line 460, in main
config = config_class.from_pretrained(args.config_name if args.config_name else args.model_name_or_path, num_labels=num_labels, finetuning_task=args.task_name)
File "/home/cirlab1/userdir/liujin/NLP/Read_Bert_Code/bert_read_step_to_step/transformers/configuration_utils.py", line 154, in from_pretrained
config = cls.from_json_file(resolved_config_file)
File "/home/cirlab1/userdir/liujin/NLP/Read_Bert_Code/bert_read_step_to_step/transformers/configuration_utils.py", line 189, in from_json_file
return cls.from_dict(json.loads(text))
File "/home/cirlab1/anaconda3/lib/python3.6/json/init.py", line 349, in loads
s = s.decode(detect_encoding(s), 'surrogatepass')
UnicodeDecodeError: 'utf-8' codec can't decode byte 0x80 in position 0: invalid start byte

py文件

convert_tf_checkpoint_to_pytorch，这个貌似需要指定一个转换的模型

convert_tf_checkpoint_to_pytorch.py 没有找到

这个很棒

读文件

bert-base-chinese的文件读取不下来，解码有问题，请问要怎么解决呀

question

什么时候安排一下bert源码解读的视频呀大佬

如何理解BertSelfAttention中transpose_for_scores函数的逻辑？

你好，请问在BertSelfAttention中，hidden_states经过Q、K、V三个矩阵后分别得到mixed_query_layer，mixed_key_layer，mixed_value_layer三个结果，问题是：这三个结果为什么都要经过transpose_for_scores函数处理？特别是transpose_for_scores函数中的new_x_shape = x.size()[:-1] + (self.num_attention_heads, self.attention_head_size)该如何理解？

或者换个问法：为什么通过new_x_shape = x.size()[:-1] + (self.num_attention_heads, self.attention_head_size)就可以实现多头？

能做一期视频教学吗

大神，能做一期这个项目的视频教学吗

Unknown command: --model_type=bert

请求添加一下.gitignore文件，让大伙儿追更起来更加方便

目前已知的冲突有两个：

• bert_read_step_to_step\idea\ PyCharm配置文件
• bert_read_step_to_step\prev_trained_model\bert-base-chinese\ 预训练的数据集文件

大佬辛苦了！