lonepatient/nezha_chinese_pytorch

NEZHA: Neural Contextualized Representation for Chinese Language Understanding

NeZha_Chinese_PyTorch

pytorch版NEZHA，适配transformers

论文下载地址: NEZHA: Neural Contextualized Representation for Chinese Language Understanding

运行脚本依赖模块

如果需要运行该案例脚本，需要安装以下模块：

1. trainsformers>=4.1.1
2. TorchBlocks

模型权重下载

官方提供的Tensorflow版本权重下载地址：huawei-noah

已经转化为PyTorch版本权重下载地址如下：

• nezha-cn-base 百度网盘链接 提取码: hckq

• nezha-large-zh 百度网盘链接 提取码: qks2

• nezha-base-wwm 百度网盘链接 提取码: ysg3

• nezha-large-wwm 百度网盘链接 提取码: 8dig

说明：若加载的模型权重是从下列百度网盘下载的PyTorch模型权重，则需要保证torch版本>=1.6.0

运行

执行命令:

sh scripts/run_task_text_classification_chnsenti.sh

长文本

长文本可以通过设置config.max_position_embeddings参数实现，默认值为512，如：

config.max_position_embeddings=args.train_max_seq_length

结果

NEZHA(base-wwm)	chnsenti
tensorflow	94.75
pytorch	94.92

nezha_chinese_pytorch's Issues

大佬可以提供转换到onnx的脚本吗？

咨询下finetune的模型大小

你好，我运行HuggingFace的run_mlm.py脚本做finetune，nezha的base模型保存pytorch_model.bin有1G多，请问这是什么原因？
我对比运行了华为官方的modeling_nezha，发现你们的区别是在attention层，你的多了relative_positions_encoding，是因为这个吗？

两个self.relative_positions_encoding[:to_seq_length, :to_seq_length, :].to(hidden_states.device)太影响性能了

占用了大量CPU资源和时间，建议init初始化后就直接to device

www的意思是？

您好，很感谢您的这一工作，方便请问一下，您这里的模型名称，如nezha-base-www中的www的意思是？不知道是不是Whole Word Masking的意思。

transfomers model hub support

I am woudering if is possible that adding nezha chinese model into huggingface transformers repo, for both code and paramaters. nazhe is widely used in chinese nlp community, and would helps a lot.

能麻烦提供一个从头预训练的代码或者脚本吗

NeZha 有英文版吗？

checkpoint转pytorch问题

有几个问题请教下
1、公司网络无法下载某云盘资源，如何把huawei提供的checkpoint转成pytorch的bin文件。
2、转好后是否可以直接用transformers包加载使用

长文本

设置max_position_embedding >512 后，还是无法输入超过512的长度，请问怎么该怎么用这个处理长文本

RuntimeError: version_ <= kMaxSupportedFileFormatVersion INTERNAL ASSERT FAILED

您好，我在调用nezha-large-www模型的时候出现以下的错：
RuntimeError: version_ <= kMaxSupportedFileFormatVersion INTERNAL ASSERT FAILED
环境是：linux，transformers==4.4.1，pytorch==1.4
请问您知道怎么修复吗

使用华为原本的torch代码加载本项目的nezha-wwm权重有警告

  Weights from pretrained model not used in BertForPreTraining: 
['bert.encoder.layer.0.attention.self.relative_positions_encoding.positions_encoding', 
'bert.encoder.layer.1.attention.self.relative_positions_encoding.positions_encoding', 
'bert.encoder.layer.2.attention.self.relative_positions_encoding.positions_encoding',  
'bert.encoder.layer.3.attention.self.relative_positions_encoding.positions_encoding', 
'bert.encoder.layer.4.attention.self.relative_positions_encoding.positions_encoding', 
'bert.encoder.layer.5.attention.self.relative_positions_encoding.positions_encoding',   
........
 'cls.predictions.decoder.bias']

希望能提供一下这个问题的原因

可以上传模型权重到huggingface吗？

作者您好，非常感谢你将tf版本的权重转换成了pytorch版本。不知道能否上传到huggingface呢？ 因为一些客观因素没办法登录网盘。。

想问一下，可以直接使用transformer里的bert模型，直接来加载nezha权重可以吗

顺便想问一下，和huawei官方的nezha这个有什么区别呢