monologg/hanbert-transformers

HanBert on 🤗 Huggingface Transformers 🤗

🚀 Things I do

• NLP Engineer, contributing on Korean NLP with Open Source!

📬 Find me at

hanbert-transformers's Issues

Issue about transformers version

안녕하세요. 공개해주신 코드 정말 유용하게 잘 쓰고 있습니다. 감사합니다!

다름 아니라 transformers 4.0.0 에서 제공해주신 toy example을 그대로 사용할 수 없어서 이렇게 글을 남깁니다.

아래와 같은 에러가 발생합니다.
(Ubuntu에서 실행되었고, 디렉토리 셋팅도 동일하게 했습니다.)

from tokenization_hanbert import HanBertTokenizer
tokenizer = HanBertTokenizer.from_pretrained('HanBert-54kN-torch')
text = "나는 걸어가고 있는 중입니다. 나는걸어 가고있는 중입니다. 잘 분류되기도 한다. 잘 먹기도 한다."
tokenizer.tokenize(text)
...
AttributeError: 'HanBertTokenizer' object has no attribute 'vocab'

model output에 관련한 toy example도 output type이 바뀌어 약간의 수정이 필요하지만 error는 발생하지 않습니다.

참고로 transformers 2.2.2 에서는 문제없이 실행 가능합니다.

transformers version에 대한 요구사항이 추가되어야할 것 같아 이렇게 글을 남깁니다!

HanBertTokenizer

안녕하세요

먼저 공개해주신 코드 너무 감사히 잘 사용하고 있습니다.

다름이 아니라 HanBert-54kN-torch 를 path로 하여 test 파일을 실행 시키면

'HanBertTokenizer' object has no attribute 'vocab' 과 같은 attribute 에러가 나옵니다.

tokenization_hanbert.py 파일의 435 line 에서 에러가 발생하는데 어떻게 해결할 수 있을까요..?

감사합니다!