Comments (2)
지나가다가 답변이 없길래 남깁니다.
문장을 기준으로 데이터를 생성하기 때문에 문장분리가 제대로 안되어 있거나 문장이 매우 긴 코퍼스의 경우 512 토큰으로 잘리면서 용량이 줄어들 수 있습니다. 그 외에도 여러가지 가능성은 있을 것 같습니다.
코퍼스를 직접 확인해 시거나 tfrecord를 읽어서 제대로 생성되었는지 다시 복원해 보는 것이 좋을 것 같네요.
from koelectra.
제가 확인이 많이 늦었네요ㅠ
윗분이 답변 주신대로 문장이 매우 긴 코퍼스여서 512 이상이 많이 truncate 된 것이 원인일 수 있습니다.
(참고로 KoELECTRA에서 pretraining corpus를 만들 때 kss 라이브러리로 문장분리를 진행하였습니다)
혹은 do_lower_case=True
로 세팅하는 등의 이유로 대부분의 토큰이 [UNK]
가 되는 경우도 간혹 들었습니다.
여러가지 가능성이 존재할 것 같습니다. 직접 로그를 찍어보면서 확인해보는것을 추천드려요!
from koelectra.
Related Issues (20)
- base 버전의 tensorflow1 checkpoint 에러 HOT 4
- vocab, [unused] token에 대하여 HOT 3
- 단일 GPU 사전학습 이슈 HOT 3
- 추가학습 관련 질문드립니다. HOT 4
- Finetuning 에 대해서 질문드립니다. HOT 4
- Pretrain된 모델의 weight loading 이슈 HOT 5
- 멀티 클래스 repo HOT 5
- Fine-tuning 관련 질문 ( XLM-RoBERT-large 추가 ) HOT 5
- hugging face 모델 로드 관련. HOT 7
- ElectraForSequenceClassification 사용시 트레이닝 질문
- vocab 생성 문의 HOT 2
- 전처리 관련 문의 HOT 4
- 사전학습 모델 파일 문의 HOT 2
- 모델 로딩 warning 질문 HOT 2
- position embedding 크기 수정 HOT 2
- [ max_length ] 512가 최대인데 텍스트가 최대를 넘을 경우
- vocab 생성관련 mecab pretokenize 방식
- maximum sequence length HOT 2
- WordPiece Vocabulary 예제 코드 에러 HOT 2
Recommend Projects
-
React
A declarative, efficient, and flexible JavaScript library for building user interfaces.
-
Vue.js
🖖 Vue.js is a progressive, incrementally-adoptable JavaScript framework for building UI on the web.
-
Typescript
TypeScript is a superset of JavaScript that compiles to clean JavaScript output.
-
TensorFlow
An Open Source Machine Learning Framework for Everyone
-
Django
The Web framework for perfectionists with deadlines.
-
Laravel
A PHP framework for web artisans
-
D3
Bring data to life with SVG, Canvas and HTML. 📊📈🎉
-
Recommend Topics
-
javascript
JavaScript (JS) is a lightweight interpreted programming language with first-class functions.
-
web
Some thing interesting about web. New door for the world.
-
server
A server is a program made to process requests and deliver data to clients.
-
Machine learning
Machine learning is a way of modeling and interpreting data that allows a piece of software to respond intelligently.
-
Visualization
Some thing interesting about visualization, use data art
-
Game
Some thing interesting about game, make everyone happy.
Recommend Org
-
Facebook
We are working to build community through open source technology. NB: members must have two-factor auth.
-
Microsoft
Open source projects and samples from Microsoft.
-
Google
Google ❤️ Open Source for everyone.
-
Alibaba
Alibaba Open Source for everyone
-
D3
Data-Driven Documents codes.
-
Tencent
China tencent open source team.
from koelectra.