Comments (2)
ELECTRA = Discriminator + Generator 라고 명명했을 때, 공유해주신 모델들은 ELECTRA가 아닌, Discriminator와 Generator 뿐일까요?
ELECTRA 모델은 Discriminator와 Generator 두 개를 이용하여 학습하는 구조이기 때문에 discriminator와 generator만 존재합니다.
자세한 아키텍쳐와 사용법은 electra 원 논문을 참고하시면 좋을 것 같습니다.
Tensorflow-v1의 경우에도 Discriminator의 TF1 버전일 뿐인지 문의드립니다.
tensorflow v1 체크포인트에는 discriminator, generator가 같이 포함되어 있습니다.
https://github.com/google-research/electra 참고하시면 될 것 같습니다.
from koelectra.
답변 감사드립니다.
from koelectra.
Related Issues (20)
- base 버전의 tensorflow1 checkpoint 에러 HOT 4
- vocab, [unused] token에 대하여 HOT 3
- 단일 GPU 사전학습 이슈 HOT 3
- 추가학습 관련 질문드립니다. HOT 4
- Finetuning 에 대해서 질문드립니다. HOT 4
- Pretrain된 모델의 weight loading 이슈 HOT 5
- 멀티 클래스 repo HOT 5
- Fine-tuning 관련 질문 ( XLM-RoBERT-large 추가 ) HOT 5
- TFRecord 용량 문의 HOT 2
- hugging face 모델 로드 관련. HOT 7
- ElectraForSequenceClassification 사용시 트레이닝 질문
- vocab 생성 문의 HOT 2
- 전처리 관련 문의 HOT 4
- 모델 로딩 warning 질문 HOT 2
- position embedding 크기 수정 HOT 2
- [ max_length ] 512가 최대인데 텍스트가 최대를 넘을 경우
- vocab 생성관련 mecab pretokenize 방식
- maximum sequence length HOT 2
- WordPiece Vocabulary 예제 코드 에러 HOT 2
Recommend Projects
-
React
A declarative, efficient, and flexible JavaScript library for building user interfaces.
-
Vue.js
🖖 Vue.js is a progressive, incrementally-adoptable JavaScript framework for building UI on the web.
-
Typescript
TypeScript is a superset of JavaScript that compiles to clean JavaScript output.
-
TensorFlow
An Open Source Machine Learning Framework for Everyone
-
Django
The Web framework for perfectionists with deadlines.
-
Laravel
A PHP framework for web artisans
-
D3
Bring data to life with SVG, Canvas and HTML. 📊📈🎉
-
Recommend Topics
-
javascript
JavaScript (JS) is a lightweight interpreted programming language with first-class functions.
-
web
Some thing interesting about web. New door for the world.
-
server
A server is a program made to process requests and deliver data to clients.
-
Machine learning
Machine learning is a way of modeling and interpreting data that allows a piece of software to respond intelligently.
-
Visualization
Some thing interesting about visualization, use data art
-
Game
Some thing interesting about game, make everyone happy.
Recommend Org
-
Facebook
We are working to build community through open source technology. NB: members must have two-factor auth.
-
Microsoft
Open source projects and samples from Microsoft.
-
Google
Google ❤️ Open Source for everyone.
-
Alibaba
Alibaba Open Source for everyone
-
D3
Data-Driven Documents codes.
-
Tencent
China tencent open source team.
from koelectra.