koelectra-base-finetuned-nsmc 미작동 이슈

[monologg]

koelectra-base-finetuned-nsmc 미작동 이슈

[monologg]

s3쪽 이슈를 직접 해결할 수 없어 koelectra-base-finetuned-nsmc를 koelectra-base-finetuned-sentiment로 이름을 변경하여 재업로드함

[Irenejy93]

s3쪽 이슈를 직접 해결할 수 없어 koelectra-base-finetuned-nsmc를 koelectra-base-finetuned-sentiment로 이름을 변경하여 재업로드함
안녕하세요.. koelectra-base-finetuned-nsmc대신, koelectra-base-finetuned-sentiment를 사용해봤는데, nsmc와 다르게 결과가 계속 0.5에 가까운값만 나오는데.. 확인해주실수있나요?

[monologg]

@Irenejy93

3달 전에 이 모델을 처음 만들 때는 transformers==2.9.0 이었고, ElectraForSequenceClassification이 공식적으로 지원되지 않았습니다.

이에 제가 직접 ElectraForSequenceClassification을 만들어서 사용하였습니다. (code) 그리고 이를 이용하여 학습한 모델이 koelectra-base-finetuned-sentiment 입니다

그러다가 transformers==2.11.0 으로 가면서 ElectraForSequenceClassification 이 공식적으로 라이브러리에서 지원되었는데, 제가 model.py에서 구현한 것과는 형태가 좀 다릅니다 (code)

• dropout이 2개로 추가됨
• gelu가 중간중간 사용됨

그럼에도 model.py라는 파일없이 transformers만 있으면 pipeline을 사용할 수 있게 코드를 만들고 싶었고, 이에 transformers에서 구현된 ElectraForSequenceClassification를 이용하여 다시 학습했고, 그 모델이 koelectra-base-finetuned-nsmc 입니다. (때마침 이전에 있던 s3 이슈도 해결되었고요)

결론은 koelectra-base-finetuned-sentiment는 model.py와 같이 쓰셔야 합니다. 현 레포에서는 deprecated입니다.