TFRecord 용량 문의

[monologg]

TFRecord 용량 문의

[saebyeok]

지나가다가 답변이 없길래 남깁니다.
문장을 기준으로 데이터를 생성하기 때문에 문장분리가 제대로 안되어 있거나 문장이 매우 긴 코퍼스의 경우 512 토큰으로 잘리면서 용량이 줄어들 수 있습니다. 그 외에도 여러가지 가능성은 있을 것 같습니다.
코퍼스를 직접 확인해 시거나 tfrecord를 읽어서 제대로 생성되었는지 다시 복원해 보는 것이 좋을 것 같네요.

[monologg]

@Jimojimojimo

제가 확인이 많이 늦었네요ㅠ
윗분이 답변 주신대로 문장이 매우 긴 코퍼스여서 512 이상이 많이 truncate 된 것이 원인일 수 있습니다.
(참고로 KoELECTRA에서 pretraining corpus를 만들 때 kss 라이브러리로 문장분리를 진행하였습니다)
혹은 do_lower_case=True 로 세팅하는 등의 이유로 대부분의 토큰이 [UNK]가 되는 경우도 간혹 들었습니다.

여러가지 가능성이 존재할 것 같습니다. 직접 로그를 찍어보면서 확인해보는것을 추천드려요!