SATRN - Pre-training with IM2LATEX

[ilovemyminutes]

SATRN - Pre-training with IM2LATEX

[ilovemyminutes]

목적

(1) 외부 데이터로 사전 학습한 뒤 주어진 데이터를 학습하면 성능이 개선되는지 확인
(2) vocab size(토큰 수)를 늘렸을 때 성능 저하 또는 향상이 발생하는지 확인

과정

• List_of_LaTeX_symbols를 참고하여 새로운 Latex 토큰을 추출한 뒤, 기존 tokens.txt와 병합 => 총 576개 토큰을 얻음(공유폴더첨부-tokens576.txt)
• 이후 IM2LATEX으로부터 576개 토큰 외 다른 토큰은 포함되지 않은 이미지/GT를 추출 => 총 30,804개 이미지 추출
• SATRN에 학습 진행: RGB3, Adam, BS36, CustumCosine

추가적으로 확인할 것

• 576개 토큰의 vocab을 활용한 SATRN 학습(IM2LATEX 활용X) => 목적 (1), (2)에 대한 명확한 확인을 위해