토큰 종류에 따른 데이터 분리

[bcaitech1]

토큰 종류에 따른 데이터 분리

[ilovemyminutes]

토큰이 vocab으로 주어졌으니, TF-IDF를 활용하면 괜찮은 접근이 될 것 같다!

Reference.
https://wikidocs.net/31698
https://ko.wikipedia.org/wiki/Tf-idf

[ilovemyminutes]

TF-IDF를 취한 뒤, K-means 로 군집화를 한 결과, 군집이 잘 맺어지지 않는 경향을 보였다.
Ground Truth의 텍스트'만'을 활용해 그룹 기준을 잡는 것이 어렵다는 것을 의미하는데,
한편으로는 주어진 Task는 우선적으로 이미지로부터 feature를 뽑고 학습을 진행하는데, ground truth의 텍스르로만 validation 셋을 고민한다는 것이 부적절한 전략일 수 도 있겠다는 생각이 든다.

때문에! 이미지 비율(factor)에 대한 요소를 추가하여 데이터를 분리해보면 좋을 것 같다.