[EXP] kakaobrain data concatenate

[boostcampaitech6]

[EXP] kakaobrain data concatenate

[C7C4FF]

다 끝나신 것 같으니 이슈 대신 닫겠습니다

^.^)b

[alwaysday4u]

엇 생각해 보니까 카카오 데이터셋은 train dev test 다 활용해도 되겠군요. 진짜 아무 생각없이 train만 다운받고 합쳤는데;; 주말 동안 dev랑 test 데이터셋도 추가로 합쳐서 실험 돌려보겠습니다!

[jingi-data]

PR 내용 merge 했습니다!

[alwaysday4u]

아 맞아요 그리고 혹시 tsv 파일 다루실 때, train 데이터셋의 경우 중간중간에 양식이 이상한 부분이 있었습니다...! 일단 저는 무식하게 에러 날 때마다 하나하나 걸러줬는데, 번거로운 거 피하고 싶으시면 그냥 text 파일 취급하고 정규식으로 sentence랑 label 걸러내서 새로 csv 파일 만드는 것 추천드립니다...!

[C7C4FF]

이미 merge 하셨지만, download와 concat 이 동일한 작업을 하는 걸로 보입니다.
한번 검토 부탁드립니다~