gyunggyung/kogpt2-finetuning

🔥 Korean GPT-2, KoGPT2 FineTuning cased. 한국어 가사 데이터 학습 🔥

KoGPT2-FineTuning

SKT-AI에서 약 20GB의 한국어 데이터를 Pre-Training 시킨 KoGPT2를 사용했습니다. 첫 번째로 가사 작사를 위해서, 저작권이 만료된 정제된 가사 데이터, 소설, 기사 등을 Data별로 weight를 다르게 주며 Fine-tuning 하였습니다. 또한 장르도 받아서 음악 장르별 가사 학습 결과를 볼 수 있습니다.

또한 Colab에서는 원활한 학습을 위해서 Google Drive와 Dropbbox을 연동했습니다. 학습한 중간 결과를 Google Drive에서 Dropbbox로 이동시킨 후, Google Drive에서 해당 결과를 삭제하게 합니다. 이와 관련된 Code

음악 장르별로, CSV 형식의 Dataset을 받는 바뀐 Version 2의 Code로 KoGPT2-FineTuning 작업을 하기 어렵다면, Version 1.1을 이용하길 바랍니다.

아래에서, 다양한 한국어 가사를 학습한 결과를 확인 할 수 있습니다. 우리는 이외에도 다양한 프로젝트를 진행할 것입니다.

Sample

Data structure

weight	Genre	lyrics
1100.0	발라드	'내 맘을 알잖아요\n\n\n바로처럼 멍하니 서 있는 모습만\n\n\n바라보다\n\n\n포기할 수 밖에 없어서...'
...

3x200000

Fine Tuning

python main.py --epoch=200 --data_file_path=./dataset/lyrics_dataset.csv --save_path=./checkpoint/ --load_path=./checkpoint/genre/KoGPT2_checkpoint_296000.tar --batch_size=1

parser

parser.add_argument('--epoch', type=int, default=200,
					help="epoch 를 통해서 학습 범위를 조절합니다.")
parser.add_argument('--save_path', type=str, default='./checkpoint/',
					help="학습 결과를 저장하는 경로입니다.")
parser.add_argument('--load_path', type=str, default='./checkpoint/Alls/KoGPT2_checkpoint_296000.tar', 
					help="학습된 결과를 불러오는 경로입니다.")
parser.add_argument('--samples', type=str, default="samples/",
					help="생성 결과를 저장할 경로입니다.")
parser.add_argument('--data_file_path', type=str, default='dataset/lyrics_dataset.txt',
					help="학습할 데이터를 불러오는 경로입니다.")
parser.add_argument('--batch_size', type=int, default=8,
					help="batch_size 를 지정합니다.")

Use Colab

Colab을 이용해서 Fine-tuning Code를 실행할 수 있습니다.

Runtime Disconnection Prevention

function ClickConnect() {
    // 백엔드를 할당하지 못했습니다.
    // GPU이(가) 있는 백엔드를 사용할 수 없습니다. 가속기가 없는 런타임을 사용하시겠습니까?
    // 취소 버튼을 찾아서 클릭
    var buttons = document.querySelectorAll("colab-dialog.yes-no-dialog paper-button#cancel"); 
    buttons.forEach(function(btn) {
		btn.click();
    });
    console.log("1분 마다 다시 연결");
    document.querySelector("#top-toolbar > colab-connect-button").click();
}
setInterval(ClickConnect,1000*60);

Clear the screen every 10 minutes

function CleanCurrentOutput(){ 
	var btn = document.querySelector(".output-icon.clear_outputs_enabled.output-icon-selected[title$='현재 실행 중...'] iron-icon[command=clear-focused-or-selected-outputs]");
	if(btn) {
		console.log("10분 마다 출력 지우기");
		btn.click();
	}
} 
setInterval(CleanCurrentOutput,1000*60*10);

GPU Memory Check

nvidia-smi.exe

generator

python generator.py --temperature=1.0 --text_size=1000 --tmp_sent=""

표절 없음

python generator.py --temperature=5.0 --text_size=500 --tmp_sent=""

parser

parser.add_argument('--temperature', type=float, default=0.7,
					help="temperature 를 통해서 글의 창의성을 조절합니다.")
parser.add_argument('--top_p', type=float, default=0.9,
					help="top_p 를 통해서 글의 표현 범위를 조절합니다.")
parser.add_argument('--top_k', type=int, default=40,
					help="top_k 를 통해서 글의 표현 범위를 조절합니다.")
parser.add_argument('--text_size', type=int, default=250,
					help="결과물의 길이를 조정합니다.")
parser.add_argument('--loops', type=int, default=-1,
					help="글을 몇 번 반복할지 지정합니다. -1은 무한반복입니다.")
parser.add_argument('--tmp_sent', type=str, default="사랑",
					help="글의 시작 문장입니다.")
parser.add_argument('--load_path', type=str, default="./checkpoint/Alls/KoGPT2_checkpoint_296000.tar",
					help="학습된 결과물을 저장하는 경로입니다.")

Use Colab

Colab을 이용해서 generator를 실행할 수 있습니다.

tensorboard

학습에 따른 변화를 확인하기 위해서, tensorboard로 접근하여 loss와 text를 확인합니다.

tensorboard --logdir=runs

loss

text

Citation

@misc{KoGPT2-FineTuning,
  author = {gyung},
  title = {KoGPT2-FineTuning},
  year = {2020},
  publisher = {GitHub},
  journal = {GitHub repository},
  howpublished = {\url{https://github.com/gyunggyung/KoGPT2-FineTuning}},
}

Output

자세한 결과물은 samples에서 확인 할 수 있습니다. 학습에 대해서는 관련 포스팅에서 확인할 수 있습니다.

Reference

https://github.com/openai/gpt-2
https://github.com/nshepperd/gpt-2
https://github.com/SKT-AI/KoGPT2
https://github.com/asyml/texar-pytorch/tree/master/examples/gpt-2
https://github.com/graykode/gpt-2-Pytorch
https://gist.github.com/thomwolf/1a5a29f6962089e871b94cbd09daf317
https://github.com/shbictai/narrativeKoGPT2
https://github.com/ssut/py-hanspell
https://github.com/likejazz/korean-sentence-splitter

kogpt2-finetuning's Issues

미세조정 시 오류

안녕하세요.

좋은 자료를 제공해주셔서 다양한 테스트를 진행해 볼 수 있었습니다.
정말 감사드립니다.

다름이 아니라, 미세조정 시 여러 데이터세트에 대해서 동일한 오류를 발생시키기 있어, 이렇게 문의를 드리게 되었습니다.

해당 오류는 아래와 같습니다. 혹시 이런 에러의 발생 원인을 아신다면... 가이드 부탁 드립니다.
Traceback (most recent call last):
File "main.py", line 187, in
main(args.epoch, args.save_path, args.load_path, args.samples, args.data_file_path, args.batch_size)
File "main.py", line 144, in main
outputs = model(data, labels=data)
File "/opt/conda/lib/python3.7/site-packages/torch/nn/modules/module.py", line 550, in call
result = self.forward(*input, **kwargs)
File "/root/data/KoGPT2-FineTuning/kogpt2/model/torch_gpt2.py", line 588, in forward
inputs_embeds=inputs_embeds,
File "/opt/conda/lib/python3.7/site-packages/torch/nn/modules/module.py", line 550, in call
result = self.forward(*input, **kwargs)
File "/root/data/KoGPT2-FineTuning/kogpt2/model/torch_gpt2.py", line 474, in forward
hidden_states, layer_past=layer_past, attention_mask=attention_mask, head_mask=head_mask[i]
File "/opt/conda/lib/python3.7/site-packages/torch/nn/modules/module.py", line 550, in call
result = self.forward(*input, **kwargs)
File "/root/data/KoGPT2-FineTuning/kogpt2/model/torch_gpt2.py", line 227, in forward
self.ln_1(x), layer_past=layer_past, attention_mask=attention_mask, head_mask=head_mask
File "/opt/conda/lib/python3.7/site-packages/torch/nn/modules/module.py", line 550, in call
result = self.forward(*input, **kwargs)
File "/root/data/KoGPT2-FineTuning/kogpt2/model/torch_gpt2.py", line 190, in forward
attn_outputs = self._attn(query, key, value, attention_mask, head_mask)
File "/root/data/KoGPT2-FineTuning/kogpt2/model/torch_gpt2.py", line 146, in _attn
w = w * b - 1e4 * (1 - b)
RuntimeError: The size of tensor a (1031) must match the size of tensor b (1024) at non-singleton dimension 3

토큰 생성시 오류

얼마 전에 메일로 연락드렸던 자연어처리 공부하는 학생입니다.
처음에는 아래 그림처럼 Text_size = 100 에 맞추어 잘 생성이 되었는데요.

일정 시점 이후로는 토큰이 10개 미만으로 생성되며 제대로 생성이 되지 않고 있습니다. 동일한 현상이 있으셨거나 해결법이 있다면 해결법을 알고 싶습니다. 데이터셋의 형태를 바꿔보기도 하고 sample_sequence 함수를 잘못 건드린게 있나 싶어 코드를 새로 클론 받았는데도 같은 현상이 일어나고 있습니다. 문제가 발생한 이후로는 아래 그림처럼 생성이 됩니다.

기본 실행 질문

안녕하세요 :)
딥러닝을 시작한지 얼마 되지않은 학생입니다.
먼저 좋은 리소스 올려주셔서 감사드립니다.
궁금한 것이 많은데 답변해주시면 정말 감사하겠습니다.

1. Fine Tuning하는 과정에서 아래 파라미터 중 dataset은 제가 구축해야 하는 부분인가요??
   python main.py --epoch=200 --data_file_path=./dataset/All_make_lyrics_dataset.txt --save_path=./checkpoint/ --load_path=./checkpoint/auto_enter/KoGPT2_checkpoint_18500.tar --batch_size=8

2. 해당 자료에는 checkpoint 디렉토리가 없는데 checkpoint의 데이터를 참조하는데, 이 부분도 제가 구축해야 하는 부분인가요? 추가적으로 train하지 않고 generate.py를 실행하면 모델을 아래 처럼 checkpoint에서 참조하는데 이부분도 같은 맥락인가요?
   pytorch_kogpt2 = { 'url': 'checkpoint/pytorch_kogpt2_676e9bcfa7.params', 'fname': 'pytorch_kogpt2_676e9bcfa7.params', 'chksum': '676e9bcfa7' }

3. colab 환경에서 아래와 같이 실행하셨는데, !python main.py' 아닌 아래처럼 실행이 가능한 이유가 궁금합니다.
   main(temperature=0.9, tmp_sent = "사랑", text_size = 500, loops = 5, load_path = load_path, samples = samples)

긴 글 읽어주셔서 감사합니다.

학습이 제대로 안 됨. 생성도 안 됨.

loss는 줄어드나 제대로 된 생성이 안 됨. 버전이 문제인가? 데이터셋 문제인가?

EminemGPT 추가

/코드 및 링크 추가. 가능하면 리포지토리 이름도 바꾸기.

Memory Leak 현상에 대하여

Inference과정에서 Memory Leak현상이 발생하는데 혹시 어떻게 해결하셨나요?
객체를 제거하거나 캐시를 비워도 동일합니다. GPU메모리가 아닌, 서버 시스템메모리입니다.

개행문자 학습에 대하여

안녕하세요,

SKT-AI/KoGPT2#11 이슈에 대해 잘 보았습니다.
혹시 결국 실제 학습하실 때는 어떻게 하셨는지 알수 있을까요?

version 1.1 에서는 이슈에서 말하신대로

vocab.token_to_idx["\n"] = vocab.token_to_idx[""]
del vocab.token_to_idx[""]

와 같은 코드를 활용하여 학습을 진행한 것으로 보이는데, version 2.0 에서는 해당 코드가 존재하지 않기에 여쭈어봅니다.

아니면 혹시.spiece 파일을 수정하셨는지요?

저도 새로운 토큰의 정의가 필요하고 이를 자동토큰화 하고싶은 상황입니다.
답변해주신다면 정말 감사하겠습니다 :)

메모리가 끝도 없이 올라가는 이슈가 발생

원인을 모르겠음.

사전을 변경하지 못하는 문제

관련 문제

google/sentencepiece#485

SKT-AI/KoGPT2#11

SKT-AI/KoGPT2#12