pre-trained 모델을 불러올때 에러가 발생합니다.

[sooftware]

pre-trained 모델을 불러올때 에러가 발생합니다.

[sooftware]

epoch0.pt <https://drive.google.com/file/d/1PLKhgs3oleuWYAddG5p0rhsRDIKZ1FRg/view?usp=drive_web> 안녕하세요. HunBeom Bak님. 저희 프로젝트에 관심가져주셔서 감사합니다. 먼저 보여주신 에러는 학습시켰을 당시와 현재 코드간에 변수명이 서로 상이함에 따른 에러인 것으로 확인됩니다. 0에폭 16,000스텝 웨이트파일을 로드하셨다고 하셨는데, 저희 팀원이 push할 당시에 실수로 올라간 것 같아 정확히 언제 코드인지가 확인이 되지 않습니다 ㅎㅎ.. 현재 저희가 1에폭 학습시킨 웨이트 파일을 첨부해드리겠습니다. 다만, 저희도 학습시키는 데스크탑 코드와 제가 노트북에서 작성하는 코드간에 변수명이 조금 다를수도 있어서, 이 부분은 확인하시고 조금만 수정해주시면 될 것으로 보입니다. 해당 웨이트 파일은 약 57% 정도의 정확도가 나왔던 것으로 기억합니다. 그리고 저희는 'GTX TITAN X' GPU를 이용하여 학습을 진행하고 있습니다. (GPU 메모리 12GB) 저희 모델이 조금 무겁다보니, 저희도 배치사이즈 6으로 돌리고 있습니다 .(8은 가끔 메모리 에러가 나더라구요) 이 외에도 궁금한적 언제든지 메일 혹은 이슈 등록해주시면 답변드리겠습니다. 감사합니다. 2020년 4월 16일 (목) 오후 6:29, Hunbeom Bak <[email protected]>님이 작성:

…

안녕하세요. 먼저 이렇게 좋은 자료들을 깃허브에 올려주셔서 감사합니다. data폴더에 있는 0에폭 16000step의 weight를 불러 와볼려고 합니다. 환경은 아나콘다로 파이썬3.7 버전으로 진행했으며, 필요한 라이브러리는 requirements.txt로 설치했습니다. 먼저 train.py로 학습 실행되는것은 확인했습니다(OOM으로 중단 상태입니다.) test.py에서 코드는 테스트 데이터셋 경로만 수정했으며, 실행하면 아래와 같은 에러가 발생합니다. (KASR) ***@***.***:~/Desktop/data/ASR/End-to-End-Korean-Speech-Recognition$ python test.py [2020-04-16 18:23:18,883 test.py:67 - <module>()] device : TITAN Xp [2020-04-16 18:23:18,883 test.py:68 - <module>()] CUDA is available : True [2020-04-16 18:23:18,883 test.py:69 - <module>()] CUDA version : 10.1 [2020-04-16 18:23:18,883 test.py:70 - <module>()] PyTorch version : 1.4.0 [2020-04-16 18:23:18,883 config.py:87 - print_log()] use_bidirectional : True [2020-04-16 18:23:18,883 config.py:88 - print_log()] use_attention : True [2020-04-16 18:23:18,883 config.py:89 - print_log()] use_pickle : False [2020-04-16 18:23:18,883 config.py:90 - print_log()] use_augment : True [2020-04-16 18:23:18,883 config.py:91 - print_log()] use_pyramidal : True [2020-04-16 18:23:18,883 config.py:92 - print_log()] augment_ratio : 1.00 [2020-04-16 18:23:18,883 config.py:93 - print_log()] input_reverse : True [2020-04-16 18:23:18,883 config.py:94 - print_log()] hidden_size : 256 [2020-04-16 18:23:18,883 config.py:95 - print_log()] listener_layer_size : 5 [2020-04-16 18:23:18,883 config.py:96 - print_log()] speller_layer_size : 3 [2020-04-16 18:23:18,883 config.py:97 - print_log()] dropout : 0.50 [2020-04-16 18:23:18,883 config.py:98 - print_log()] batch_size : 32 [2020-04-16 18:23:18,883 config.py:99 - print_log()] worker_num : 1 [2020-04-16 18:23:18,883 config.py:100 - print_log()] max_epochs : 40 [2020-04-16 18:23:18,883 config.py:101 - print_log()] initial learning rate : 0.0001 [2020-04-16 18:23:18,883 config.py:105 - print_log()] teacher_forcing_ratio : 0.90 [2020-04-16 18:23:18,883 config.py:106 - print_log()] seed : 1 [2020-04-16 18:23:18,883 config.py:107 - print_log()] max_len : 151 [2020-04-16 18:23:18,883 config.py:108 - print_log()] use_cuda : True /home/sysadm/anaconda3/envs/KASR/lib/python3.7/site-packages/torch/serialization.py:593: SourceChangeWarning: source code of class 'models.listenAttendSpell.ListenAttendSpell' has changed. you can retrieve the original source code by accessing the object's source attribute or set torch.nn.Module.dump_patches = Trueand use the patch tool to revert the changes. warnings.warn(msg, SourceChangeWarning) /home/sysadm/anaconda3/envs/KASR/lib/python3.7/site-packages/torch/serialization.py:593: SourceChangeWarning: source code of class 'models.listener.Listener' has changed. you can retrieve the original source code by accessing the object's source attribute or settorch.nn.Module.dump_patches = Trueand use the patch tool to revert the changes. warnings.warn(msg, SourceChangeWarning) /home/sysadm/anaconda3/envs/KASR/lib/python3.7/site-packages/torch/serialization.py:593: SourceChangeWarning: source code of class 'models.speller.Speller' has changed. you can retrieve the original source code by accessing the object's source attribute or settorch.nn.Module.dump_patches = Trueand use the patch tool to revert the changes. warnings.warn(msg, SourceChangeWarning) /home/sysadm/anaconda3/envs/KASR/lib/python3.7/site-packages/torch/serialization.py:593: SourceChangeWarning: source code of class 'models.attention.MultiHeadAttention' has changed. you can retrieve the original source code by accessing the object's source attribute or settorch.nn.Module.dump_patches = Trueand use the patch tool to revert the changes. warnings.warn(msg, SourceChangeWarning) Traceback (most recent call last): File "test.py", line 102, in <module> model.load_state_dict(load_model.state_dict()) File "/home/sysadm/anaconda3/envs/KASR/lib/python3.7/site-packages/torch/nn/modules/module.py", line 830, in load_state_dict self.__class__.__name__, "\n\t".join(error_msgs))) RuntimeError: Error(s) in loading state_dict for ListenAttendSpell: Missing key(s) in state_dict: "speller.out.weight", "speller.out.bias", "speller.attention.out.weight", "speller.attention.out.bias". Unexpected key(s) in state_dict: "speller.w.weight", "speller.w.bias", "speller.attention.linear_out.weight", "speller.attention.linear_out.bias". (KASR) ***@***.***:~/Desktop/data/ASR/End-to-End-Korean-Speech-Recognition$ 평소 텐서플로는 써봤지만, 파이토치는 처음 써보는거라, 제가 모르는 부분이 있을 수도 있습니다 :) 추가로 저희는 배치 사이즈를 8로 해도, gpu OOM이 발생하던데, 학습 돌리시는 환경과 배치 사이즈가 궁금합니다... 코드 올려주셔서 감사하고, 코로나 조심하세요. — You are receiving this because you are subscribed to this thread. Reply to this email directly, view it on GitHub <#12>, or unsubscribe <https://github.com/notifications/unsubscribe-auth/AKBSTPZLI33JQEVLG46UBIDRM3FYDANCNFSM4MJNPY5Q> .

[gmhwang]

안녕하세요.
우선 좋은 자료 공유해주셔서 감사드립니다.

다름이 아니라 train중 OOM이 발생되면 처음부터 다시 교육시켜야 하나요?
아니면 마지막 에폭에서 다시 시작이 가능하나요?

감사합니다.

[sooftware]

저희 코드로는 만스텝마다 모델을 저장하고 있습니다.해당 웨이트 파일을 로드하시거나, 처음부터 다시 학습하셔야 합니다.
감사합니다.