naver/nlp-challenge

NLP Shared tasks (NER, SRL) using NSML

네이버, 창원대가 함께하는 NLP Challenge

네이버가 창원대와 한국어 자연어처리 기술 대회를 개최합니다. 개체명 인식(Named-entity Recognition, NER)과 의미역 결정(Semantic Role Labeling, SRL)이라는 자연어 처리의 중요한 두가지 미션을 준비했습니다. 이번 대회에서는 창원대에서 마련한 대량의 한국어 데이터와 네이버의 클라우드 머신러닝 플랫폼인 NSML를 이용하여 참여할 수 있습니다.

지금 바로 네이버, 창원대가 함께 하는 NLP Challenge에 참여해서 서로의 경험을 공유하고, 다양하고 창의적인 방법으로 문제를 해결해 보세요!

공지 사항

• 2018-11-16 22:36 훈련용 데이터가 공개 되었습니다 (링크)
• 2018-11-20 13:12 NER baseline 시스템이 공개되었습니다. (링크)
• 2018-11-21 16:41 팀명 변경 및 팀원 정보 변경은 불가능 한 점 양해 부탁드립니다.
• 2018-11-26 15:48 SRL baseline 시스템이 공개되었습니다. (링크)
• 2018-12-03 15:01 NLP Workshop 참가신청이 시작되었습니다. (링크)
• 2018-12-03 17:26 참가 신청 폼이 다시 열렸습니다. 추가 참가 신청이 가능한 상태입니다.
• 2018-12-10 15:17 참가 신청이 종료되었습니다.
• 2018-12-17 20:37 수상팀이 결정, 공지되었습니다.
• 2019-01-02 13:39 12월 28일 진행된 워크샵 연사님들의 발표자료, 소스코드를 게시하였습니다. (게시희망자 한) (링크)

수상팀

NER

수상구분	Rank	Date	팀명	구성원	F1
대상	1	2018.12.14 07:45	State_Of_The_Art	박동주 (광주과학기술원)	90.4219
우수	2	2018.12.14 00:29	cheap_learning	박광현, 이영훈 (전북대학교)	90.2417
우수	3	2018.12.14 22:46	nlp_pln	이신의, 박장원, 박종성 (연세대학교 데이터공학연구실)	89.7830
장려	4	2018.12.14 15:18	Sogang_Alzzam	박찬민, 박영준 (서강대학교 자연어처리연구실)	88.8506
장려	5	2018.12.14 23:51	ner_master	조민수, 박찬희, 박진욱 (연세대학교 데이터공학연구실)	88.5818
장려	6	2018.12.13 19:28	bible	현청천 (HELLO NMS)	88.3348

SRL

수상구분	Rank	Date	팀명	구성원	F1
대상	1	2018.12.14 22:01	Sogang_Alzzam	박찬민, 박영준 (서강대학교 자연어처리연구실)	77.6628
우수	2	2018.12.14 17:44	KANE_team	함영균, 김동환, 최기선 (KAIST SWRC)	76.3328
우수	3	2018.12.10 19:53	cheap_learning	박광현, 이영훈 (전북대학교)	76.2543
장려	4	2018.12.08 22:06	OnlyOne	김영천	75.4308
장려	5	2018.12.14 17:43	nlp_pln	이신의, 박장원, 박종성 (연세대학교 데이터공학연구실)	74.8749
장려	6	2018.12.14 09:17	kozistr_team	김형찬 (한국기술교육대학교)	74.7695

참가신청

한국어 자연어 처리에 관심있는 분이라면 누구나 참가 신청할 수 있습니다. 개인 또는 팀(최대 3명) 으로 참가 가능합니다. 네이버 폼으로 참가 신청하세요. 참가신청은 선착순 200팀으로 한정합니다.

• 신청기간: 2018-11-14에 시작, 200번째 팀 신청 완료 또는 challenge 마감 날짜 1주일 전 종료
• 참가 신청 폼: http://naver.me/IIF5AjtC
  • 참가 동의서: https://github.com/naver/nlp-challenge/blob/master/AGREEMENT.md
  • (중요) 신청 이후 팀명 및 팀원의 추가/삭제/변경은 불가하오니 신청 정보를 잘 확인해 주세요.
• NSML에 접근하기 위해서는 github 계정이 필요합니다.
• 시상식을 포함한 NLP Workshop은 별도의 참가신청이 필요합니다.

(:star: 필독) 참가신청 주의사항

다음 사항을 지켜주시지 않으면 참가 등록에 불이익이 발생할 수 있습니다. 반드시 확인해주세요.

• github username은 5자리 이상으로 지정하셔야 합니다.
• Team 이름은 대/소문자 영어 5~20자리, 특수문자는 “_” 만 사용하여 지정하셔야 합니다.
• 신청하는 Team 이름과 동일한 github username이 없어야 합니다. Team 이름과 팀원들의 github username은 모두 다르게 지정하셔야 합니다.

NSML 접근 유의사항

• 참가 신청 후 다음 날 오후 1시부터 NSML에 접근 가능합니다. 하루의 참가신청 내역을 취합하여 다음날 오후 1시 이전까지 NSML에 접속할 수 있도록 등록해 드립니다.
  • 단, 금요일 참가 신청 내역은 차주 월요일에 등록됩니다.
• github 계정의 Two-factor authentication을 해제해 두어야 로그인이 가능합니다.
  • 확인 방법 : Settings > Security > Two-factor authentication 체크
• github에서 email 주소를 public으로 세팅하셔서 NSML 관련 메시지를 수신할 수 있게 해주세요. private로 설정되지 않게 유의해주세요. ( 이메일 설정 도움말 )

일정

• 2018-11-16 12:00:00 시작: 훈련데이터 공개
• 2018-12-15 00:00:00 종료
• 2018-12-28 11:00 우수 참가자 시상식을 포함한 워크샵 (네이버 그린팩토리 2층) 참가신청

미션

• 개체명 인식(NER)
• 의미역 결정(SRL)

진행 방식 및 심사 기준

• 한 개인이 둘 이상의 팀에 포함될 수 없습니다.
  • 만일 피치 못할 사정이 있다면 운영진에 메일을 주세요.
• 참가 가능한 팀은 총 200팀입니다.
  • 참가하는 팀은 두 개의 task 중 어느 것이든, 그리고 양쪽 모두 참가 가능합니다.
• 전체 팀들의 성능은 하루에 1회 업데이트 됩니다.
  • 미션 설명 페이지에서 참가자들의 전체 성능을 확인할 수 있습니다.
• 평가 방식
  • 상세 미션 페이지에서 확인 가능합니다.

시상 및 혜택

• 각 Task에 대해 아래와 같이 시상합니다.
  • 대상(1팀): 상금 300만원
  • 우수(2팀): 각 팀 상금 100만원
  • 장려(3팀): 각 팀 상금 50만원
• 우수 참가자는 네이버 채용 지원시에 혜택이 주어집니다.

주관/주최

창원대학교 적응지능연구실, 네이버

FAQ

• FAQ 페이지

문의사항

Issue 페이지에 Tag를 추가하여 남겨주세요. 담당자가 답변드리겠습니다.

Issue 페이지 문의사항에 대한 답변 운영시간은 월-금 10:00-19:00 입니다.

nlp-challenge's Issues

NSML login 관련 문의

안녕하세요
Mac에서 NSML baseline을 실행하려고 합니다.
파일은 NSML 사이트에서 Mac의 것으로 다운받았습니다.

nsml login 을 실행하면
bash: nsml: command not found 이라고 뜹니다.
nsml 이라고 입력해도 동일합니다.
경로는 nsml, examples-hack 등이 있는 nsml_client.darwin.amd64.hack 파일 안에서 실행하였습니다.

혹시 이런 경우에는 어떻게 해야 할까요?

SRL 데이터 관련 문의입니다!

안녕하세요!
제공해주신 훈련데이터와 개괄적 설명에 대한 글을 확인하는 과정에 문의사항이 생겨서 글을 남기게 되었습니다.
Supervised learning이라면 공개된 훈련데이터가 태깅이 완료된 답이라는 가정을 해야 하는데, 훈련데이터의 태깅된 결과들을 살펴보면 정해주신 17개의 의미역 중 하나에 속하지만 레이블이 없이 "-"로 표기된 경우가 많이 보이며, 제일 단적인 예시로 "의미역 결정" 리더보드에 있는

그는 ARG0
경찰에게 -
신분증을 ARG1
보였다 -

의 경우,
"보이다" 라는 용언의 행위주, 피동작주만 레이블링이 되어 있고,
"경찰에게" 라는 ARG3의 가능성이 있는 어절의 경우 레이블링이 되어 있지 않은 것을 확인할 수 있습니다.
훈련 데이터 내에도 이와 같이 ARGM-OOO에 대한 레이블링은 완전하지 않아 보이기에 혹시 이들 훈련 데이터 역시 살펴보고 레이블링을 해야 하는지, 아니면 단순히 이들이 답이라 가정하고 진행을 해야할 지 여쭤보기 위해 글을 남기게 되었습니다.

긴 글 읽어주셔서 정말 감사드립니다.

P.S. 또한 ARGM-TMP의 경우 '용언이 행해지는 시제'라고 하셨는데, 이는 '보였다'라는 용언의 활용형에 내재되어 있기에 이 또한 표기가 되어야 의미역의 연관성을 명확히 확인할 수 있을 것이라 생각하지만 이는 용언에 내재된 경우라서 어절 단위로 레이블링을 하는 데에 제한이 있기에 제외되어 표기된 것인지도 궁금합니다! 다른 ARGM-TMP로 태깅된 데이터를 봤을 때, 어절 전체가 시점과 관계가 있는 것들이 대부분인데 "과거-현재-미래"를 의미하는 시제라고 설명에 적혀있기에 이것에 대한 명확한 정의를 여쭙고자 합니다!

NSML submit 관련 문의

안녕하세요 지금 해커톤을 하고있는 학생입니다!

제가 submit하는도중 디버깅을 위해 -t 명령어와 함께 실행해보면

....Warning: Your session has a total size of over 10 MB You may want to add unnecessary files and directories to the ignore list. (e.g. the .git directory)
....
Building docker image. It might take for a while
......
Session Max_30/NER/76 is started
....[(0.0, ['-', 'NUM_B', '-', '-']), (0.0, ['DAT_B', '-', 'DAT_B', '-', '-', '-', '-', '-', '-', '-', '-', '-', '-', '-', 'NUM_B', '-', '-']), (0.0, ['ORG_B', 'CVL_B', 'CVL_B', '-', 'NUM_B', '-', '-', 'LOC_B', 'NUM_B', 'NUM_B', 'ORG_B', 'NUM_B', '-', '-', '-', '-']), (0.0, ['-', '-', '-', 'NUM_B', '-', '-', '-', '-', 'NUM_B', '-']), (0.0, ['CVL_B', 'ORG_B', 'ORG_B', 'ORG_I', 'NUM_B', '-', 'NUM_B', '-', '-']), (0.0, ['ORG_B', 'PER_B', '-']), (0.0, ['DAT_B', '-', 'NUM_B', '-', '-', '-', '-', '-', '-', '-', '-', '-', '-', '-', '-']), (0.0, ['-', '-', '-', '-', '-', '-', '-', '-', '-', '-', '-', '-', '-']), (0.0, ['-', '-', '-', '-', '-']), (0.0, ['PER_B', 'DAT_B', '-', '-', '-', '-', '-', '-', '-', '-', 'DAT_B', '-', '-', '-', '-', '-', '-', '-', '-', '-', '-', '-', '-', '-'])]

아래와같은 결과가 나오면서 에러가 뜨지 않아 submit을 하려고 실행해본 결과

....Warning: Your session has a total size of over 10 MB You may want to add unnecessary files and directories to the ignore list. (e.g. the .git directory)
....
Building docker image. It might take for a while
........Error: Session does not respond
FATA[2018/11/29 08:48:09.091] Internal server error

이렇게 에러가 나는 모습을 보이고 있습니다 ㅜ 죄송하지만 어떤 오류인지 알수 있을까요??

감사합니다.

mode=='train' 시점에 생성한 중간 파일이 submit 시에는 존재하지 않습니다

necessary.pkl 과 같은 intermediate 파일을 mode=='train' 시점에 생성하여
":/bin:/usr/bin"에 해당 파일이 저장된 것을 확인하였으나,
submit 시에는 ":/bin:/usr/bin"에 해당 파일이 존재하지 않는 것을 확인하였습니다.
(nsml run 시 업로드된 파일만 존재)

이 방법 잘못되었다면, train 시점에 생성된 파일을 submit 시점에서 접근할 수 있는 다른 방법이 있나요?

NSML Session remove 관련 문의

대회 운영에 고생이 많으십니다.

저는 nsml 사용이 이번이 처음인 참가자 입니다.
제가 사용법이 익숙치 않아서 그런건지 모르겠지만...
잘못 생성된 session 을 삭제하고 싶어서
이번 챌린지 도큐먼트와 이전 해커톤 참가자들이 올린 사용법들을 찾아봤습니다.

$ nsml rm <세션이름>
위의 명령어로 쉽게 삭제가 가능한 것으로 알고 있어 삭제를 해보려고 시도하였으나

제가 받은 nsml version 에는 nsml command 에 rm 이 없는 것으로 나오고 있습니다.
사진 첨부합니다.

또한 웹페이지에서도 remove 가 가능한 것으로 알고 있어 이를 시도 하였지만,
성공적으로 삭제됐다는 알림만 나오고 실제로 삭제가 되지 않습니다.

어떻게 해결해야할까요?

NER baseline이 공개되었습니다.

안녕하세요. 네이버, 창원대가 함께하는 NLP Challenge 입니다.

두 개의 mission 중 개체명 인식(NER)의 베이스라인이 공개되었습니다.
https://github.com/naver/nlp-challenge/tree/master/missions/ner
모델 구현과 submit에 참고 부탁드립니다!

그리고, 리더보드 페이지에서 전체 성능을 확인하실 수 있습니다. (일 1회 오후 8시에 업데이트 예정)
http://air.changwon.ac.kr/?page_id=10

---

NER Model Baseline for NSML

NER baseline Model 구조

• Bidirectional RNN + CRF
• 어절, 음절(RNN) Concat 하여 사용

Training Dataset

• 개체명 인식(NER)

Training

$ nsml run -d NER

Training

학습은 다음 명령행을 실행하여 시작할 수 있습니다.

$ nsml run -e main.py -d SRL

학습 중 다음 명령행을 실행하여 로그를 확인할 수 있습니다.

$ nsml logs -f [SESSIONNAME]

다음 명령행을 실행해 현재 수행중인 세션을 확인할 수 있습니다.

$ nsml ps

Submit

모델의 제출은 다음 명령행으로 실행할 수 있습니다.

$nsml submit [SESSIONNAME] [CHECKPOINT]

'CHECKPOINT'는 세션마다 기록됩니다.
다음 명령행으로 특정 세션의 checkpoint를 확인하실 수 있습니다.

$nsml model ls [SESSIONNAME]

다음과 같이 세션의 checkpoint들이 나타납니다.

Checkpoint    Last Modified    Elapsed    Summary                               Size
------------  ---------------  ---------  ------------------------------------  --------
0             seconds ago      2.523      step=0, train/loss=28.56278305053711  66.7 MB
1             just now         14.424     step=1, train/loss=19.05735492706299  66.84 MB
...

데이터 로더 Return 값 형식

• 각 문장별로 [ idx, ejeols, nemed_entitis ] ( idx는 1으로 시작 )

ex)[
    ['1', '2', '3', '4', '5', '6', '7', '8', '9', '10', '11', '12', '13', '14', '15'],
     ['-(해설)', '발목을', '삐끗하거나', '칼에', '살짝', '베인', '작은', '상처의', '통증도', '2개월', '이상', '계속되면', '만성통증으로', '발전한다', '.'],
     ['-', 'ANM_B', '-', '-', '-', '-', '-', '-', '-', 'DAT_B', 'DAT_I', '-', 'TRM_B', '-', '-']
   ]

최종 정답 태깅용 출력 형식

• 각 어절별로 모든 결과를 출력해야 합니다. ( 아래 예시 참조 )
• 없는 태그는 "-" 로 표시합니다.

ex)
    [
     ['-', 'ANM_B', '-', '-', '-', '-', '-', '-', '-', 'DAT_B', 'DAT_I', '-', 'TRM_B', '-', '-'],
     [ ... ]
    ]

종료된 세션에 할당된 gpu 사용량 관련 질문입니다!

nsml 사용이 이번이 처음인 참가자입니다.

다름이 아니라, 제가 실수로 만들어 버린 session에서(에러로 인해 user session exit 로그 출력 후 종료 됨)
계속해서 gpu 사용량을 먹고 있습니다. 왜그런것일까요??ㅜㅜ 해결 방법을 알고 싶습니다.

추가적으로 일정 시간 이후에 해당 종료된 세션에 대해서 gpu 사용을 자동으로 멈춘다면
이 세션에 할당된 gpu 사용량 만큼 다른 세션에서 자동으로 나눠 가지게 되는가요?

참가 동의서에 대한 질문입니다 :)

동의서는 그냥 읽어보기만 하면 되는건가요 ? 신청서에도 파일 올리는 란이 없고 동의서 자체에도 서명하는 칸이 없길래 문의 드립니다 !

메모리 할당 문제

현재 메모리는 24G로 고정되어있는건가요?

--memory string 명령어를 통해 변경하려해도 에러만 나옵니다.

training한 후에 submit을 하려고하니 계속 세션이 없다는 메세지가 나옵니다

현재

adullam/NER/73
adullam/NER/74

두 세션에 대해서 submit을 하려는데, -t 옵션에는 동작하는데, 바로 제출하려고하니 다음과같은 에러가 나옵니다.

nsml submit adullam/NER/74 99
....Warning: Your session has a total size of over  10 MB You may want to add unnecessary files and directories to the ignore list. (e.g. the .git directory)
....
Building docker image. It might take for a while
...Sessions not found: adullam/NER/-1
Done
Error: Fail to start docker container: b''
FATA[2018/11/29 17:59:25.898] Internal server error

어떻게 해야해결할 수 있을까요~?

kill session best_NLPing/NER/47 due to low balance 오류

안녕하세요
best_NLPing팀 김은총입니다.

nsml에서 training 중에 아래와 같은 메세지가 뜨면서 모든 세션이 종류가 됩니다.
nsml run -d NER -g 2 -e main.py

이런식으로 GPU 갯수를 지정하지 않아도 무조건 한개씩 할당이 되는건가요?
또한 학습 도중 예기치 못하게 세션이 종류되는 것을 방지하고자.. CPU로만 트레이닝 할 수 있는 방법이 있을까요?

2018-11-29 09:01:15.402310: I tensorflow/core/common_runtime/gpu/gpu_device.cc:1120] Creating TensorFlow device (/device:GPU:0) -> (device: 0, name: Tesla P40, pci bus id: 0000:00:05.0, compute capability: 6.1)kill session best_NLPing/NER/47 due to low balance

SRL 데이터 문의

안녕하세요.

SRL 데이터와 관련해서 문의드리고자 합니다.

일반적인 연구에서 사용되는 의미역 결정 데이터의 경우 (Conll, Korean Propbank)
문장의 술어를 인식/분류하는 작업인 PIC 작업이 먼저 선행이 된 후,
인식/분류된 predicate에 대해서 다시 AIC 작업을 진행하는 것으로 알고 있습니다.

하지만 이번 대회에 배포된 데이터는 predicate에 대한 별 다른 정보가 없는것으로 보아
일반적인 순차레이블링 문제로 생각해도 되는지 궁금합니다.

nsml submit 관련 문의

submit -t 옵션을 붙여서 문제 없이 결과 list 가 터미널에 출력되는 것을 확인하고
해당 세션의 checkpoint 에 대해서 submit을 시도했는데,

....Warning: Your session has a total size of over 10 MB You may want to add unnecessary files and directories to the ignore list. (e.g. the .git directory)
....
Building docker image. It might take for a while
........

이 상태에서 더이상 진행이 되지 않고 있습니다.

docker image 는 nsml/default_ml:cuda9_torch1.0 을 사용했으며
학습 시에 문제가 없었고 -t 옵션을 주고 나서 디버깅도 마친 상태라 왜 그런지 궁금합니다.

지금 infer 함수가 실행되고 있는 것으로 봐야할까요?
이전 분들 질문을 보니 timeout 이 1시간으로 설정되어 있다곤 하는데
서브밋 제출 한지 1시간이 아직 안되긴 했습니다.

그렇더라도 메시지만 본다면 아직 도커 이미지도 빌드가 마쳐지지 않은것 같은데
이미지 빌드가 마쳐지지 않은 것인지 아니면 infer 함수가 test 데이터에 대해서 계산을 하고 있는 중인지 궁금합니다.

참가신청 변경 요청드립니다.

팀 urban_overfitters 팀원 이연정, 남주현에서
이연정으로 변경 부탁드립니다.

NSML dataset 접근 권한 관련 문의

안녕하세요, NSML을 통해 baseline에 접근을 시도하다가 막혀 질문 드립니다.

터미널이나 웹(https://hack.nsml.navercorp.com)을 활용해 NSML 로그인에 성공하였으나,
데이터셋이나 베이스라인에 접근할 수 있는 권한이 막힌 것 같습니다
(웹에서는 'No data available yet'이라는 문구만 출력되고, 터미널에서도 예제코드나 baseline 실행시 access deny 메시지가 출력됩니다)

해결 방법을 알려주시면 감사하겠습니다.

docker 에러

다음과 같은 에러가 나면서 실행이 안되는데 무엇이 문제인가요?

Name Size Last Modified Author Description Tag

---

NER 18.5 MB 16 days ago nsmlteam
SRL 7.59 MB 12 days ago nsmlteam
hello_nsml 10 KB 16 days ago nsmlteam nsml test dataset

D:\downloads\nsml_client.windows.amd64.hack>nsml run -e naver-ner/main.py -d NER
INFO[2018/12/06 13:41:02.026] file integrity check - start
INFO[2018/12/06 13:41:02.039] file integrity check - done
INFO[2018/12/06 13:41:02.047] .gitignore 1.3 KiB - start
INFO[2018/12/06 13:41:02.052] .gitignore 1.3 KiB - done (1/12 8.33%) (1.3 KiB/39 MiB 0.00%)
INFO[2018/12/06 13:41:02.058] .nsmlignore 19 B - start
INFO[2018/12/06 13:41:02.061] .nsmlignore 19 B - done (2/12 16.67%) (1.3 KiB/39 MiB 0.00%)
INFO[2018/12/06 13:41:02.067] LICENSE 11 KiB - start
INFO[2018/12/06 13:41:02.071] LICENSE 11 KiB - done (3/12 25.00%) (13 KiB/39 MiB 0.03%)
INFO[2018/12/06 13:41:02.075] README.md 40 B - start
INFO[2018/12/06 13:41:02.078] README.md 40 B - done (4/12 33.33%) (13 KiB/39 MiB 0.03%)
INFO[2018/12/06 13:41:02.081] data_loader.py 1.1 KiB - start
INFO[2018/12/06 13:41:02.086] data_loader.py 1.1 KiB - done (5/12 41.67%) (14 KiB/39 MiB 0.03%)
INFO[2018/12/06 13:41:02.091] dataset_batch.py 10 KiB - start
INFO[2018/12/06 13:41:02.095] dataset_batch.py 10 KiB - done (6/12 50.00%) (24 KiB/39 MiB 0.06%)
INFO[2018/12/06 13:41:02.098] evaluation.py 5.3 KiB - start
INFO[2018/12/06 13:41:02.102] evaluation.py 5.3 KiB - done (7/12 58.33%) (29 KiB/39 MiB 0.07%)
INFO[2018/12/06 13:41:02.106] main.py 8.6 KiB - start
INFO[2018/12/06 13:41:02.111] main.py 8.6 KiB - done (8/12 66.67%) (38 KiB/39 MiB 0.09%)
INFO[2018/12/06 13:41:02.114] model.py 8.7 KiB - start
INFO[2018/12/06 13:41:02.118] model.py 8.7 KiB - done (9/12 75.00%) (46 KiB/39 MiB 0.12%)
INFO[2018/12/06 13:41:02.124] necessary.pkl 39 MiB - start
INFO[2018/12/06 13:41:10.128] necessary.pkl 39 MiB - done (10/12 83.33%) (39 MiB/39 MiB 100.00%)
INFO[2018/12/06 13:41:10.135] setup.py 259 B - start
INFO[2018/12/06 13:41:10.139] setup.py 259 B - done (11/12 91.67%) (39 MiB/39 MiB 100.00%)
INFO[2018/12/06 13:41:10.143] tt.py 370 B - start
INFO[2018/12/06 13:41:10.146] tt.py 370 B - done (12/12 100.00%) (39 MiB/39 MiB 100.00%)
..Warning: Your session has a total size of over 10 MB You may want to add unnecessary files and directories to theignore list. (e.g. the .git directory)
...
Building docker image. It might take for a while
...nlp_pln/NER/1: launching is failed
[nlp_pln/NER/1]
Stopping nlp_pln/NER/1 is failed
Done
Error: Fail to start docker container: b''
FATA[2018/12/06 13:41:17.440] Internal server error

NER 자질 관련 질문드립니다.

NER task에서 사전 사용이 가능한지 궁금합니다.

랭킹이 아닌, 그동안의 submission 내역은 어디서 확인할 수 있나요?

추가로
[1] submission 했을때 리더보드에 반영되는 시간이 얼마정도인지도 궁금합니다
[2] 하루에 제출 횟수 제한이 있는지도 궁금합니다.
[3] 전체 팀들의 성능은 하루에 1회 업데이트 됩니다. 라는 규정이 있었는데, 그러면 하루에 test set에 대한 성능을 한번밖에 확인할 수 없다는 뜻인가요?
[4] sumbit할때 -t (test) 옵션으로 제출했을때와 그냥 제출했을때 차이가 뭔지 궁금합니다
(https://n-clair.github.io/nlp-challenge-docs/_build/html/ko_KR/contents/session/submit_a_session.html#nsml-submit)

training 중단 문제

트레이닝 중 오류가 뜨면서 중단이됩니다.
항상 그런건 아니지만 몇몇 모델이 중단되어 문의합니다

에러는 아래와 같습니다

ner 데이터 중 어색한 문장 발견

안녕하세요. 좋은 한국어 데이터 공개 정말 감사합니다.

그런데 NER 데이터 를 살펴보던 중 우연히 어색한 문장을 발견하여 아래 올려 봅니다.

조금 번역채 인것 같기도 한데 약간 수정이 필요해 보입니다.

다시한번 큰수고 정말 감사드립니다.

nsml login 관련 문의

안녕하세요 nsml login을 하려고하니
FATA[2018/12/04 15:53:24. 879] EOF라고 뜹니다.

SRL baseline 시스템이 공개되었습니다.

안녕하세요. 네이버, 창원대가 함께하는 NLP Challenge 입니다.

두 개의 mission 중 의미역 결정(SRL)의 베이스라인이 공개되었습니다.
https://github.com/naver/nlp-challenge/tree/master/missions/srl
모델 구현과 submit에 참고 부탁드립니다!

그리고, 리더보드 페이지에서 전체 성능을 확인하실 수 있습니다. (일 1회 오후 8시에 업데이트 예정)
http://air.changwon.ac.kr/?page_id=14

---

SRL Model Baseline for NSML

License

본 프로젝트는 최초 깃허브에 공개된 중국어 개체명 인식 프로젝트를 수정한 것입니다. ( https://github.com/zjy-ucas/ChineseNER )

Requirement

본 프로젝트는 python3.5.2, tensorflow 1.4.1에서 테스트되었습니다.
사용 전 tensorflow-gpu 1.4.1 혹은 tensorflow 1.4.1을 설치해 주시기 바랍니다.

Training Dataset

• 의미역 결정(SRL)

Training

학습은 다음 명령행을 실행하여 시작할 수 있습니다.

$ nsml run -e main.py -d SRL

학습을 시작할 때 나타나는 세션의 이름을 확인해 두세요.
세션의 이름은 로그를 확인할 때, 그리고 모델을 제출할 때에 사용됩니다.
세션의 이름을 모르는 경우, 다음 명령행을 이용해 현재 실행중인 세션을 확인할 수 있습니다.

$ nsml ps

학습 중 다음 명령행을 실행하여 로그를 확인할 수 있습니다.

$ nsml logs -f [SESSIONNAME]

다음은 학습 중에 나타나는 문구 중 일부입니다.
사전의 크기, 학습 데이터셋의 크기, 각종 하이퍼 파라메터들, 그리고 매 에폭의 성능을 클래스별로 보이고 있습니다.

Found 186 unique chars
Found 11 unique tags
8 / 0 / 5 sentences in train / dev / test.
2018-10-19 22:21:45,911 - log/train.log - INFO - num_chars      :	186
2018-10-19 22:21:45,911 - log/train.log - INFO - char_dim       :	100
2018-10-19 22:21:45,911 - log/train.log - INFO - num_tags       :	11
2018-10-19 22:21:45,911 - log/train.log - INFO - seg_dim        :	0
2018-10-19 22:21:45,911 - log/train.log - INFO - char_lstm_dim  :	100
2018-10-19 22:21:45,911 - log/train.log - INFO - word_lstm_dim  :	100
2018-10-19 22:21:45,911 - log/train.log - INFO - batch_size     :	20
2018-10-19 22:21:45,912 - log/train.log - INFO - clip           :	5
2018-10-19 22:21:45,912 - log/train.log - INFO - dropout_keep   :	0.5
2018-10-19 22:21:45,912 - log/train.log - INFO - optimizer      :	adam
2018-10-19 22:21:45,912 - log/train.log - INFO - lr             :	0.001
2018-10-19 22:21:45,912 - log/train.log - INFO - pre_emb        :	False
2018-10-19 22:21:45,912 - log/train.log - INFO - lower          :	True
2018-10-19 22:21:45,912 - log/train.log - INFO - max_char_length:	8
2018-10-19 22:21:45,912 - log/train.log - INFO - max_word_length:	95
2018-10-19 22:21:49,806 - log/train.log - INFO - Created model with fresh parameters.
2018-10-19 22:21:50,234 - log/train.log - INFO - start training
2018-10-19 22:21:50,972 - log/train.log - INFO - evaluate:dev
2018-10-19 22:21:51,112 - log/train.log - INFO - processed 108 eojeols ; found: 0 arguments; correct: 0.
2018-10-19 22:21:51,112 - log/train.log - INFO - accuracy:  80.56%; precision:   0.00%; recall:   0.00%; FB1:   0.00
2018-10-19 22:21:51,112 - log/train.log - INFO - ARG0: precision:   0.00%; recall:   0.00%; FB1:   0.00  0
2018-10-19 22:21:51,113 - log/train.log - INFO - ARG1: precision:   0.00%; recall:   0.00%; FB1:   0.00  0
2018-10-19 22:21:51,113 - log/train.log - INFO - ARG3: precision:   0.00%; recall:   0.00%; FB1:   0.00  0
2018-10-19 22:21:51,113 - log/train.log - INFO - ARGM-EXT: precision:   0.00%; recall:   0.00%; FB1:   0.00  0
2018-10-19 22:21:51,113 - log/train.log - INFO - ARGM-LOC: precision:   0.00%; recall:   0.00%; FB1:   0.00  0
2018-10-19 22:21:51,113 - log/train.log - INFO - ARGM-MNR: precision:   0.00%; recall:   0.00%; FB1:   0.00  0
2018-10-19 22:21:51,113 - log/train.log - INFO - ARGM-TMP: precision:   0.00%; recall:   0.00%; FB1:   0.00  0
2018-10-19 22:21:51,141 - log/train.log - INFO - evaluate:test
2018-10-19 22:21:51,174 - log/train.log - INFO - processed 64 eojeols ; found: 0 arguments; correct: 0.
2018-10-19 22:21:51,175 - log/train.log - INFO - accuracy:  76.56%; precision:   0.00%; recall:   0.00%; FB1:   0.00
2018-10-19 22:21:51,175 - log/train.log - INFO - ARG1: precision:   0.00%; recall:   0.00%; FB1:   0.00  0
2018-10-19 22:21:51,175 - log/train.log - INFO - ARG3: precision:   0.00%; recall:   0.00%; FB1:   0.00  0
2018-10-19 22:21:51,175 - log/train.log - INFO - ARGM-EXT: precision:   0.00%; recall:   0.00%; FB1:   0.00  0
2018-10-19 22:21:51,175 - log/train.log - INFO - ARGM-LOC: precision:   0.00%; recall:   0.00%; FB1:   0.00  0
2018-10-19 22:21:51,175 - log/train.log - INFO - ARGM-TMP: precision:   0.00%; recall:   0.00%; FB1:   0.00  0

각종 하이퍼 파라메터들은 commandline argument로 입력할 수 있고, 주어진 파라메터들은 'config_file'에 학습 시작 시에 기록합니다.
아래는 기록된 config의 예제입니다.

{
  	"num_chars": 8000,
  	"char_dim": 100,
  	"num_tags": 13,
  	"seg_dim": 0,
  	"char_lstm_dim": 100,
  	"word_lstm_dim": 100,
  	"batch_size": 20,
  	"clip": 5,
	"patience": 5,
  	"dropout_keep": 0.5,
  	"optimizer": "adam",
  	"lr": 0.001,
  	"lower": true,
  	"max_char_length": 8,
  	"max_word_length": 95
}

validation-based earlystopping이 적용되어 있어, patience 만큼 연속으로 validation performance가 갱신되지 않으면 학습이 종료됩니다.

Submit

모델을 학습하면 모델의 checkpoint가 기록됩니다.
다음 명령행으로 특정 세션의 checkpoint를 확인하실 수 있습니다.

$ nsml model ls [SESSIONNAME]

다음과 같이 세션의 checkpoint들이 나타납니다.

Checkpoint    Last Modified    Elapsed    Summary                                                           Size
------------  ---------------  ---------  -------------------------------------------------------------     --------
0             3 hours ago      0.701      step=0, epoch_total=40, epoch=0, train/loss=6.771212100982666     12.55 MB
1             3 hours ago      77.305     step=1, epoch_total=40, epoch=1, train/loss=5.207082271575928     12.63 MB
2             3 hours ago      80.772     step=2, epoch_total=40, epoch=2, train/loss=4.855630397796631     12.71 MB
...

다음 명령행으로 이 중 하나의 checkpoint를 리더보드에 제출할 수 있습니다.

$ nsml submit [SESSIONNAME] [CHECKPOINT]

예를 들어 7번 세션의 2번 checkpoint를 submit하고자 하는 경우 다음 명령행을 수행하시면 됩니다.

$ nsml submit [TEAM]/SRL/7 2

LeaderBoard

매일 오후 8시, 링크에 성능이 업데이트됩니다.

CUDA 버전 관련 문의

현재 tensorflow-gpu>=1.9.0 버전 사용을 위해 requirements.txt 에 추가하였으나, 기본 이미지의 낮은 CUDA 버전 (9.1이 필요하다고 합니다) 으로 인해 사용을 못하고 있는 상황입니다.

1. 기본 이미지외에 naver 측에서 제공하는 도커 이미지가 있을까요? (기존보다 높은 CUDA 버전의 이미지)

2. CUDA 버전 업그레이드를 위해, Custom 도커 이미지 제작 외 권장하는 방법이 있나요?

감사합니다.

nsml 기본 문의

단순한 문의인데요... nsml 을 사용해보지 않아 확인차 문의드립니다.

local server에서 nsml 을 사용하지 않은 상태로
pytorch로 모델을 구현하여 모델을 torch.save() 한 경우라고 가정하면,

해당 코드를 nsml에 맞도록 변경 후에
해당 모델 파일을 nsml환경에서 torch.load() 한 뒤 문장에 대해 label을 prediction 해 주는 방식으로 코드를 짜는것이 가능한가요?

submit 관련 문서만 보았을때는, nsml 플랫폼 환경 위에서 training 된 checkpoint 만 제출하는 것처럼 보여서 문의드립니다.

NSML 계정 등록 문의

안녕하세요.

이메일 접근권한을 해제하지 않아 등록이 안된 것 같은데요
등록 여부를 확인할 수 있을까요?

팀 이름은 naverEnding입니다.

nsml 외부 리소스 사용 문의

안녕하세요 이번 대회에서 주어진 데이터 이외에 pretrained embedding등의 외부 리소스를 같이 사용하려고 하는데, 해당 리소스를 올리려고 할 때 50 MiB 이상은 올릴 수 없다고 나와있는데, 다른 이슈에서는 5GB까지는 허용한다는 글을 본걸로 기억하고 있습니다. 혹시 앞으로도 50MiB 이상을 초과해서는 외부리소스를 올릴수 없는건지, 아니면 다른 방법이 있는지 해서 문의 올립니다.

감사합니다.

$ nsml run --show-limits

maximum number of files: 100
maximum total size of files: 50 MiB
maximum size of a single queueable file: 4.0 MiB

NSML submit 관련 문의

안녕하세요 NSML에서 submit 할때

Error: Submit/infer session is stopped right after running. Please check your code again
FATA[...] Internal server error

에러가 발생하는데 어느부분에서 에러가 발생하는지 알 수 있는 방법이 있을까요?

파이썬 외부 라이브러리 관련

pip install로 다른 라이브러리를 사용하고 싶은데, 혹시 특별한 명령어나 방법이 있나요?

기본 코드 에러 관련 질문 드립니다

1. 기본으로 주어지는 코드를 보면 model.py의 sparse_cross_entropy_loss 함수에서 self.logits, self.targets, self.mask, self.Y, self.S 이런 변수들이 정의되어 있지 않습니다.
   이 변수들은 nsml 상에서 모델을 실행하면 자동으로 설정되는 변수들인가요?

2. 사용하는 tensorflow 코드의 기준을 1.4.1로 맞춰야 하나요?

미션별 훈련 데이터 공개

안녕하세요. 네이버, 창원대가 함께하는 NLP Challenge 입니다.

이번 challenge에서 도전하게 되실 두 개의 mission에서 사용하게될 훈련 데이터를 공개합니다.

1. 개체명 인식(NER)용 훈련 데이터

• github 주소: 여기
• 데이터 및 미션에 대한 설명: http://air.changwon.ac.kr/?page_id=10

2. 의미역 결정(SRL)용 훈련 데이터

• github 주소: 여기
• 데이터 및 미션에 대한 설명: http://air.changwon.ac.kr/?page_id=14

참고로, 평가를 위한 데이터도 훈련 데이터와 동일한 형태로 제공될 예정입니다.
데이터에 대한 문의가 있으시면 이 이슈에 comment 주시거나 새로운 이슈를 생성하셔서 문의해주세요~

다음 주에는 네이버의 머신러닝 클라우드 플랫폼인 NSML에서 동작시켜볼 수 있는 베이스라인이 공개됩니다!

credit 제한 문의

nsml 은 credit을 사용하는 방식인데 credit이 얼마나 주어질지 궁금합니다

NSML Session 실행시 에러 질문입니다.

안녕하세요,
$ nsml run -e main.py -d NER

베이스라인 코드를 실행하는 과정에서 오류가 나서 질문드립니다.
로컬 환경에서 코드를 돌리면 잘 돌아가는데, NSML 에 익숙하지 않아서 그런지 어느 부분에서 오류가 나는지 잘 모르겠습니다. 혹시 참고할만한 자료가 있다면 여쭤봐도 될까요?

$ nsml run -e main.py -d NER
INFO[2018/11/22 02:12:43.247] file integrity check - start
...
INFO[2018/11/22 02:13:24.753] setup.py 247 B - done (9/9 100.00%) (39 MiB/39 MiB 100.00%)
Traceback (most recent call last):
File "/app/src/main.py", line 5, in
nsml.nsml(obj={}, prog_name='nsml')
File "/usr/local/lib/python3.6/site-packages/click/core.py", line 764, in call
return self.main(*args, **kwargs)
File "/usr/local/lib/python3.6/site-packages/click/core.py", line 717, in main
rv = self.invoke(ctx)
File "/usr/local/lib/python3.6/site-packages/click/core.py", line 1137, in invoke
return _process_result(sub_ctx.command.invoke(sub_ctx))
File "/usr/local/lib/python3.6/site-packages/click/core.py", line 956, in invoke
return ctx.invoke(self.callback, **ctx.params)
File "/usr/local/lib/python3.6/site-packages/click/core.py", line 555, in invoke
return callback(*args, **kwargs)
File "/usr/local/lib/python3.6/site-packages/click/decorators.py", line 17, in new_func
return f(get_current_context(), *args, **kwargs)
File "/app/src/nsml_cli/nsml.py", line 584, in run
gpu_driver_version, num_nodes
File "/app/src/nsml_cli/sessions/session_service.py", line 837, in run_session
_ = make_and_get_personal_minio(ctx.obj, user_id=owner)
File "/app/src/nsml_cli/client/minio_client.py", line 450, in make_and_get_personal_minio
server, passwd = _launch_minio(ctx_obj, user_id, redis_client)
File "/app/src/nsml_cli/client/minio_client.py", line 418, in _launch_minio
'--config-dir', '/etc/minio', 'server', '/data', encrypted=ctx_obj
File "/app/src/nsml_cli/cluster.py", line 93, in docker
return docker(self.address, *args, **kwargs)
File "/app/src/nsml_cli/docker.py", line 90, in docker
return _run_docker_cmd(args, interactive, err, **kwargs)
File "/app/src/nsml_cli/docker.py", line 76, in _run_docker_cmd
out = check_output(cmd, stderr=-2 if err else devnull)
File "/usr/local/lib/python3.6/subprocess.py", line 336, in check_output
**kwargs).stdout
File "/usr/local/lib/python3.6/subprocess.py", line 418, in run
output=stdout, stderr=stderr)
subprocess.CalledProcessError: Command '['docker', '--config', '/tmp/GimmeFive', '-H', '10.33.29.201', 'run', '--restart=always', '-d', '-p', '10132:9000', '--name=minio_GimmeFive', '-v', '/data/minio_client/GimmeFive:/data', '-e', 'MINIO_ACCESS_KEY=[email protected]', '-e', 'MINIO_SECRET_KEY=ed74f266', 'minio/minio', '--config-dir', '/etc/minio', 'server', '/data']' returned non-zero exit status 125.

Repo의 train_data와 nsml 시스템의 train_data 동일 여부

Repository 에 올라와 있는 train_data와 nsml 시스템에 올라와 있는 train_data 는 동일한가요?

Preprocessing 코드를 pickling 하고 그대로 nsml 시스템 상에서 infer 용으로 사용할 수 있을지 확신할 수 없어 문의드립니다.

12월 7일에 참가신청이 종료됩니다.

안녕하세요. 네이버와 창원대가 함께하는 NLP Challenge 입니다.

12월 7일(금) 23시 59분에 참가신청이 종료됩니다.

참가하신 분들 대상으로 12월 15일 00시 00분 00초 이전까지 submit 완료된 모델을 대상으로 수상팀이 결정됩니다.

문의사항 있으시면 댓글로 부탁드립니다.

NSML에서 SRL 데이터 문의

안녕하세요
SRL 데이터를 NSML상에서 학습을 시키려고 하는데, local에서는 데이터 format이
라인번호\t어절\t논항
으로 되어있는데 NSML상에 있는 학습 데이터를 불러오면 데이터 format이
라인번호\t어절
로 되어 있고 논항이 존재하지 않아 보입니다.
데이터 경로는 nsml.DATASET_PATH를 사용해서 얻었습니다.
제가 제대로 접근을 못한 것인지 아니면 데이터에 문제가 있는 것인지 확인좀 부탁드려도 될까요?
감사합니다.

data_loader + necessary.pkl 문의

안녕하세요, NER에서 현재 전처리를 data_loader 파일단에서 하고있는데요.

테스트 데이터를 돌릴때 제출한 data_loader와 같은걸 사용하는건지 궁금합니다.

NSML file system 내역에 data_loader가 testset과 같이 있길래 확인차 여쭙니다.

https://hack.nsml.navercorp.com/filesystem/NER

추가로, 주어진 necessary.pkl과 train data로 새로 생성한 necessary.pkl이 다른 점(용량이나, 내용이나)을 발견했는데요.

같은데이터로 만든게 아닌가요~?

nsml log 관련 문의

nsml으로 run을 해놓고 보면 처음에는 잘 되다가 어느 순간

NSML Log start!
Error: Docker daemon timeout!

이런식으로 나옵니다.
이 경우 트레닝이 잘 진행되고있는지 확인할 방법이 있을까요?

nsml submit 오류

안녕하세요 모델을 학습시키고, submit을 하려고 하는데, 다음과 같은 오류가 나타납니다.

Error response from daemon: can not get logs from container which is dead or marked for removal

학습도 잘 진행되고, 모델 save도 정상적으로 되는 것 같은데 무엇이 문제인지 알 수 있을까요?
세션 번호는 cheap_learning/SRL/88 입니다.

모델 용량 관련 질문입니다.

안녕하세요.

NSML 시스템 및 정책 상으로 허용 가능한 범위(e.g. 모델 포함 총 사이즈 5GB 이내)가 있다고 하셨는데,
정확히 어떤 용량을 말씀하시는것인지 이해가 잘 되지 않습니다.

램을 말씀하시는건지, GPU 용량을 말씀하시는것인지 잘 모르겠습니다.
제가 참고할 만한 자료가 있다면 알려주시면 감사하겠습니다.

baseline 실행 오류에 관해..

Traceback (most recent call last):
File "/app/src/main.py", line 5, in
nsml.nsml(obj={}, prog_name='nsml')
File "/usr/local/lib/python3.6/site-packages/click/core.py", line 764, in call
return self.main(*args, **kwargs)
File "/usr/local/lib/python3.6/site-packages/click/core.py", line 717, in main
rv = self.invoke(ctx)
File "/usr/local/lib/python3.6/site-packages/click/core.py", line 1137, in invoke
return _process_result(sub_ctx.command.invoke(sub_ctx))
File "/usr/local/lib/python3.6/site-packages/click/core.py", line 956, in invoke
return ctx.invoke(self.callback, **ctx.params)
File "/usr/local/lib/python3.6/site-packages/click/core.py", line 555, in invoke
return callback(*args, **kwargs)
File "/usr/local/lib/python3.6/site-packages/click/decorators.py", line 17, in new_func
return f(get_current_context(), *args, **kwargs)
File "/app/src/nsml_cli/nsml.py", line 584, in run
gpu_driver_version, num_nodes
File "/app/src/nsml_cli/sessions/session_service.py", line 837, in run_session
_ = make_and_get_personal_minio(ctx.obj, user_id=owner)
File "/app/src/nsml_cli/client/minio_client.py", line 450, in make_and_get_personal_minio
server, passwd = _launch_minio(ctx_obj, user_id, redis_client)
File "/app/src/nsml_cli/client/minio_client.py", line 418, in _launch_minio
'--config-dir', '/etc/minio', 'server', '/data', encrypted=ctx_obj
File "/app/src/nsml_cli/cluster.py", line 93, in docker
return docker(self.address, *args, **kwargs)
File "/app/src/nsml_cli/docker.py", line 90, in docker
return _run_docker_cmd(args, interactive, err, **kwargs)
File "/app/src/nsml_cli/docker.py", line 76, in _run_docker_cmd
out = check_output(cmd, stderr=-2 if err else devnull)
File "/usr/local/lib/python3.6/subprocess.py", line 336, in check_output
**kwargs).stdout
File "/usr/local/lib/python3.6/subprocess.py", line 418, in run
output=stdout, stderr=stderr)
subprocess.CalledProcessError: Command '['docker', '--config', '/tmp/naverEnding', '-H', '10.33.29.201', 'run', '--restart=always', '-d', '-p', '10209:9000', '--name=minio_naverEnding', '-v', '/data/minio_client/naverEnding:/data', '-e', 'MINIO_ACCESS_KEY=[email protected]', '-e', 'MINIO_SECRET_KEY=7522073f24454f8de4167b7e2f6c0323178ed199', 'minio/minio', '--config-dir', '/etc/minio', 'server', '/data']' returned non-zero exit status 125.
FATA[2018/12/05 21:19:41.274] Internal server error

다음과 같은 오류가 나는데 이건 nsml내부 서버 에러인가요?

또한 local 환경에서 실행하려 하는데, local 환경에서 실행하면 다음과 같은 오류가 납니다.
File "main.py", line 7, in
import nsml
ImportError: No module named 'nsml'
nsml-local 프로그램도 설치 하였고, 재설치를 반복 했는데도 오류가 나는데 해결 방안이 있나요??

참가신청 변경 요청드립니다.

안녕하세요, 팀 urban_overfitters 이연정, 남주현
이연정으로 변경 부탁드립니다.

감사합니다.

nsml 세션이 종료되지 않습니다

세션 두개가 로그도 뱉지 않고 running 중으로 나오는데 중지하고 싶습니다.
커맨드라인과 웹 인터페이스 둘다에서 중지 명령어를 입력해봤는데 먹히지 않습니다
NER 세션 383 380 입니다.

nsml submit Error occurred while loading model

모델 서브밋을 테스트 하려고 하는데 로딩 중 오류가 일어나는 것 같습니다
그런데 load 함수를 bind하는 부분은 nsml 문서에 있는 wrapper함수를 그대로 사용했습니다
어떤 문제가 있는건가요?
Error: Error occurred while loading model
FATA[2018/12/02 01:59:10.291] Internal server error

session submit 오류

submit 하는 중에

....Warning: Your session has a total size of over 10 MB You may want to add unnecessary files and directories to the ignore list. (e.g. the .git directory)
....
Building docker image. It might take for a while
........Error: Session does not respond
FATA[2018/12/07 13:01:09.315] Internal server error

다음과 같은 에러가 뜨면서 최종적으로 제출이 안되는 상황인데요...

이게 바로 뜨면 코드의 문제인가 싶을 수 있는데 제출 후 1시간 다 되어갈 때쯤 발생합니다.
혹시 test 코드 시간 문제일까요??

기존 모델에 비해서 특별히 수정한 것이 많이 없었어서 잘 제출 되던 것이 제출이 안되서
답답합니다ㅠㅠㅠ

submit -t 옵션 주었을 때 문제 없이 list 반환이 되었었는데 왜 그런 것일까요ㅠ
gyuwonable/NER/114 세션 0 번 checkpoint 입니다.

확인 부탁 드리겠습니다.

추가 적으로 해당 모델 제출 후 아래 링크의 오류와 같은 에러메시지가 발생하며
학습중이던 세션이 종료되었습니다.

#45

submit시에 OOM 문제 문의

학습할때는 OOM 에러가 뜨지 않는데, nsml sumbit시에 OOM에러가 뜨고있습니다.
혹시 해결할 방법이 있는지 궁금합니다

ResourceExhaustedError (see above for traceback): OOM when allocating tensor with shape[2500,64,180,48] and type float on /job:localhost/replica:0/task:0/device:GPU:0 by allocator GPU_0_bfc
	 [[{{node module_apply_tokens/bilm/CNN/Conv2D_2}} = Conv2D[T=DT_FLOAT, data_format="NCHW", dilations=[1, 1, 1, 1], padding="VALID", strides=[1, 1, 1, 1], use_cudnn_on_gpu=true, _device="/job:localhost/replica:0/task:0/device:GPU:0"](module_apply_tokens/bilm/CNN/Conv2D-0-TransposeNHWCToNCHW-LayoutOptimizer, module_apply_tokens/bilm/CNN/Conv2D_2/ReadVariableOp/_1349)]]
Hint: If you want to see a list of allocated tensors when OOM happens, add report_tensor_allocations_upon_oom to RunOptions for current allocation info.

	 [[{{node crf_layer/rnn/while/GreaterEqual/_1575}} = _Recv[client_terminated=false, recv_device="/job:localhost/replica:0/task:0/device:CPU:0", send_device="/job:localhost/replica:0/task:0/device:GPU:0", send_device_incarnation=1, tensor_name="edge_3420_crf_layer/rnn/while/GreaterEqual", tensor_type=DT_BOOL, _device="/job:localhost/replica:0/task:0/device:CPU:0"](^_cloopcrf_layer/rnn/while/Cast/_1163)]]
Hint: If you want to see a list of allocated tensors when OOM happens, add report_tensor_allocations_upon_oom to RunOptions for current allocation info.

training 중단에러

학습 도중 중간에 다음과 같은 메세지가 나오면서 종료되었습니다

Traceback (most recent call last):
File "/usr/local/lib/python3.5/dist-packages/redis/connection.py", line 174, in _read_from_socket
data = recv(self._sock, socket_read_size)
File "/usr/local/lib/python3.5/dist-packages/redis/_compat.py", line 79, in recv
return sock.recv(*args, **kwargs)
ConnectionResetError: [Errno 104] Connection reset by peer

During handling of the above exception, another exception occurred:

Traceback (most recent call last):
File "/usr/local/lib/python3.5/dist-packages/redis/client.py", line 2408, in _execute
return command(*args)
File "/usr/local/lib/python3.5/dist-packages/redis/connection.py", line 624, in read_response
response = self._parser.read_response()
File "/usr/local/lib/python3.5/dist-packages/redis/connection.py", line 284, in read_response
response = self._buffer.readline()
File "/usr/local/lib/python3.5/dist-packages/redis/connection.py", line 216, in readline
self._read_from_socket()
File "/usr/local/lib/python3.5/dist-packages/redis/connection.py", line 191, in _read_from_socket
(e.args,))
redis.exceptions.ConnectionError: Error while reading from socket: (104, 'Connection reset by peer')

During handling of the above exception, another exception occurred:

Traceback (most recent call last):
File "/usr/local/lib/python3.5/dist-packages/redis/connection.py", line 484, in connect
sock = self._connect()
File "/usr/local/lib/python3.5/dist-packages/redis/connection.py", line 541, in _connect
raise err
File "/usr/local/lib/python3.5/dist-packages/redis/connection.py", line 529, in _connect
sock.connect(socket_address)
TimeoutError: [Errno 110] Connection timed out

During handling of the above exception, another exception occurred:

Traceback (most recent call last):
File "/usr/lib/python3.5/threading.py", line 914, in _bootstrap_inner
self.run()
File "/app/nsml/client.py", line 63, in run
for item in self.pubsub.listen():
File "/usr/local/lib/python3.5/dist-packages/redis/client.py", line 2501, in listen
response = self.handle_message(self.parse_response(block=True))
File "/usr/local/lib/python3.5/dist-packages/redis/client.py", line 2430, in parse_response
return self._execute(connection, connection.read_response)
File "/usr/local/lib/python3.5/dist-packages/redis/client.py", line 2415, in _execute
connection.connect()
File "/usr/local/lib/python3.5/dist-packages/redis/connection.py", line 489, in connect
raise ConnectionError(self._error_message(e))
redis.exceptions.ConnectionError: Error 110 connecting to 10.34.34.173:32770. Connection timed out.

추가 데이터 사용 여부

NER과 SRL 태스크에서 주어진 학습 코퍼스 이외에 다른 공개된 추가 데이터(공개 코퍼스, 공개된 pretrained model 혹은 pretrained embedding model)를 사용해도 되는지 확인 부탁드립니다.

참가 신청서 철회 요청

안녕하세요.

참가 신청서를 작성했는데, 팀원 정보 변경이 필요해서 참가 신청서 철회 요청을 드립니다.
팀 이름은 nlp_and_chill이었습니다.

부탁드리겠습니다!

due to low balance 오류

low balance 오류가 일어나서 submit과 트레인 둘다 되지 않습니다.
low balance 오류가 일어나는 이유가 사용자에게 있나요?

SRL데이터 관련

안녕하세요, NLP_challenge에 참가하고 있는 TTEL_team 김화민입니다.
제공해주신 훈련데이터와 개괄적 설명에 대한 글을 확인하는 과정에 문의사항이 생겨서 글을 남기게 되었습니다.
Supervised learning이라면 공개된 훈련데이터가 태깅이 완료된 답이라는 가정을 해야 하는데, 훈련데이터의 태깅된 결과들을 살펴보면 정해주신 17개의 의미역 중 하나에 속하지만 레이블이 없이 "-"로 표기된 경우가 많이 보이며, 제일 단적인 예시로 "의미역 결정" 리더보드에 있는

그는 ARG0
경찰에게 -
신분증을 ARG1
보였다 -

의 경우,
"보이다" 라는 용언의 행위주, 피동작주만 레이블링이 되어 있고,
"경찰에게" 라는 ARG3의 가능성이 있는 어절의 경우 레이블링이 되어 있지 않은 것을 확인할 수 있습니다.
훈련 데이터 내에도 이와 같이 ARGM-OOO에 대한 레이블링은 완전하지 않아 보이기에 혹시 이들 훈련 데이터 역시 살펴보고 레이블링을 해야 하는지, 아니면 단순히 이들이 답이라 가정하고 진행을 해야할 지 여쭤보기 위해 글을 남기게 되었습니다.

긴 글 읽어주셔서 정말 감사드립니다.

P.S. 또한 ARGM-TMP의 경우 '용언이 행해지는 시제'라고 하셨는데, 이는 '보였다'라는 용언의 활용형에 내재되어 있기에 이 또한 표기가 되어야 의미역의 연관성을 명확히 확인할 수 있을 것이라 생각하지만 이는 용언에 내재된 경우라서 어절 단위로 레이블링을 하는 데에 제한이 있기에 제외되어 표기된 것인지도 궁금합니다! 다른 ARGM-TMP로 태깅된 데이터를 봤을 때, 어절 전체가 시점과 관계가 있는 것들이 대부분인데 "과거-현재-미래"를 의미하는 시제라고 설명에 적혀있기에 이것에 대한 명확한 정의를 여쭙고자 합니다!