cosmoquester/2021-dialogue-summary-competition

[2021 훈민정음 한국어 음성•자연어 인공지능 경진대회] 대화요약 부문 알라꿍달라꿍 팀의 대화요약 학습 및 추론 코드를 공유하기 위한 레포입니다.

2021-dialogue-summary-competition's Issues

안녕하세요 코드 내 (accuracy)에 관해 몇가지 질문이 있어 연락드립니다.

안녕하세요

블로그를 재밌게 읽고 학습을 시켜보고 싶어 코드를 돌려보고 있는데
여러가지 오류가 나오더라고요...
도커로 환경 구축해서.... 이게 라이브러리 버전...의 문제는 아닌거 같은데

제가 코드를 수정해서 오류가 나오는건지?? 아님 코드 내 문제가 있는건지??
뭐 때문에 오류가 생긴건지? 궁금합니다. 감사합니다.

README를 읽으며 진행중인데... 잘 안되어 질문드립니다.
아래 이미지를 진행 중이며...

에러는 여기서부터 하나씩.. 해결중이에요

1. 깃에 공유된 코드 내에는 task라는 인자가 없는데... 실행하니깐 필요하다고 하는데.. 왜 그런건가요??
아!! task가 바이너리, 멀티클래스, 멀티레이블 이렇게 있는데..
제 생각에는 멀티레이블로 진행을 해야할거 같은데 진행이 안되어 일단 바이너리로.... 했습니다...

• TypeError: accuracy() missing 1 required positional argument: 'task'

File "/home/dialogue_summary_competition_master/summarizer/method/default.py", line 87, in validation_step
    accuracy = torchmetrics.functional.accuracy(logits, labels, ignore_index=self.model.config.pad_token_id)#, task="binary")

2. warning이긴 한데.. 안보이게 하려고 + 학습할 때 사용할 GPU의 개수는 1이라 제일 무난한 4라고 임의의 값을 넣어 주었습니다.

• UserWarning: The dataloader, val_dataloader 0, does not have many workers which may be a bottleneck. Consider increasing the value of the num_workers argument(try 32 which is the number of cpus on this machine) in theDataLoader` init to improve performance.

train_dataloader = DataLoader(train_dataset, shuffle=True, batch_size=args.batch_size, num_workers=4)

3. 저는 배치값이니 데이터니 바꿔준게 없는데.. 왜 target이랑 output이랑 shape가 다른건가요..? 제가 못하는건지.. 코드가 그런건지.. 모르겠어요...

• RuntimeError: Predictions and targets are expected to have the same shape, but got torch.Size([65280, 4000]) and torch.Size([65280]).

labels = batch["decoder_input_ids"][:, 1:].reshape(-1)
logits = output["logits"][:, :-1].reshape([labels.shape[0], -1])
accuracy = torchmetrics.functional.accuracy(logits, labels, ignore_index=self.model.config.pad_token_id, task="binary")

print('logits.size()', logits.size()) 
# torch.Size([65280, 4000])

print('labels.size()', labels.size()) 
# labels.size() torch.Size([65280])

아 그리고 여기 logits, labels의 경우 어떻게 수정해야 할까요...? 도움주시면 너무 감사하겠습니다.
좋은 하루 보내세요

인풋 길이 제한이 궁금합니다.

안녕하세요.
좋은 코드 공유해주셔서 감사합니다. :)

혹시 인풋 길이 제한은 어떻게 될까요?!

sample data를 보고 학습을 할 때 어떻게 한것인지 질문이있어 올립니다.

dialogue에 json에서 추출한 utterance들을 모아놓은 것을 봤습니다.
sample에서 iloc[0]을 사용하면 '["밥 먹었어~?", "편의점에서 대충 때웠어", "허어얼.. 편의점이라니", "#@이모티콘#"]' 이렇게 뜹니다. iloc[0][0]이라고하면 '['만 나옵니다. 학습을 할 때 '[', ']'이런것들은 전부 지우신건가요?

안녕하세요! 모델 학습을 위한 데이터 양식에 대해 질문드립니다.

안녕하세요, 좋은 코드 공유해주셔서 감사합니다!
해당 모델로 학습해보려고 하는데 해당 코드 를 살펴보며 궁금한 점이 있어서 문의 드립니다 !
제가 알기로는 AIHub 데이터를 이용해서 학습한 것으로 알고 있는데 혹시 해당 AIHUB 데이터에 맞춘 JSON 형식을 사용해야 하는지, 아니면 아래와 같은 형식으로 학습을 해야 하는지 궁금합니다!
id dialogue summary 1 ["안녕하세요", "안녕하세요 반갑습니다."] "인사하는 대화" 2 ["오늘 날씨가 참 좋네요.", "맞아요. 기분이 좋아지는 날씨죠."] "날씨 칭찬 대화" 3 ["종각에서 만나자.", "좋아요. 어떤 음식이 먹고 싶어?"] "만남 약속 대화"

rouge-score library non alphanumeric issue

rouge-score library erase all non alphanumeric characters.
So cannot be used to calculate Korean characters.

inaccurate rouge score of library

• rouge library which is used to calculate rouge scores for evaluation and training puts odd results below

$ rouge "A B C D E F" "A C B"
[
  {
    "rouge-1": {
      "r": 1.0,
      "p": 0.5,
      "f": 0.6666666622222223
    },
    "rouge-2": {
      "r": 0.0,
      "p": 0.0,
      "f": 0.0
    },
    "rouge-l": {
      "r": 0.6666666666666666,
      "p": 0.3333333333333333,
      "f": 0.44444444000000005
    }
  }
]

$ rouge "A B C D E F C" "A C B"
[
  {
    "rouge-1": {
      "r": 1.0,
      "p": 0.5,
      "f": 0.6666666622222223
    },
    "rouge-2": {
      "r": 0.0,
      "p": 0.0,
      "f": 0.0
    },
    "rouge-l": {
      "r": 0.6666666666666666,
      "p": 0.3333333333333333,
      "f": 0.44444444000000005
    }
  }
]

This is rouge-score below.

>>> print(json.dumps(scorer.score("A B C D E F", "A C B"), indent=2))
{
  "rouge1": [
    1.0,
    0.5,
    0.6666666666666666
  ],
  "rougeL": [
    0.6666666666666666,
    0.3333333333333333,
    0.4444444444444444
  ]
}
>>> print(json.dumps(scorer.score("A B C D E F C", "A C B"), indent=2))
{
  "rouge1": [
    1.0,
    0.42857142857142855,
    0.6
  ],
  "rougeL": [
    0.6666666666666666,
    0.2857142857142857,
    0.4
  ]
}

• this is google's rouge-score results and this is correct conceptually also.

안녕하세요 긴 대화문 요약에 대해 질문드립니다.

안녕하세요. 테스트 코드를 통해 조금 긴 대화문의 요약을 실행하면
-> [2233] return torch.embedding(weight, input, padding_idx, scale_grad_by_freq, sparse)

IndexError: index out of range in self

와 같은 에러가 나옵니다. 혹시 긴 대화문의 요약을 위해서 조정해야할 부분이 있을까요?