bcaitech1/p4-fr-sorry-math-but-love-you

a math-formula image recognition project which placed at the first place in a competition hosted by NAVER CONNECT boostcamp AI Tech

🏆수식 인식: To be Modeler and Beyond!

Contents

    🧐Task Description

    🏆Project Result

    ⚙Installation

    🕹Command Line Interface

    🤝Collaboration Tools

    👩‍👦‍👦Who Are We?

Task Description

Subject

본 대회의 주제는 수식 이미지를 LaTex 포맷의 텍스트로 변환하는 문제였습니다. LaTex은 논문 및 기술 문서 작성 포맷으로, 자연 과학 분야에서 널리 사용됩니다. 일반적인 광학 문자 인식(optical character recognition)과 달리 수식인식은 multi-line recognition을 필요로 합니다.

일반적 문장과 달리 수식은 분수의 분자·분모, 극한의 구간 표현 등 다차원적 관계 파악이 필요합니다. 따라서 수식인식 문제는 일반적인 single line recognition 기반의 OCR이 아닌 multi line recognition을 이용하는 OCR 문제로 바라볼 수 있습니다. Multi line recognition의 관점에서 수식 인식은 기존 OCR과 차별화되는 task라고 할 수 있습니다.

Data

• 학습 데이터: 출력물 수식 이미지 5만 장, 손글씨 수식 이미지 5만 장, 총 10만 장의 수식 이미지

• 테스트 데이터: 출력물 수식 이미지 6천 장, 손글씨 수식 이미지 6천 장

Metric

• 평가 척도: 0.9 × 문장 단위 정확도 + 0.1 × (1 - 단어 오류율)

• 문장 단위 정확도(Sentence Accuracy): 전체 추론 결과 중 몇 개의 수식이 정답과 정확히 일치하는 지를 나타낸 척도입니다.

• 단어 오류율(Word Error Rate, WER): 추론 결과를 정답에 일치하도록 수정하는 데 단어의 삽입, 삭제, 대체가 총 몇 회 발생하는 지를 측정하는 척도입니다.

  

Project Result

• 12팀 중 1위

• Public LB Score: 0.8574 / Private LB Score: 0.6288

• 1등 솔루션 발표 자료는 이곳에서 확인하실 수 있습니다.

• 수식 인식 결과 예시

Installation

# clone repository
git clone https://github.com/bcaitech1/p4-fr-sorry-math-but-love-you.git

# install necessary tools
pip install -r requirements.txt

Dataset Structure

[dataset]/
├── gt.txt
├── tokens.txt
└── images/
    ├── *.jpg
    ├── ...     
    └── *.jpg

Code Structure

[code]
├── configs/ # configuration files
├── data_tools/ # modules for dataset
├── networks/ # modules for model architecture
├── postprocessing/ # modules for postprocessing during inference
├── schedulers/ # scheduler for learning rate, teacher forcing ratio
├── utils/ # useful utilities
├── inference_modules/ # modules for inference
├── train_modules/ # modules for train
├── README.md
├── requirements.txt
├── train.py
└── inference.py

Command Line Interface

Train

Train with single optimizer

$ python train.py --train_type single_opt --config_file './configs/EfficientSATRN.yaml'

Train with two optimizers for encoder and decoder

$ python train.py --train_type dual_opt --config_file './configs/EfficientSATRN.yaml'

Knowledge distillation training

$ python train.py --train_type distillation --config_file './configs/LiteSATRN.yaml' --teacher_ckpt 'TEACHER-MODEL_CKPT_PATH'

Train with Weight & Bias logging tool

$ python train.py --train_type single_opt --project_name <PROJECTNAME> --exp_name <EXPNAME> --config_file './configs/EfficientSATRN.yaml'

Arguments

train_type (str): 학습 방식

• 'single_opt': 단일 optimizer를 활용한 학습을 진행합니다.
• 'dual_opt': 인코더, 디코더에 optimizer가 개별 부여된 학습을 진행합니다.
• 'distillation': Knowledge Distillation 학습을 진행합니다.

config_file (str): 학습 모델의 configuration 파일 경로

• 모델 configuration은 아키텍처별로 상이하며, 이곳에서 해당 예시를 보실 수 있습니다.
• 학습 가능한 모델은 EfficientSATRN, EfficientASTER, SwinTRN, LiteSATRN 입니다.

teacher_ckpt (str): Knowledge Distillation 학습 시 불러올 Teacher 모델 checkpoint 경로

project_name (str): (optional) 학습 중 Weight & Bias 로깅 툴을 활용할 경우 사용할 프로젝트명

exp_name (str): (optional) 학습 중 Weight & Bias 로깅 툴을 활용할 경우 사용할 실험명

---

Inference

Inference with single model

$ python inference.py --inference_type single --checkpoint <MODELPATH.pth>

Ensemble inference

$ python inference.py --inference_type ensemble --checkpoint <MODEL1PATH.pth> <MODEL2PATH.pth> ...

Arguments

inference_type (str): 추론 방식

• single: 단일 모델을 불러와 추론을 진행합니다.
• ensemble: 여러 모델을 불러와 앙상블 추론을 진행합니다.

checkpoint (str): 불러올 모델 경로

• 앙상블 추론시 다음과 같이 모델의 경로를 나열합니다.

  --checkpoint <MODELPATH_1.pth> <MODELPATH_2.pth> <MODELPATH_3.pth> ...

max_sequence (int): 수식 문장 생성 시 최대 생성 길이 (default. 230)

batch_size (int) : 배치 사이즈 (default. 32)

decode_type (str): 디코딩 방식

• 'greedy': 그리디 디코딩 방법으로 디코딩을 진행합니다.
• 'beam': 빔서치 방법으로 디코딩을 진행합니다.

decoding_manager (bool): DecodingManager 사용 여부

tokens_path (str): 토큰 파일 경로

• NOTE. DecodingManager를 사용할 경우에만 활용됩니다.

max_cache (int): 앙상블('ensemble') 추론 시 인코더 추론 결과를 임시 저장할 배치 수

• NOTE. 높은 값을 지정할 수록 추론 속도가 빨라지만, 일시적으로 많은 저장 공간을 차지합니다.

file_path (str): 추론할 데이터 경로

output_dir (str): 추론 결과를 저장할 디렉토리 경로 (default: './result/')

Collaboration Tools

Github Issues	Github Discussions
Github Pull Requests	Experiments Logging(W&B)

Who Are We?

고지형 [email protected]	김준철 [email protected]	김형민 [email protected]
송누리 [email protected]	이주영 [email protected]	최준구 [email protected]

p4-fr-sorry-math-but-love-you's Issues

리팩터링

학습 파이프라인 상 차이는 없지만, 모듈 재할당 등을 통해 가독성 높이기

Attention - RGB3 + size(256,256)

width, height = 256
rgb = 3
data_proportions = 1.0
batch_size = 32
num_workers = 8
에폭당 23분 소요

SATRN - CLAHE 실험

Seed: 21
Data Proportion: 1.0
Data Split Type: Stratified 5-fold
Validation Data: fold 3
Epoch: 50
rgb: 3
scheduler: CustomCosine
optimizer: AdamW
train transforms: CLAHE

REFACTORING

논문리뷰 - Z Wang, Jyn-Charn Liu, 2019, Translating Math Formula Images to LaTeX Sequences Using Deep Neural Networks with Sequence-level Training

• 인코더/디코더의 입출력 파악
• 수식 인식 task의 챌린징한 부분, 해당 모델의 주안점 파악
• 논문 링크: https://arxiv.org/pdf/1801.03530.pdf

Attention - RGB 3 실험

Seed: 21
Data Proportion: 1.0
Data Split Type: Stratified 5-fold
Validation Data: fold 3
Epoch: 50
rgb: 3

베이스라인 - Attention 실험

seed=21만 바꿈

SATRN - Pre-training with IM2LATEX

• IM2LATEX 데이터를 통한 사전학습을 통해 weight를 잡아두는게 좋은 영향을 끼칠지 확인
• 대회에 주어진 토큰만을 포함한 샘플만을 활용
• 데이터를 작게 잡고 우선 학습 진행해보고, 사전학습이 없을 떄에 비해 성능 향상된 것으로 보이면 모든 데이터를 활용해 학습하자

W&B 로깅 추가

Train phase에서 모델 간 러닝 커브 비교를 효율적으로 하기 위해 W&B 추가

Pretrained-BERT for SATRN

• SARTN의 인코더 일부와 디코더는 Transformer 구조를 차용하는데, BERT 모델로 대체할 수 있지 않을까?
• 만약 가능하다면, 주어진 Ground Truth를 활용해 사전학습(NSP, MLM)을 진행한 뒤 디코더로 활용할 수 있을 것으로 보인다
• SATRN 모델 구조 파악하고, BERT 구조 되짚어본 뒤 실현 가능성 확인해보자!

깃허브 소개 준비

깃헙 소개 준비하자

BERT 모델 활용 후처리 파이프라인 개발

SATRN 등 수식인식기의 출력을 재교정하는 모델 개발

• 입력: 수식인식기의 수식 생성 결과
• 출력: 수식 교정 결과
• 모델 학습 시 GT: 주어진 데이터의 텍스트 GT(수식)
• 필요사항: 레이텍 토큰을 활용한 BERT 모델의 사전 학습
• 기타
  • 수식인식기가 생성한 수식을 '재생성'하는 것은 Score를 되려 낮출 위험성이 있음. 수식인식기가 정확히 예측한 결과에 대해서도 굳이 재생성에 대한 리스크를 안겨야 하기 때문
  • 따라서, 일종의 Confidence를 마련해 Confidence가 낮은 입력에 대해서만 재생성을 수행할 필요가 있음. 즉, 수식인식기가 이미 정확히 추론한 것으로 판단된 결과물은 후처리 모델이 건들지 않도록 해야 함
  • 현재로써 생각되는 가장 현실적인 방법은, BLEU 스코어를 활용하는 것
    • '수식인식기의 생성 문장과 후처리 모델의 재생성 문장 간 차이가 적을 수록 수식인식기의 생성 문장은 정답일 가능성이 높다'라는 가정 하, 수식인식기의 생성 문장과 후처리 모델의 재생성 문장 간 BLEU 스코어를 측정해, 특정 threshold 이상이면 수식인식기의 생성 문장을 최종 추론 결과로, 이하이면 후처리 모델의 재생성 문장을 최종 추론 결과로 간주
    • threshold는 경험적으로 찾아야할 것 같음 + EDA
    • 위 방법 이외의 Confidence를 매길 방법이 있다면 활용해보아도 괜찮을 것 같음

베이스라인 - SATRN 실험

Seed: 21
Data Proportion: 1.0
Data Split Type: Random
Data Split Rate: 80:20
Epoch: 50

SATRN - 논문 내용 실험

논문에서 제안한 내용대로 실험
small기준
hidden - 256
filter - hidden x 4
encoder layer - 9
decoder layer 3

Attention - CustomCosine, flip test

인코더 & 디코더 lr 개별 부여

teacher forcing 스케줄링에 따라 디코더와 인코더에 개별적인 lr을 부여할 만한 가치가 있어보임

• 초반에 teacher forcing을 높게 가져갈 경우 학습이 더 잘 되는 경향
• teacher forcing이 높을 수록 인코더의 CNN의 학습 비중이 높고, 낮을 수록 디코더의 RNN의 학습 비중이 높을 것으로 추측
• teacher forcing을 초반부에 높게 잡아줄 경우 성능 향상이 발생한 것은, 그만큼 학습 초반 인코더(CNN)의 weight가 얼마나 잘 자리잡느냐가 중요하다는 것을 의미하는 것이 아닐까?
• 그래서! 디코더와 인코더, 그리고 teacher forcing 스케줄링을 모두 개별적으로 고려한 학습을 진행해볼 가치가 있음. 대략 다음과 같이
  • 초반부: 높은 teacher forcing & 높은 디코더 lr & 낮은 인코더 lr
  • 후반부: 낮은 teacher forcing & 낮은 디코더 lr & 높은 디코더 lr

ICDAR 2015 - 주요 모델 논문

https://paperswithcode.com/sota/scene-text-recognition-on-icdar2015

Rank #1: CSTR
Rank #2: SEED
Rank #3: TextScanner - 오피셜 코드 없음
Rank #4: SATRN

BEAM-SEARCH

기존 Best-path generation(greedy decoding)보다 생성 성능이 높은 beam-search 방법을 구현

Reference.

• Pytorch-seq2seq: 빔서치 구현 코드 나와있음
• Beam Search in NLP: 빔서치 개념 정리 잘 되어 있음

SATRN 논문 - On Recognizing Texts of Arbitrary Shapes with 2D Self-Attention

optimizer : Adam
lr : 3e-4
scheduler : cyclic, cycle step - 250,000
augmentation : rotate

Adam이 좋을수도 있다.
rotate augmentation 써보는 실험도 해봐야 할 것같다.

SEED - BERT 적용해보기

• 목적: Attention 모델에 Pre-trained BERT를 적용하여 성능 개선에 따른 앙상블 다양성 향상

• 1차 목표

  • Ground Truth 활용 BERT 사전학습(준구)
  • BI-LSTM 추가 및 성능 검증(지형)

• References

  • SEED
  • Can BERT be used for sentence generating tasks?
  • Custom Text Generation Using GPT-2
  • How to Fine-Tune GPT-2 for Text Generation

토큰 종류에 따른 데이터 분리

EDA하면서 어떤 방향으로 학습용/검증용 데이터륿 분리하면 좋을지 고민해보기

논문리뷰 - XIAOXUE CHEN, 2020, Text Recognition in the Wild:A Survey : STR에 대한 문제 정의와 해결책 제시

단순 OCR보다 우리 Task는 Scene Text Recognition(STR)과 닮았다.
우리가 바라봐야하는 부분은 Text Recognition + NLP 가 될 것.

STR에서 해결해야 할 문제들 - Issues

1. script identification
   : Image 데이터이므로 문자를 문자로 인식하는 것 자체가 어려울 수 있다.
2. Text enhancement
   : 문자 인식률을 높이기 위해 낮은 품질의 텍스트를 복구하거나 text resolution을 높여주거나 text의 찌그러짐(distortion)을 줄이거나, 배경을 없애는 것이 좋은 방법이다.
3. Text tracking
   : 강의에서와 마찬가지로 문자의 위치를 일관성 있게 추적해 가는 것이 중요한 문제다. 배경이나 노이즈랑 섞어서 text로 인식하는 것 구분 할 수 있어야 한다.
4. NLP 활용 능력
   : 결국 cnn backbone을 통해 도출 되는 feature를 해석하고 sequence 데이터로 출력해주는 것은 sequential 모델이기 때문에 sequential 모델 활용이 중요한 문제로 다루어야 한다.

Issue 1 해결책
: 지형이가 피어세션 때 말한 것처럼 receptive field 시각화로 학습 진행 확인 할 수 있을 듯.

Issue 2 해결책
: 논문에 큰 효과를 가져왔다고 이야기 하는 생성모델의 활용이나 주영이 형이 가져온 Adaptive threshold, Median blur, Closing이 좋은 방법이 될 것 같다.
생성모델은 De-GAN이 가장 유력하다. fine-tuning 방법 생각해봐야 할 듯

Issue 3 해결책
: 이 부분에 대해서는 학습 돌려보고 추가로 이야기 해봐야 할 듯?

Issue 4 해결책
: NLP에서 활용하는 방법론들을 다양하게 써보는 것도 좋은 시도가 될 것 같다.

Attention - Validation 실험

Seed: 21
Data Proportion: 1.0
Data Split Type: Stratified 5-fold
Validation Data: fold 3
Epoch: 50

앙상블

모델 앙상블 진행하기
-하드보팅부터 시작

SATRN - AdamW 실험

Size = (128, 128)
RGB = 1
Optim = AdamW, 5e-4
Fold 3

EDA - Tokens

1. 토큰 종류별 빈도수 세서 모든 폴드에 1/5씩 분배
2. 토큰끼리의 correlation 분석 (categorization)
   복잡한 수식(int,lim,frac 등)의 포함 여부에 따라
   그룹 레이블링해서 층화 추출하기

SATRN - Dataset 0.1 ratio Basic (비교용)

1.0 으로 실험하기엔 너무 오래걸리고 큰거같아서 0.1 두고 다른것들하고 실헙해보기 위해서 우선 basic코드 그대로 0.1 dataset 실험

EDA - 이미지 리사이징 이슈

지형 : resize + padding → square image
준철 : aspect_ratio의 범위에 따라 transform,resize를 다르게 주기
object detection에서 multiscale train을 했으니까 활용할 수 있지 않을까?? → 쉽지 않을듯.

EDA - Preprocessing

binary image로 바꾸기 & 배경 노이즈 깔끔하게 만들기
(grayscale, Fourier transform, sharpening)
aspect_ratio값이 어떤 threshold 이상이면 이미지가 90도 회전된 것으로 간주하고 돌리자
→ 근데 inference할 때 가능할까?? 베이스라인 봐야 할 듯.

SATRN - RGB 3 실험

Seed: 21
Data Proportion: 1.0
Data Split Type: Stratified 5-fold
Validation Data: fold 3
Epoch: 50
rgb: 3
scheduler: CustomCosine
optimizer: AdamW

SATRN - FAST EXP

Data proportion: 0.1
RGB - 어떤 RGB가 좋은지
사용 가능한 배치 사이즈
Vocab - vocab 사이즈에 영향이 클지

SATRN - Size256, RGB3 실험

Seed: 21
height, width : 256
Data Proportion: 1.0
Data Split Type: JC validation
Validation Data: fold 4
Epoch: 50
rgb: 3
batch size: 8
scheduler: CustomCosine
optimizer: Adam

BackBone 숙지

나중에 수정

디코딩 과정 상의 Postprocessor

이미지 배율에 따른 데이터 분리

이미지 배율에 대한 분포를 분석하고, 학습/검증 데이터 분리에 활용한다.