curegit/deep-descreen

Neural network-based descreening filter for scanned Anime pictures

Anime Halftone Inversing

CNN solution for scanning anime prints

This project is still WIP, and its codes are extremely rough. So they might not work properly.

Aiming

When you digitize paper-printed anime arts, you have to smooth halftone dots (because of offset printing). Usually, using filter-based methods (e.g. Gaussian blur) give undesired blurry results. This project solves it by using CNN (Convolutional Neural Network) which convert dotted images into smooth image.

Here are the provisional result and comparison to the baseline (Gaussian blur).

Train

python3 -m descreening.pitch.make JapanColor2011Coated.icc images pitch_dataset

Select CUDA Device

CUDA_VISIBLE_DEVICES

deep-descreen's Issues

[開発メモ] 色のずれ

データセット作成時

• ハーフトーンの平滑化した画像の最小最大で補正

  for channels
    min, max = blur(halftone, radius)
    for halftone.pixels
      i = ilerp(min, color, max)
      halftone.pixels <- lerp(original.min, i, original.max)

推論時

  for channels
    result <- result / (sum(result) / sum(input))

[開発メモ] スケール不変性

モデルのターゲットとなるドット間隔まで、pixel averaging で縮小してから実行すれば良い
=> ドット間隔に対するスケール不変性

訓練用画像の内容セマンティックによるスケール不変性は、augmentation によって確保する

[開発メモ] ドット間隔について

高DPIでのスキャンはピクセルの量子化復元性能に影響する？

[開発メモ] 回転不変性

CNNカーネルを８通りに複製する

• original
• R90
• R180
• R270
• H-flip
• V-flip
• H-flip + R90
• V-flip + R90

参考: Roto-translation equivariant convolutional networks

[開発メモ] カーネルをデカくする

• Scaling Up Your Kernels to 31x31: Revisiting Large Kernel Design in CNNs
  • depth-wise CNN を活用する
  • ショートカットコネクションは必須

[開発メモ] 活性化関数

GELU vs ReLU vs Leaky ReLU

Leaky ReLU はナシ。ReLU のほうがシャープ。
GELU と ReLU は少しの差だが、ReLU のほうが高品質。