liuzhuang1024/2019-ccf-bdci-ocr-mczj-ocr-identificationidelement

2019CCF-BDCI大赛 最佳创新探索奖获得者 基于OCR身份证要素提取赛题冠军 天晨破晓团队 赛题源码

工作整理

工作日常：打开Github开始新的一天

公式识别

• SAM
• RobustScanner: Dynamically Enhancing Positional Clues for Robust Text Recognition
• Translating Math Formula Images to LaTeX Sequences Using Deep Neural Networks with Sequence-level Training
• ConvMath: A Convolutional Sequence Network for Mathematical Expression Recognition
• wzlxjtu/PositionalEncoding2D
• im2markup from Image-to-Markup Generation with Coarse-to-Fine Attention
• LaTeX-OCR pix2tex: Using a ViT to convert images of equations into LaTeX code.
• image-to-latex transformer
• im2latex: Seq2Seq model with Attention - Beam Search for Image to LaTeX, similar to Show, Attend and Tell and Harvard's paper and dataset.
• im2latex: Pytorch implemention of Deep CNN Encoder - LSTM Decoder with Attention for Image to Latex
• math-formula-recognition WAP
• Pytorch-Handwritten-Mathematical-Expression-Recognition WAP
• BTTR: BiTransformer
• CAN
• CoMER
• Master-Ocr
• Master-Table
• SAN
• 文章
  • Seq2Seq for LaTeX generation
  • 基于Seq2Seq的公式识别引擎
• 论文
  • Multi-Scale Attention with Dense Encoder for Handwritten Mathematical Expression Recognition
  • Watch, attend and parse: An end-to-end neural network based approach to handwritten mathematical expression recognition
  • MASTER: Multi-Aspect Non-local Network forScene Text Recognition
  • Handwritten Mathematical Expression Recognition with Bidirectionally Trained Transformer
  • Recognizing handwritten mathematical expressions via paired dual loss attentionnetwork and printed mathematical expressions
  • DenseWAP-TD
  • Handwritten Mathematical Expression Recognition with Bidirectionally Trained Transformer

注意力机制

• gordicaleksa/pytorch-GAT 图注意力机制
• External-Attention-pytorch
• Image-Local-Attention
• 文章
  • 一文看懂 Attention（本质原理+3大优点+5大类型）
  • 自注意力机制的PyTorch实现
  • PyTorch教程: seq2seq机器翻译及代码实现
  • 序列到序列 (Seq2Seq) 和注意力机制 (Attention Machanism)
  • 用pytorch实现RNN（两种构造RNN的方法；序列到序列的训练）,PyTorch,方式
  • 动画图解Attention机制，让你一看就明白
  • Visualizing A Neural Machine Translation Model (Mechanics of Seq2seq Models With Attention)
  • Attention Craving RNNS: Building Up To Transformer Networks

DataSet

• graviti

• 超神经

• zenodo.org

• 数据合成

  • 最完美的数学公式转图片：纯Python实现，可设置字体、字号、颜色和分辨率

• OCR

  • OCR_ICDAR_label_revise
  • OCR Dataset 大全

• 数据增广

  • OCR数据增广
    • clovaai/synthtiger
    • straug
    • Text-Image-Augmentation-python
  • FMix
  • Mixup

• 常用数据集网站

  • CHROME
    • CHROME
    • CHRAOME竞赛地址
    • Datasets per Topic

目标检测

• Pix2seq: A Language Modeling Framework for Object Detection 语言模型搭建检测
• DefTruth/lite.ai C+- 检测部署
• PeizeSun/OneNet
• Yolov5_DeepSort_Pytorch
• 文本检测
  • Yuliang-Liu/Box_Discretization_Network--BDN
• 表格检测
  • mdv3101/CDeCNet
• ATSS 目标检测采样策略
• WeightedBoxesFusion 目标检测集成方法
• SoftTeacher
• 单阶段
  • YOLOX
  • YOLOV5
  • TOOD
  • nanodet
  • Yolo-FastestV2
  • yolov5-rt-stack
• 部署
  • YOLOv5_NCNN
• 多方向
  • DOTA-DOAI 多方向检测
  • OBBDetection
  • YOLOv5_DOTA_OBB
• 目标跟踪
  • Yolov5_DeepSort_Pytorch

文本检测方法

• 基于概率分布图的任意形状文本实例分割和检测方法（有源码
• [CVPR2022] 端到端的场景文字检测与版面分析统一框架
• [CVPR 2022] 特征采样与分组：基于Transformer的场景文字检测方法
• 滑铁卢大学：使用transformer的任意形状文本检测
• ATSS

检测集成策略

• 目标检测评价指标详解
• Weighted boxes fusion
• 涨点神器！南航提出AFF：注意力特征融合，即插即用！可用于分类、检测和分割等
• 在目标检测被“遗忘”领域进行探索后，百度开源最新力作UMOP：即插即用、无痛涨点
• 竞赛经验｜Kaggle竞赛中使用YoloV5将物体检测的性能翻倍的心路历程
• 涨点神器！SIoU：目标检测的新损失函数，提高准确性和训练速度！
• 目标检测正负样本区分策略和平衡策略总结
• ashi|小目标Trick | Detectron2、MMDetection、YOLOv5都通用的小目标检测解决方案
• EDA: Exploratory Data Analysis
• TTA
• softmax-nms
• OHEM
• SWA
• RoIAlign
• 多尺度训练、推理
• 根据batchsize的大小适当调整bn的类型
• 目标检测比赛提高mAP的方法
• 弯曲文本检测策略

文本加测数据集

1. [hiertext](https://github.com/google-research-datasets/hiertext)
2. icdar
3. ctw
4. total text
5. openimage
6. cocotext

语义分割(暂停)

• Fast-SCNN-pytorch

MarkDown

• MarkDown-常用操作
• 拓展
• Markdown快速入门

trick 大全

• 数据增广
• 梯度正则
• 学习率调整方法
• 权重正则
• 多卡训练
• 注意力机制
• 激活函数
• Center Loss
• SWA
  • PyTorch 1.6 now includes Stochastic Weight Averaging
  • SWALR
• 自集成(swa)/自蒸馏(self-distillation)
• Test Time Augmentation（TTA）
• Ensemble-Pytorch
• MEAL-V2 KL散度以及对抗损失
• 数据平衡
  • 如何处理非平衡数据
  • Pytorch不均衡数据集采样器

冠军解决方案

• ICDAR2021-公式检测

TODO

• 移动到TODO.md

Other

• PeterL1n/RobustVideoMatting 字节跳动的实时视频绿幕

• 虚拟试衣 virtual_try_on_use_deep_learning

• 行人识重 deep-person-reid

• DexiNed 边缘检测

• Screenshot-to-code Image-to-html

• 语音

  • Realtime-Voice-Clone-Chinese
  • espnet 包含语音大部分功能

• LearningToCountEverything

• skelnet 基于Unet的骨架识别

• pytorch-tools

• soho Seeing Out of tHe bOx: End-to-End Pre-training for Vision-Language Representation Learning

• PeterL1n/RobustVideoMatting

• pillow-simd pillow加速

• pytracking

Pytorch

• Pytorch的一些基本操作
• ritchieng/the-incredible-pytorch 教程
• 长尾问题
  • vandit15/Class-balanced-loss-pytorch
• facebookresearch/FixRes trick
• imankgoyal/NonDeepNetworks ParNet
• assafshocher/ResizeRight
• kornia/kornia
• Learning to Resize Images for Computer Vision Tasks
• pytorch/libtorch
• pytorch/examples
• pytorch-optimizer
• victoresque/pytorch-template
• pytorch-metric-learning
• 自定义操作torch.autograd.Function
• pytorch-loss
• BatchNorm 很重要，也很有效
  • Training BatchNorm and Only BatchNorm: On the Expressive Power of Random Features in CNNs
• 模型加速
  • tczhangzhi/pytorch-distributed 分布式demo
  • contiguous_pytorch_params
  • DDP
  • Pytorch amp/apex
    • 多精度训练教程 非官网
  • fairscale
  • Pytorch MP
• 无监督
  • Dassl
  • Dino
• Pytorch 入门
  • code-of-learn-deep-learning-with-pytorch
  • PyTorch-Tutorial 莫烦
• KL散度理解以及使用pytorch计算KL散度
• AutoClip: Adaptive Gradient Clipping
• timm
• Test Time Augmentation（TTA）
• Ensemble-Pytorch
• MEAL-V2 KL散度以及对抗损失
• 数据平衡
  • 如何处理非平衡数据
  • Pytorch不均衡数据集采样器
  • imbalanced-dataset-sampler
  • Class-balanced-loss-pytorch
• CNN
  • DiverseBranchBlock
• lightly 弱监督
• mit-han-lab/once-for-all
• IntelLabs/distiller

高效工具

• fanux/sealos k8s快速部署

• 命令行代理

• vscode ssh配置文件设置代理

  • 使用代理连接 ssh
  • vscode 通过代理连接远程服务器（win10）
  • VSCode Remote ssh跳板机配置（windows平台

• Ray

• wandb

• Time

• MarkDown

• gpustat

• lsof -i:port 查看端口使用情况

• Git

  • commit之后，想撤销commit
    • git checkout
    • git reset [--mixed [--soft [--hard ]]]
    • git stash
    • git stage
  • 

• torchtracer：一个管理 PyTorch AI 实验项目的工具

• overleaf latex

• 命令行工具

  • bash
  • zsh
  • starship
  • fzf
  • tmux
  • screen
  • hyper
  • tabby
  • iTerm2
  • Vim
    • Vim 菜鸟
    • Vim 入门
    • Vim 插件

• 深度学习/环境配置

  • lambda-stack-deep-learning-software
  • ufoym/deepo
  • Installing CUDA 10.2, CuDNN 7.6.5, TensorRT 7.0, Ubuntu 18.04

• 炼丹神器｜端到端的机器学习和模型管理工具PyCaret

• 穿透

  • frp
  • cploar
  • ssh
  • zerotier
  • clash

• Win

  • win 自启动目录 shell:startup

• 自建云盘

  • 自建云盘教程
  • win 局域网共享
  • smb://
  • nextcloud

• Github

  • fastgit
  • Github520
  • github1s

• 订阅

  • ✈️ 免费机场 / 免费VPN -> 自动获取免 clash/v2ray/trojan/sr/ssr 订阅链接，间隔6小时持续更新 | 科学上网 | 翻墙

• chrome

  • iamadamdev/bypass-paywalls-chrome
  • catalyzex

• brave

• 代理

  • switch-hosts
  • SwitchyOmega

• GPU主机市场

  • 深度学习/云计算 - 【学生党】【GPU】16个云服务器资源大汇总

• vscode

  • VSCode查找和替换正则表达式转义字符整理
  • code-server

• 可视化

  • 模型可视化
    • Tools-to-Design-or-Visualize-Architecture-of-Neural-Network
  • 注意力可视化
    • Score-CAM
    • Visualizer
    • idiap/attention-sampling
  • 绘图/数据可视化
    • cheatsheets from matplotlib
    • lux-org/lux for notebook
    • an-introduction-to-t-sne-with-python-example
    • apache Superset

数学

• Animation engine for explanatory math videos
  • 3b1b

LeetCode

• LeetCode 题库
• afatcoder/LeetcodeTop

蒸馏、弱监督、半监督、自学习、无监督、量化(hot)

• ZHANGHeng19931123/MutualGuide 检测蒸馏

• yoshitomo-matsubara/torchdistill

• wyc-ruiker/HKD

• alldbi/SuperMix

• HobbitLong/RepDistiller

• quic/aimet 模型量化

• DeepVAC/deepvac

• TorchSSL/TorchSSL 弱监督集合

• 微调预训练模型的新姿势——自集成和自蒸馏

• ICLR 2021 | SEED：自监督蒸馏学习，显著提升小模型性能！

  • SEED: Self-supervised Distillation For Visual Representation

• Three mysteries in deep learning: Ensemble, knowledge distillation, and self-distillation

• pseudo-labeling-to-deal-with-small-datasets-what-why-how

• R-Drop

• STR-Fewer-Labels

• Sequence-to-Sequence Contrastive Learning for Text Recognition

• 自蒸馏

  • Be Your Own Teacher: Improve the Performance of Convolutional NeuralNetworks via Self Distillation
  • Even your Teacher Needs Guidance: Ground-Truth Targets Dampen Regularization Imposed by Self-Distillation
  • Data-Distortion Guided Self-Distillation for Deep Neural Networks

• awesome-knowledge-distillation

• Visualizer

文本图像生成

• Handwriting-Transformers
• Transformer_STR
• handwriting-synthesis
• Generating-Sequences-With-Recurrent-Neural-Networks

OCR

• CyberAgentAILab/derendering-text
• gidariss/FeatureLearningRotNet RotNet
• RecycleNet: An Overlapped Text Instance Recovery Approach 文本图像分离
• yizhiwang96/deepvecfont 手写生成
• Full Page Handwriting Recognition via Image to Sequence Extraction --transfoemer
• NRTR, a No-Recurrence Seq2Seq Model for Scene Text Recognition Belval/NRTR
• From Two to One: A New Scene Text Recognizer with Visual Language Modeling Networ VisionLAN
• SpellGCN: Incorporating Phonological and Visual Similarities into Language Models for Chinese Spelling Check 基于BERT的中文纠错
• microsoft/trOCR transformer 关键信息抽取
• TextStyleBrush
• Jianf-Wang/GRCNN-for-OCR
  • Jianf-Wang/GRCNN
• clovaai/synthtiger
• 评估
• Enhanced CTC Loss
• icdar 评估
• sightseq
  • lightseq
• mmocr
• DAVAR-Lab-OCR
  • ACE LOSS
    • ACE loss
    • Aggregation-Cross-Entropy
  • rflearning
• deep-text-recognition-benchmark
• deep-text-recognition-benchmark --vit ocr
• vedastr
• KISS: Keeping it Simple for Scene Text Recognition.
  • SEE 包含Rotation Dropout
• mtl-text-recognition
• textocr facebook
• 弱监督
  • STR-Fewer-Labels
  • Sequence-to-Sequence Contrastive Learning for Text Recognition
• 文档矫正
  • thomasjhuang/deep-learning-for-document-dewarping
  • Dewarping-Document-Image-By-Displacement-Flow-Estimation
  • PiecewiseUnwarp
• TODO
  • SAR-Strong-Baseline-for-Text-Recognition
  • SEED
• 实战学习相关的部署操作以及框架应用
  • WenmuZhou PytorchOCR (包含部署模块)
  • BADBADBADBOY pytorchOCR (包含center-loss以及剪枝)
  • PaddleOCR
    • PaddleOCR2Pytorch
    • RapidOCR
    • AgentOCR
• 文章
  • 白 大佬
    • 一文读懂CRNN+CTC文字识别
    • 完全解析RNN, Seq2Seq, Attention注意力机制
    • OCR文字识别—基于CTC/Attention/ACE的三大解码算法
    • 文字识别方法整理
    • A simple overview of RNN, LSTM and Attention Mechanism
  • CTC Algorithm Explained Part 1：Training the Network（CTC算法详解之训练篇）
  • 三年磨一剑——微信OCR图片文字提取
  • 葫芦哥 B站
• PDF-Resume-Information-Extraction

Transformer

• Vision Transformer
  • CvT
  • performer-pytorch
  • • yilunliao/vit-search
• x-transformers
• longformer
• huggingface transformers
• Gsunshine/Enjoy-Hamburger
• fast-transformers
• NVIDIA FasterTransformer
• multidim-positional-encoding
• lucidrains/HTM-pytorch Hierarchical Transformer Memory

Python

• help

  • code example

• 格式处理相关

  • pprint
  • rich
  • python-tabulate
  • prettytable
  • Typer
  • click
  • args
  • icecream
  • mitmproxy
  • requests
  • subprocess
  • seleinum

• 常用内置函数

  • int
  • bin
  • oct
  • hex
  • ord
  • chr

• 字符串处理相关

  • unicodedata
  • string
  • string.translate
  • re
  • Flashtext
  • 中文字符串正则-\u4e00-\u9fa5
  • Levenshtein

• 占用内存的分析

  • torch
    • tensor.storage()
  • numpy
    • ndarray.nbytes
  • python 对象
    • sys.getsizeof()
  • psutils

• python 持久化

  • pickle
  • torch.save

• 常用的数据存储数据库

  • lmdb

• 采样

  • random
    • choice
    • sample
  • itertools
    • product(p, q, … [repeat=1])
    • permutations(p[, r])
    • combinations(p, r)
    • combinations_with_replacement(p, r)

• Debug

• Remote Debug:****

        {
          "name": "Python: Dist Current File",
          "type": "python",
          "justMyCode": false,
          "request": "attach",
          "connect": {
              "host": "localhost",
              "port": 5678
          }
      // python -m debugpy --listen 5678 --wait-for-client
      }

部署

• 编译libtorch相关

• 编译/运行库相关

  • ldd
  • cmake
  • ccmake
  • make
  • bazel 编译工具

• OpenCV

  • 编译OpenCV

• Ubuntu

  • zsh
  • fzf
  • pip
  • usermod / passwd 修改默认目录
  • chmod / chown 修改文件权限
  • gpustat 查看显卡的利用率
  • 查看系统版本 cat /etc/issue
  • 查看cuda安装成功 nvcc -V
  • CUDA环境配置文件

• TensorRT

  • shouxieai/tensorRT_Pro
  • NVIDIA/TensorRT
  • NVIDIA-AI-IOT/torch2trt
  • NVIDIA/TRTorch
  • shouxieai/tensorRT_cpp yolov5
  • tensorrtx 众多应用仓库
  • jetson-inference
  • mmdetection-to-tensorrt
  • volksdep
  • layerism/TensorRT-Inference-Server-Tutorial
  • onnx/onnx-tensorrt
  • onnx
  • tensorrt/bin -> ./trtexec for onnx2rt
  • triton
    • server

• Flask+Gunicorn+Nginx

• Savior

• async-ml-inference FastAPI - Celery

• SDBI(Simple Dynamic Batching Inference)

• Flask 应用如何部署

• fastapi

• ncnn

• QPT

• deepdetect: Deep Learning API and Server in C++14 support for Caffe, Caffe2, PyTorch,TensorRT, Dlib, NCNN, Tensorflow, XGBoost and TSNE

• kubeflow/kfserving

• ahkarami/Deep-Learning-in-Production

图像修复/超分

• MayankSingal/PyTorch-Image-Dehazing
• xinntao/Real-ESRGAN-ncnn-vulkan
• edge-SR: Super-Resolution For The Masses 一层卷积进行超分
• thunil/TecoGAN
• Cross-Camera Convolutional Color Constancy
• NVlabs imaginaire
• MIMO-UNet
• Real-ESRGAN
• BasicSR-examples
• xindongzhang/ECBSR
• xiaomi-automl/FALSR
• Thmen/EGVSR
• Restomer
• AirNet

图像检索

• autofaiss
• faiss

强化学习

• wangshusen/DRL

教程/学习

• 英语
  • English-level-up-tips-for-Chinese
• 正则
  • ziishaned/learn-regex
  • cdoco/common-regex
  • vi3k6i5/flashtext
  • re
  • 中文正则 [\u4e00-\u9fa5]
• C++
  • folly
  • 入门
• 论文-Search
  • arxiv-vanity
  • arxiv
  • sci-hub
  • connectedpapers
  • paperswithcode/releasing-research-code
  • paperswithcode
  • 模型搜索
    • developer.ibm.com
    • hub.docker.com
    • paperswithcode.com
    • modelzoo.co
    • jiqizhixin.com
    • catalyzex.com
  • Zotero
  • 顶会
    • 52cv/ICCV2021
    • amusi/CVPR2021-Papers-with-Code
    • 52CV/CVPRW-2021-Papers
• ML-YouTube-Courses
• 莫凡
• zh-v2.d2l.ai
• awesome-productivity-cn
• learnopencv
• learning-machine: A handbook for ML built on answers.
• full-stack-deep-learning/fsdl-text-recognizer-2021-labs
• UI开发
  • electron
  • QT

个人发展

健身

• 改善圆肩驼背

阅读

• 小说
  • 万域之王
  • 斗罗大陆
  • 明朝那些事
  • 星门
  • 一念永恒
  • 少年歌行
• 漫画
  • 妖怪名单
  • 传武
  • 大神仙
• 公众号
  • 量子位
  • 52CV
• 常用网站
  • Github
  • 知乎
  • enmmmm

游戏

• FC模拟器
• games
• poki

工作&&职业规划&&心里辅导

• 张大妈
• yangyiRunning/Beijing-House 北京买房攻略
• coder2gwy/coder2gwy 程序员考公

项目

• ssss

竞赛

• CVPR2022 UG2+ 赛道三 冠军
• 科大讯飞 2022多学科公式识别 冠军
• 科大讯飞 2023复杂场景公式识别 冠军
• TIE2022 端到端 第六

论文复现

• sss

开源项目

• sss

Fighting

• 【腾讯文档】技术整理
• 【腾讯文档】算法整理
• 【腾讯文档】待办事项