jessechen127/awesome-mm-chat

多模态 MM +Chat 合集

awesome-mm-chat

多模态 MM +Chat 合集

LLaMA 解读

具体见 llama

stanford_alpaca

具体见 stanford_alpaca

Vicuna 小羊驼

Vicuna 是 一个开源聊天机器人，号称达到了 ChatGPT 的 90%，也是基于 LLaMA 通过指令微调而来。

Vicuna 开源代码地址：https://github.com/lm-sys/FastChat
Fork 并注释版本： https://github.com/hhaAndroid/FastChat/tree/hha

具体见 Vicuna 小羊驼

mmpretrain 多模态部分

具体见 mmpretrain

OpenSet 开放集统一架构

具体见 OpenSet

BLIP 解读

具体见 BLIP 和 BLIP2 解读

MiniGPT4 解读

具体见 minigpt4

DetGPT 解读

具体见 detgpt

Transformer Agent

具体见 agent

模型部分

BERT 和 GPT 系列是 NLP 领域的两大基石，因此对这两个模型的结构进行详细分析是非常有必要。

具体见 BERT 和 GPT

HuggingFace Transformers 基础教程

本部分用于 CVer 们快速上手 HuggingFace Transformers

具体见 HuggingFace Transformers

LangChain

官方地址： https://github.com/hwchase17/langchain
文档： https://python.langchain.com/en/latest/

具体见 langchain

PEFT

Parameter-Efficient Fine-Tuning

官方地址： https://github.com/huggingface/peft

具体见 PEFT

Diffusers

具体见 Diffusers

MMGPT

知乎地址：https://zhuanlan.zhihu.com/p/625456570
开源地址：https://github.com/open-mmlab/Multimodal-GPT

具体见 mmgpt

CLIP 解读

论文题目： Learning Transferable Visual Models From Natural Language Supervision
论文地址： https://arxiv.org/abs/2103.00020
官方地址： https://github.com/openai/CLIP (没有训练代码)
Fork 并注释版本： https://github.com/hhaAndroid/CLIP/tree/hha

具体见 CLIP 解读

GLIP 解读

论文题目： GLIP: Grounded Language-Image Pre-training
论文地址： https://arxiv.org/abs/2112.03857
官方地址：https://github.com/microsoft/GLIP
Fork 并注释版本： https://github.com/hhaAndroid/GLIP/tree/hha

具体见 GLIP 解读

InternGPT

具体见 InternGPT

DINOv2 解读