chenggaw/ai-app

本项目旨在分享人工智能相关应用技术以及实战经验，包括大模型、语音合成、数字人、图像生成等。

目录

• 🔥 服务器基础环境安装及常用工具
  • 🐫PyCharm安装
  • 🐼Anaconda安装及原理介绍
  • 💪实战：用VSCode远程服务器开发
• 🐎 大模型调用总结
  • 🐎主流大模型API调用总结
  • 🍚大模型部署推理
• 大模型原理介绍
  • Transformer原理介绍
  • 实战：从零实现llama3
• 🍄检索增强生成(RAG)
  • 🗼RAG原理介绍
  • 🌼 ragflow介绍
  • 💪 实战：自己手写一个最简单的RAG
  • 💪 实战：基于ragflow做了款初中历史辅导工具
• 🎪向量数据库技术
  • 🐮 向量数据库原理介绍
  • 💪 实战-自己手写一个最简单的向量数据库
• 🚅 大模型训练
  • ❄️模型训练基础知识
  • 🚀 大模型训练神器LLaMAFactory
  • 💪实战-用LLaMAFactory微调数百种大模型
  • 💪实战-微调大模型实现商品评价情感预测
• 🚀 大模型Agent框架
  • 🏠 Agent原理介绍
  • 💪 实战-自己手写一个最简单的Agent
• ♻️ AI图像生成
  • 📐 StableDiffusion1.5
  • 💎 SDXL
  • 🍦 ControlNet
  • 💪 实战-基于easyphoto实现AI换脸
• 🏡 AI语音合成
  • ♻️ VITS-fast-fine-tuning
  • 📐 GPT-SoVITS
  • 💪 实战-克隆自己的声音
• 🎵 AI音乐合成
  • 📐 Suno
• 📞 我用AI技术做了一个虚拟女友
• 💬 AI技术应用交流群
• 👥 微信公众号

服务器基础环境安装及常用工具

pycharm安装

• 最新版pycharm专业版（2023.3.4）环境安装以及永久使用方法

Anaconda

• Anaconda安装与原理介绍

大模型调用

主流大模型API调用总结

采用语言python

大模型	厂商名称	API调用文档	支持模型(闭源)	依赖下载
chatglm	智谱	链接	GLM-4、GLM-4V、GLM-3-Turbo	pip install zhipuai
星火大模型	科大讯飞	链接	V1.5、V2.0、V3.0和V3.5四个版本	pip install --upgrade spark_ai_python
通义千问	阿里	链接	qwen-turbo、qwen-plus、qwen-max等	pip install dashscope
文心一言	百度	链接	ERNIE-4.0、ERNIE-3.5、ERNIE-Lite等	pip install qianfan
kimi	月之暗面	链接	moonshot-v1-8k、moonshot-v1-32k、moonshot-v1-128k	pip install openai
chatgpt	OpenAI	链接	gpt4、gpt3.5	pip install openai

大模型部署推理

• 千亿级开源大模型Qwen1.5-110B-Chat部署实测
• 目前有什么可以本地部署的大模型推荐?
• 为什么vllm消耗显存那么大？
• 大模型本地部署这么麻烦，为什么不直接调用API？
• vllm
• 8bit量化、4bit量化技术原理介绍

大模型原理介绍

Transformer原理介绍

• 一文讲明白初学者怎么入门大语言模型（LLM）？
• 图解Transformer中的Attention机制

从零实现llama3

• llama3整体架构图介绍
• llama3原始权重与HuggingFace权重的区别
• llama3归一化方法RMSNorm实现
• llama3分组查询注意力（Grouped Query Attention，GQA）实现
• llama3 掩码注意力机制（Masked Grouped Query Attention）实现
• llama3前馈网络SwiGLU实现
• llama3整体推理实现

大模型训练

模型训练基础知识

• 一文带你了解预训练、指令微调和人类反馈强化学习

• 初学者如何快速入门大模型微调

• 量化

LLaMAFactory大模型训练

• LLaMAFactory能干啥？

  用一种极简方式支持数百种大模型训练

• 为什么要用LLaMAFactory?

  比如对chatglm3微调，不再需要去chatglm3官网查看微调代码。在LLaMAFactory中，更换一个参数直接搞定。

• 如何使用？ 项目地址：LLaMA-Factory

实战-基于LLaMAFactory微调

• 只需三个脚本，单机单卡微调BaiChuan2-13B并发布服务 代码：配套代码

• 只需三个脚本，单机多卡微调BaiChuan2-13B并发布服务

• 只需三个脚本，多机多卡微调BaiChuan2-13B并发布服务

• 只需三个脚本，使用vllm部署BaiChuan2-13B

实战-大模型做情感预测

项目	微调方式	教程	视频教程	相关依赖
微调大模型实现情感预测	Lora	我用LLaMA-Factory微调大模型来实现商品评论情感分析，准确率高达91.70%	视频链接	配套代码

检索增强生成

RAG整体技术路线可分为3大块8个小点见下图，其中包含知识库构建、知识检索和知识问答。其中核心在于知识库构建

详细介绍见：

• RAG原理介绍

ragflow

• 常规rag存在的问题：

  一是如何应对复杂多变的数据，这些数据包含各种格式，更复杂的还包含各类图表、pdf、excel循环嵌套等。如果在没有理解这些数据的基础之上直接简单粗暴地做RAG ，就会导致知识检索失败，从而导致rag失败。

  二是如何查询和排序。假设知识库中有10W条数据，你的问题需要和10W数据匹配检索并且找到最适合的几条，无疑于大海捞针。

• ragflow是如何改善这些问题的？

  一是基于深度文档理解deepdoc模块，能够从各类复杂格式的非结构化数据中提取真知灼见。

  二是引入多路召回和重排序，才能保证数据检索召回的准确度

项目地址：ragflow

⬆ 一键返回目录

实战-基于ragflow做一款初中历史辅导工具

向量数据库	数据处理	语义召回	教程	视频地址
Elasticsearch	deepdoc模块	多路召回、融合重排序	我用ragflow做了一款初中历史辅导助手	https://www.bilibili.com/video/BV1yw4m1y7yA/

⬆ 一键返回目录

实战-手写一个最简单的RAG

github上的代码封装程度高，不利于小白学习入门。

常规的大模型RAG框架有langchain等，但是langchain等框架源码理解困难，debug源码上手难度大。

因此，我写了一个人人都能看懂、人人都能修改的大模型RAG框架代码。

整体项目结构如下图所示：手把手教你大模型RAG框架架构。

代码与教程如下：

章节	教程	代码
01.如何调用大模型API	手把手教你完成大模型RAG知识问答应用构建-01.如何调用大模型API	配套代码
02.RAG介绍	手把手教你完成大模型RAG知识问答应用构建-02.RAG介绍	/
03.部署环境准备	手把手教你完成大模型RAG知识问答应用构建-03.项目依赖环境准备	/
04.知识库构建	手把手教你完成大模型RAG知识问答应用构建-04.知识库构建	/
05.基于知识库的大模型问答	手把手教你完成大模型RAG知识问答应用构建-05.基于知识库的大模型问答	配套代码
06.改进-用自己的embedding模型	手把手教你完成大模型RAG知识问答应用构建-06.用自己的embedding模型	配套代码
07.封装镜像对外提供服务	更新中	更新中
08.改进-基于Faiss的大模型知识索引构建	更新中	配套代码
09.改进-使用向量数据库	更新中	配套代码
10.前端构建	更新中	更新中

⬆ 一键返回目录

向量数据库

向量数据库原理介绍

实战-自己手写一个最简单的向量数据

Agent

Agent原理介绍

Agent的构成要素包括LLM（Language Model），记忆（Memory），规划技能（Planning skills），工具使用能力（Tool use），使用这些不同的环节，完成构建AGI。

Agent = LLM+Planning+Feedback+Tool use

如下为AI Agent云服务商E2B整理的目前市面上不同领域里知名的 AI Agent 项目，共计81个开源+58个闭源Agent项目

自己手写一个最简单的Agent

论文：ReAct: Synergizing Reasoning and Acting in Language Models

AI图像生成

AI语音合成

AI音乐合成

Star History

AI技术应用交流群

图片挂掉，可加微信:Code-GUO

微信公众号

图片挂掉，可加微信:Code-GUO

免责声明

如有疑问请提交issue，有违规侵权，请联系本人 [email protected] ，本人立马删除相应链接，感谢！

本仓库仅作学习交流分享使用，任何子环节不作任何商用。