在这里,我们很高兴向您呈现一份从0到1构建集成RAG(Retrieval-Augmented Generation)、微调技术及思维链功能的LLM(Large Language Model)应用程序的实践研究。我们的目标是通过这份研究,为您提供有价值的参考与指导。
运行ingest.py
脚本,用于搭建应用系统所需的知识库。您可在config
文件中设定以下参数:
- 知识文件路径:指定用于构建知识库的数据源位置。
- embedding模型:选择适用的嵌入模型以辅助知识库构建。
进入API
文件夹,挑选您偏好的系列模型,如qwen
或chatglm
。这些模型的API调用代码可分别在其官方仓库中获取。若上述资源无法使用,可考虑采用ollama
作为备选。
提示:如需启用query-expansion功能,建议启动两个不同规模的模型,例如一个7b参数量的模型与一个14b参数量的模型,以实现更好的效果。
在成功配置并启动服务后,进行适当的测试以验证应用程序的运行状态与功能完整性。
如需部署Web界面供用户交互,直接执行Chat
文件夹下的app.py
脚本。在此之前,请确保已正确配置所有相关参数。
如需直接评估数据,运行RAG
目录下的build_ragas_data_full.py
脚本,该脚本将帮助您执行完整的评估流程。
** 📚 后续更新 📚 **:以上仅为现阶段的主要步骤与说明,未来如有更多实践经验或重要提示,我们将及时补充。
** 💻 硬件配置与依赖 💻 **:
- 显卡型号:本项目采用NVIDIA A100进行开发与测试。
- 库文件:所有必要的库及其版本要求已列出于
requirements.txt
文件中。请确保环境依照此文件进行配置以确保项目的顺利运行。
如果您有任何创意想法或是遇到疑问,非常期待与您深入交流!随时欢迎通过以下方式联系我们:
- QQ: 2746992517
让我们一起在知识的海洋中航行,共同探讨,共同进步!🤝