“阿巴阿巴AI”是基于RWKV的本地轻量级聊天AI
推荐Python版本 3.9.18
需要模块numpy、tokenizers、prompt_toolkit、transformers、flask、flask-socketio、torch
最低4G运行内存(CPU+4G内存,可以运行430m的小模型)
最高不限(最高可运行14b的大模型,聊天质量和效果更加好)
根据自己电脑配置在模型网站(https://huggingface.co/RWKV)下载合适的模型
下载的所有文件放在model文件夹内,并修改main.py第12行代码,将'rwkv-4-world-430m'修改为自己下载的模型文件夹
运行main.py,在浏览器中打开http://172.0.0.1:5000 即可开始对话