A game using llm.
https://huggingface.co/MCZK/Ninja-V2-7B-GGUF/resolve/main/Ninja-V2-7B.Q5_K_M.iMatrix.gguf?download=true
からモデルをDLしてください。
pip install -r requirements.txt
した後llama-cpp-pythonを入れてください。
pip install llama-cpp-python --extra-index-url https://abetlen.github.io/llama-cpp-python/whl/cu121
でCuBLASを使えるはずです。
cp .env.template .env
で.envを作成しANTHROPIC_API_KEY=""
を書いてください。
python start.py
Ninja-V2-7Bを量子化した、MCZK/Ninja-V2-7B-GGUFのQ5_K_M.iMatrixを使用しています。