download Llama2 from download.llamameta.net to windows11 - end0tknr's kipple - web写経開発
先日の上記entrの関連です。
GGML形式のLlama2ファイルは、 TheBlokeさんが、Hugging Face で提供していました。
参考urlによれば、 「Q4_K_M」「Q5_K_M」「Q5_K_S」が推奨らしいので、 llama-2-70b-chat.ggmlv3.q4_K_M.bin (38GB)をダウンロードしておきました。
参考url
- TheBloke/Llama-2-70B-Chat-GGML at main
- Llama.cpp で Llama 2 を試す｜npaka
- Difference in different quantization methods · ggerganov/llama.cpp · Discussion #2094 · GitHub
TheBloke / Llama-2-70B-Chat-GGML @ Hugging Face
https://huggingface.co/TheBloke/Llama-2-70B-Chat-GGML/tree/main
