2023-08-21から1日間の記事一覧
C言語でのLLMランタイムである「Llama.cpp」を geforce rtx 4090 付の windows用に compile & install。 目次 参考url Visual Sudio or CUDA Toolkit の integration 修正 ファイルコピー regedit build & install llama.cpp to windows11 with gpu 推論お試…
download Llama2 from download.llamameta.net to windows11 - end0tknr's kipple - web写経開発 先日の上記entrの関連です。 GGML形式のLlama2ファイルは、 TheBlokeさんが、Hugging Face で提供していました。 参考urlによれば、 「Q4_K_M」「Q5_K_M」「Q5…
