ollama for win を用い、ローカルLLMを win11 + intel core i7 + mem:64G の環境で触ってみました。
(geforce rtx 4090は接続していません)
簡単な手順でLLMを始められる点ではすごいと思いましたが、 短い英文の和訳で、30分程度を要しましたので、 実用には難しいと感じました。
参考url
Step 1 - installation ollama
https://ollama.com/download/windows より、
OllamaSetup.exe のインストーラを実行するだけで、 コマンドラインから利用できるようになります。
DOS> ollama --version ollama version is 0.3.9 DOS> ollama --help Large language model runner Usage: ollama [flags] ollama [command] Available Commands: serve Start ollama create Create a model from a Modelfile show Show information for a model run Run a model pull Pull a model from a registry push Push a model to a registry list List models ps List running models cp Copy a model rm Remove a model help Help about any command Flags: -h, --help help for ollama -v, --version Show version information Use "ollama [command] --help" for more information about a command.
Step 2 - download Model
利用可能なモデルは https://ollama.com/library に記載があり、 これらを「ollama pull」コマンドでダウンロードできます。
今回、5つのモデルをダウンロードしましたが、 どれも容量が大きく、10分超の時間を要しました。
C:\Users\end0t>ollama pull codestral:22b-v0.1-q4_K_S pulling 73d8b6a3770e... 100% ▕█████████▏ 12 GB ＜略＞ C:\Users\end0t>ollama pull aya:35b-23-q4_K_S pulling 0075a86dcf85... 100% ▕█████████▏ 20 GB ＜略＞ C:\Users\end0t>ollama pull gemma2:27b-instruct-q4_K_S pulling 0e0956415962... 100% ▕███████▏ 15 GB ＜略＞ C:\Users\end0t>ollama pull command-r:35b pulling 8e0609b8f0fe... 100% ▕███████▏ 18 GB ＜略＞ C:\Users\end0t>ollama pull llama3.1:8b pulling 8eeb52dfb3bb... 100% ▕███████▏ 4.7 GB ＜略＞
Step 3 - 翻訳テスト
試しに、emacs で表示されたメッセージの和訳を行いましたが、 GPUを接続していないとはいえ、英文2行の和訳に30分程度を要しました...
DOS> ollama run gemma2:27b-instruct-q4_K_S >>> 次の英語を和訳してください。 ... Install the Codeium extension in Emacs, and start seeing ... suggestions as you write comments and code.
↑こう書くと、↓こう表示されます
EmacsにCodeium拡張機能をインストールすると、コメントやコ ードを書いているときに提案が表示されるようになります。 >>> Send a message (/? for help)
