meta(facebook)が公開したLLMであるLlama2は話題のようですが、 日本語での制度を理解していないので、試そうと思います。
まず、今回は Llama2のモデルデータのダウンロード。
目次
参考url
事前に必要なもの
ディスク容量
| type | GB |
|---|---|
| Llama-2-7b | 13.5 |
| Llama-2-7b-chat | 13.5 |
| Llama-2-13b | 26 |
| Llama-2-13b-chat | 26 |
| Llama-2-70b | 137 |
| Llama-2-70b-chat | 137 |
git for win (コマンドライン版)
DOS> git --version git version 2.37.0.windows.1
Bash (Git Bash)
上記のgit for win インストール時に「Git Bash」もインストール済
wget for win
先日の以下のentryの通り
https://end0tknr.hateblo.jp/entry/20230815/1692086516
download Llama2 to windows11
利用申請
上記urlから利用申請を行うと、直後に以下のような urlが記載されたメールを受信します。
【略】 When asked for your unique custom URL, please insert the following: https://download.llamameta.net/*?Policy=eyJTdGF0ZW1lbnQiO【略】 【略】
download Llama2 to windows11
Git Bash> git clone https://github.com/facebookresearch/llama Git Bash> cd llama Git Bash> ./download.sh Enter the URL from email: ※先程のurlを貼付け 80Enter the list of models to download without spaces (7B,13B,70B,7B-chat,13B-chat,70B-chat), or press Enter for all: 70B-chat 【137GBのダウンロード完了まで、ひたすら待つ】 Checking checksums consolidated.00.pth: OK consolidated.01.pth: OK consolidated.02.pth: OK consolidated.03.pth: OK consolidated.04.pth: OK consolidated.05.pth: OK consolidated.06.pth: OK consolidated.07.pth: OK params.json: OK Git Bash> ls -lsh llama-2-70b-chat/ total 129G 1.0K -rw-r--r-- 1 end0t 197609 478 Jul 14 16:10 checklist.chk 17G -rw-r--r-- 1 end0t 197609 17G Jul 14 08:08 consolidated.00.pth 17G -rw-r--r-- 1 end0t 197609 17G Jul 14 08:07 consolidated.01.pth 17G -rw-r--r-- 1 end0t 197609 17G Jul 14 08:07 consolidated.02.pth 17G -rw-r--r-- 1 end0t 197609 17G Jul 14 08:08 consolidated.03.pth 17G -rw-r--r-- 1 end0t 197609 17G Jul 14 08:07 consolidated.04.pth 17G -rw-r--r-- 1 end0t 197609 17G Jul 14 08:10 consolidated.05.pth 17G -rw-r--r-- 1 end0t 197609 17G Jul 14 08:10 consolidated.06.pth 17G -rw-r--r-- 1 end0t 197609 17G Jul 14 08:10 consolidated.07.pth 1.0K -rw-r--r-- 1 end0t 197609 147 Jul 14 08:10 params.json
が、今回のモデルファイルは使用しないと思います
その後、llama.cpp でこのモデルを利用しようとしましたが、 llama.cppで使用するには、更に「GGML形式への変換」「4-bits量子化」が 必要なようです。
元々、137GBもあるモデルファイルを変換するディスクの空き容量もありませんので、 metaからダウンロードしたモデルファイルは利用せず、 Hugging Face 内を探してみます。
