2023-09-02から1日間の記事一覧
BERT自然言語modelによる意味的コサイン類似度 - end0tknr's kipple - web写経開発 以前、記載した上記entryの関連です。 インターネットで検索すると、LLMによるCOS類似度計算は、 モデルにBERTを使用したものが、殆どですが、 sentence_transformers for p…
東京大学 松尾研究室(ELYZA社)が、 Llama 2に対し日本語追加事前学習を行ったようですので、お試し。 python scriptと実行結果は以下の通りで 先ほどの純粋な Llama2 と比較すると、ずいぶんマシな印象を受けます。 また、今回は、7Bを使用しましたが、 13B…
test llama2 7B & 70B via llama.cpp - end0tknr's kipple - web写経開発 install llama-cpp-python to miniconda3 py310 & windows 11 & gpu - end0tknr's kipple - web写経開発 上記 2つのentry の続きとして、 llama-cpp-python & Llama2 7B/70B を windo…
当初、「pip install llama-cpp-python」によるインストールを試みましたが、 下記にあるようなエラーが発生。 「cmakeが、c compilerを見つけられないのかな?」等と思いましたが、 解消には至らず。 その後、langchainの https://python.langchain.com/docs…
