2023-07-01から1ヶ月間の記事一覧
「パーキンソンの法則」の存在程度は知っていましたが、 増加率を表す式の存在を書籍「確率思考の戦略論」で知ったので、メモ パーキンソンの法則とは 第1法則：仕事量は、与えられた時間をすべて満たすまで膨張する 第2法則：支出額は、収入の額に達するま…
ここ数日のentryでガウス関数、ガウス分布、NBDモデルを扱ってきましたが、 まとめ?として、書籍「確率思考の戦略論」の概要をyoutubeから写経? youtube配信者の皆さんのまとめが大変、分かりやすく感謝です 参考url 【15分で分かる書評】確率思考の戦略論を…
先程のentryはガウス関数でしたが、 今回はガウス関数を使用しているNBDモデル (Negative Binomial Distribution、負の二項分布)と、 ブランド別の購入確率を求めるディリクレNBDモデル についてです。 目次 参考url - 数式解説チャンネル for ビジネス NBD…
ごっちゃになっていましたので、再整理。 目次 オレオレ要約 ガンマ関数 参考url - 予備校のノリで学ぶ「大学の数学・物理」 ガンマ関数とは? - 階乗の一般化 (正の実数への拡張) ガンマ関数の定義 ガンマ関数の3つの性質 ガンマ関数の練習 ガンマ関数の応用…
browser起動時に "download.default_directory" でダウンロード先のdirを指定し、 ダウンロードが完了したら、普通?に file openしてください #!python # -*- coding: utf-8 -*- from selenium import webdriver from selenium.webdriver.edge.options impor…
https://end0tknr.hateblo.jp/entry/20230717/1689536531 先程の上記entryの関連で、以下のurlの写経です 自然言語処理モデル(BERT)で文の意味上の類似度を計算 | GMOアドパートナーズ TECH BLOG byGMO pip install CONDA> pip install transformers # 文章…
similarity()は形態素解析での表面的?な類似度なのでしょうか、 意味的な類似度はイマイチな印象です 参考 url https://dev.classmethod.jp/articles/try-cosine-similarity-using-ginza-and-spacy/ https://dev.classmethod.jp/articles/vectorization-in-n…
PEFT (Parameter-Efficient Fine-Tuning , LoRA) for python で LLM ( rinna/japanese-gpt-neox-3.6b-instruction-ppo )の finetune - end0tknr's kipple - web写経開発 先程の上記entryの続きで、以下のurlを再び写経します。 note.com 出力結果は示しませ…
install tensorflow_gpu & pytorch for python 3.10 to windows11 & NVIDIA GeForce RTX3060(GDDR6 12GB) - end0tknr's kipple - web写経開発 install bitsandbytes for python to windows11 - end0tknr's kipple - web写経開発 先日の上記2 entryで作成した…
seleniumやpyautogui for python を用い、 windowsのタスクスケジューラから起動するRPAを書いています。 RPA処理完了後にRPAのwindowを残さない為、pythonw.exeで実行したいところですが RPA対象のアプリの中には、window表示を必要とするものもありますの…
https://end0tknr.hateblo.jp/entry/20230708/1688797711 先日の上記entryの関連です。 bitsandbytesは、機械学習の省メモリ化を行う8-bit optimizer ですが、 標準では windowsのdllを提供していません。 また、インターネットを検索すると 「dll をダウン…
上司「オンプレでチャットAI作って」 - Qiita 上記urlのgoogle colab での写経です。 以下の実行結果のように「日本の首都は？」に対し、 意味不明な文となっています。 素?の日本語LLMであることが原因か、 それとも、私の使用方法が悪いのか? 目次 使用す…
cuda, cuDNN や tensorflow_gpu , pytorch のインストールは、 各バージョンの整合性が難しく、また、よく忘れので、メモ 目次 参考url インストール先の環境 事前準備 - Visual Studio Community , Git for win Visual Studio Community Git for win CUDA 1…
とりあえず、インストールしてみましたが、 日本語への対応方法が不明で、試すことは行っていません 目次 参考url System Requirements Visual Studio 2022 CMake MinGW (gcc) その他 Git install 参考url https://github.com/imartinez/privateGPT https://…
目次 step 0 - pip install step 1 - OpenAIの場合 → 最新情報は答えることができません step 2 - Serp API有償で様々なサービスへのAPIを提供 step 3 - OpenAI+Serp API = LangChain step 0 - pip install !pip install openai !pip install google-search-…
MeCabのインストールは以前、実施していたかもしれませんが、メモ 参考url 【Python】形態素解析器のMeCabを使って自然言語処理の実装 MeCab: Yet Another Part-of-Speech and Morphological Analyzer GitHub - neologd/mecab-ipadic-neologd: Neologism dic…
日本語環境での chatterbot インストールは、 情報が少ないらしく、やや手こずったので、メモ 2023/7/4 追記 chatterbotは「chatbot python」で検索すると上位に表示されますので、 インストールまでは行いましたが 【Python】チャットボットフレームワーク…
BertSum(T5)を用いてアンケートの自由記述を要約するレシピ 上記の写経の際、python 3.10では、「pip install neuralcoref」できないようでしたので、 以下の手順で、python 3.10→3.8に変更 python バージョンを変更 !sudo update-alternatives --config pyt…
