2024-01-01から1年間の記事一覧
先日のkuromojiではユーザ辞書の登録方法が不明でしたので、今回は sudachi。 それっぽい日本語全文検索はできましたが、期待した分かち書きにはならず、 「ホントにユーザ辞書が機能しているの?」という感じでした。 参考url https://github.com/WorksAppli…
最近ではsudachiの方が利用されているかもしれませんが、 インターネットで検索した範囲では elasticsearch はkuromojiの情報が多いので、今回は kuromoji 参考url https://qiita.com/mserizawa/items/8335d39cacb87f12b678 install analysis-kuromoji $ bin…
elasticsearchのあるindexをcloseしようと、curlを実行したところ 「curl: (52) Empty reply from server」と表示 $ curl --cacert config/certs/http_ca.crt -u elastic -XPOST http://localhost:9200/test_index/_close curl: (52) Empty reply from serve…
全文検索のfessは触ったことがありますが、 fessが内部で使用する elasticsearch はありませんでしたので、hands-on 今回のポイントは インストール自体は、tar.gz のダウングレードと解凍のみ 設定やindex作成等、多くの作業はrest api(curlコマンド)で 日…
ldapsearch コマンドによるldapでのユーザ検索は、以下 $ ldapsearch -h ldap.mile.sexy.co.jp \ -b "ou=people,o=sexy-group" "(uid=end0tknr)" ※ ldapsearchからの返値の日本語は、base64されています ldapユーザのpassword検証を行う場合、ldapwhoami コ…
networkxを初めて使用しますので、グラフデータ作成やその描画 # -*- coding: utf-8 -*- import jaconv import matplotlib.pyplot as plt import networkx as nx import sqlite3 #探索するルートノード root_nodes = ["2C0？？？","2C1Q1？？？CIZW","2C8？…
以前、sudachiのユーザ辞書を作成しましたが、 今回は、同じユーザ辞書を用い、ブラウザ環境で形態素解析を行います。 参考url sudachipy for python (miniconda for win)による sudachiユーザ辞書作成 - end0tknr's kipple - web写経開発 sudachipy for pyt…
LOCAL LLM via ollama on win11 + intel core i7 + mem:64G - end0tknr's kipple - web写経開発 先程の上記entryの続きです。 CPUのみでの ローカルLLM利用は難しいことが分かりましたので、 geforce rtx4090 のGPUを接続し emacs + ellama 経由でも試してみ…
ollama for win を用い、ローカルLLMを win11 + intel core i7 + mem:64G の環境で触ってみました。 (geforce rtx 4090は接続していません) 簡単な手順でLLMを始められる点ではすごいと思いましたが、 短い英文の和訳で、30分程度を要しましたので、 実用に…
aws s3 の ec2へのmountには、s3fsやgoofysを使用していましたが、 awsより公式の mount-s3 が公開されていたので、お試し。 直接httpを経由せず、aws s3を使用できる為、s3fsやgoofys同様、操作は楽です 速度テストには、1MB x 1,000個のファイルを使用しま…
前回のentryでは、224224サイズの画像ファイルしか扱えませんでしたので 大きなサイズの画像は、224224サイズにタイル分割した上で、 特徴量を算出するようにしました。 ( 前回のentryにあった calc_feature(onnx_session, img_path) を 改良しています ) 2.…
先程のentryで構築した環境を用い、参考urlにある類似画像検索を写経。 目次 参考url TODO - 224*224よりも大きな画像の類似検索 1. mobilenet_v3 の取得とonnx形式への変換 mobilenet_v3 の TensorFlow Hub形式での取得 onnx形式への変換 推論することで、…
win11 pcには以前、cuda 11.2, cuDNN 8.9.2 をinstallしていますが、 onnxruntime が必要とするversionと異なるようですので、 cuda11.8, cudnn8.5.0 を再installしています。 ついでに、GeForce Game Ready driver も再installしています。 目次 0. 環境 wi…
目次 参考url install先 - oracle linux 8.7 依存library user & group追加 mysql9.0 source distribution の入手と解凍 cmakeによる configuration make ～ make test ～ make install my.cnfによる設定等 datadir作成や初期化 systemd 自動起動 root によ…
https://github.com/LibreDWG/libredwg/releases/tag/0.13.3 libredwg ver.0.12 に付属の dwgread.exe では、shift-jis の 0x5c問題 により DOS> libredwg-0.12-win64\dwgread.exe --format JSON 22B133-01-003-cad-.dwg ＜略＞ "text_value": " 表\を参照。…
参考url 【プログラミング】SQLite3：データが重複したら更新か何もしない、新規のデータは追加する動作 UPSERT | 3PySci sqlite3のバージョン確認と、テストテーブル、テストデータ作成 $ /usr/bin/sqlite3 test.db sqlite> select sqlite_version(); 3.26.…
import io import sys # win環境で機種依存文字をprint()する際、文字化けする為 sys.stdout = io.TextIOWrapper(sys.stdout.buffer, encoding='utf-8') sys.stderr = io.TextIOWrapper(sys.stderr.buffer, encoding='utf-8')
svg版 プロフェッショナルの仕事の進め方 - end0tknr's kipple - web写経開発 以前、記載した上記entryに通じると思います。 フロントローディングの反対は、WEBでも使用する Lazy Loading かと思ったら、 バックローディングでした
QCDは知っていましたが、QCDSEは初めて聞きました。 建築業界?や施工管理?における用語なんですかね?
参考urlを参照し、blender 4.1で作成したものが以下。 物理演算による毛のゆらぎや、 www.mixamo.com での自動アニメーションも試みましたが、 今回、そこまでは実現できず。 参考url www.youtube.com www.youtube.com github https://github.com/end0tknr/s…
sqlite fts4 + sql.js によるブラウザでの全文検索 - end0tknr's kipple - web写経開発 前回の上記entryでは、sqliteのバイナリデータ(.db)を使用しましたが、 .dbでは容量が大きい為、更にzip化したものを扱うようにしてみました。 <html lang="ja"> <head> <meta http-equiv="Content-Type" content="text/html; charset=UTF-8"> </meta></head></html>
FIFOやLILOの読み方も統一されていない気がしますので、 ガイゴー / ギーゴー / ガーベジイン・ガーベジアウト のいずれもOKな気がします。 chat gptによれば、GIGOの反意語は、QIQO (Quality In, Quality Out)で 「質の高いものを入力すれば、質の高い結果…
以下の通りです。 今回、DocuWorks の xdwapi.dll に含まれる関数を一覧表示しました。 DOS> "C:\Program Files (x86)\Microsoft Visual Studio\2019\Community\VC\Tools\MSVC\14.29.30133\bin\Hostx64\x86\dumpbin.exe" /exports xdwapi.dll Microsoft (R) …
from pypdf import PdfReader, PdfWriter from reportlab.pdfgen import canvas from reportlab.pdfbase import pdfmetrics from reportlab.pdfbase.ttfonts import TTFont from reportlab.lib.colors import red,black import io import sys def main(): or…
モリサワの「BIZ UDフォント」のメモ www.morisawa.co.jp github.com github.com forest.watch.impress.co.jp
import openpyxl import PIL def main(): excel_file = './test_includeing_img.xlsx' wb = openpyxl.load_workbook(excel_file) for xlsx_img in wb['Sheet1']._images: #print( xlsx_img.path ) # sheet中の座標 print( xlsx_img.anchor._from.col, xlsx_i…
scikit-learn for pythonに頼っていましたが、実装してみました import math import collections def main(): """ TF-IDFとは？ 各文書(document)にある各単語(term)が「その文書でどれくらい重要か」 https://atmarkit.itmedia.co.jp/ait/articles/2112/23/…
sql.jsは sqlite の javascript + web assembly版ですので、 先程のentryの続きとして、ブラウザでの全文検索を行います。 参考url SQLite FTS : trigram tokenizerでunigram＆bigram検索までサポート-日本語全文検索 – スペース・アイ株式会社 【Python】SQ…
参考url 【Python】SQLite で日本語を全文検索するコード例【N-Gram, FTS4/FTS5】 | シラベルノート SQLite FTS5 Extension SQLite FTS : trigram tokenizerでunigram＆bigram検索までサポート-日本語全文検索 – スペース・アイ株式会社 SQLite FTS5 拡張機…
