end0tknr's kipple - web写経開発

太宰府天満宮の狛犬って、妙にカワイイ

windows11のiisによるperl cgiの動作

strawberry perl for win のインストール 詳細は記載しませんが、ver.5.40をインストール 「Windowsの機能」でIISとCGIを有効化 IISマネージャーからハンドラーマッピングを追加 perl cgiのsample script #!c:/Strawberry/perl/bin/perl use strict; use war…

elasticsearch に analysis-sudachi プラグイン + ユーザ辞書を導入し、日本語の全文検索

先日のkuromojiではユーザ辞書の登録方法が不明でしたので、今回は sudachi。 それっぽい日本語全文検索はできましたが、期待した分かち書きにはならず、 「ホントにユーザ辞書が機能しているの?」という感じでした。 参考url https://github.com/WorksAppli…

elasticsearch に analysis-kuromoji プラグインを導入し、日本語の全文検索

最近ではsudachiの方が利用されているかもしれませんが、 インターネットで検索した範囲では elasticsearch はkuromojiの情報が多いので、今回は kuromoji 参考url https://qiita.com/mserizawa/items/8335d39cacb87f12b678 install analysis-kuromoji $ bin…

elasticsearchのindexをcloseするには、elasticsearch.yml で xpack.security.enabled: false ?

elasticsearchのあるindexをcloseしようと、curlを実行したところ 「curl: (52) Empty reply from server」と表示 $ curl --cacert config/certs/http_ca.crt -u elastic -XPOST http://localhost:9200/test_index/_close curl: (52) Empty reply from serve…

install elasticsearch 8.15.2 from tar.gz to oracle linxu 8.7

全文検索のfessは触ったことがありますが、 fessが内部で使用する elasticsearch はありませんでしたので、hands-on 今回のポイントは インストール自体は、tar.gz のダウングレードと解凍のみ 設定やindex作成等、多くの作業はrest api(curlコマンド)で 日…

ldapwhoami コマンドによる ldapユーザのパスワード検証

ldapsearch コマンドによるldapでのユーザ検索は、以下 $ ldapsearch -h ldap.mile.sexy.co.jp \ -b "ou=people,o=sexy-group" "(uid=end0tknr)" ※ ldapsearchからの返値の日本語は、base64されています ldapユーザのpassword検証を行う場合、ldapwhoami コ…

networkx for python のお試し

networkxを初めて使用しますので、グラフデータ作成やその描画 # -*- coding: utf-8 -*- import jaconv import matplotlib.pyplot as plt import networkx as nx import sqlite3 #探索するルートノード root_nodes = ["2C0???","2C1Q1???CIZW","2C8?…

kuromoji.js + SudachiDict 環境での ユーザ辞書作成

以前、sudachiのユーザ辞書を作成しましたが、 今回は、同じユーザ辞書を用い、ブラウザ環境で形態素解析を行います。 参考url sudachipy for python (miniconda for win)による sudachiユーザ辞書作成 - end0tknr's kipple - web写経開発 sudachipy for pyt…

LOCAL LLM via emacs29 + ellama via ollama on win11 + intel core i7 + mem:64G + rtx4090

LOCAL LLM via ollama on win11 + intel core i7 + mem:64G - end0tknr's kipple - web写経開発 先程の上記entryの続きです。 CPUのみでの ローカルLLM利用は難しいことが分かりましたので、 geforce rtx4090 のGPUを接続し emacs + ellama 経由でも試してみ…

LOCAL LLM via ollama on win11 + intel core i7 + mem:64G

ollama for win を用い、ローカルLLMを win11 + intel core i7 + mem:64G の環境で触ってみました。 (geforce rtx 4090は接続していません) 簡単な手順でLLMを始められる点ではすごいと思いましたが、 短い英文の和訳で、30分程度を要しましたので、 実用に…

mount-s3 による aws s3 の ec2へのmount

aws s3 の ec2へのmountには、s3fsやgoofysを使用していましたが、 awsより公式の mount-s3 が公開されていたので、お試し。 直接httpを経由せず、aws s3を使用できる為、s3fsやgoofys同様、操作は楽です 速度テストには、1MB x 1,000個のファイルを使用しま…

MobileNet , tf2onnx for python 等による類似画像検索 (改)

前回のentryでは、224224サイズの画像ファイルしか扱えませんでしたので 大きなサイズの画像は、224224サイズにタイル分割した上で、 特徴量を算出するようにしました。 ( 前回のentryにあった calc_feature(onnx_session, img_path) を 改良しています ) 2.…

MobileNet , tf2onnx for python 等による類似画像検索

先程のentryで構築した環境を用い、参考urlにある類似画像検索を写経。 目次 参考url TODO - 224*224よりも大きな画像の類似検索 1. mobilenet_v3 の取得とonnx形式への変換 mobilenet_v3 の TensorFlow Hub形式での取得 onnx形式への変換 推論することで、…

類似画像検索に向けた cuda11.8, cudnn8.5.0 再installや、pip install onnxruntime-gpu 等

win11 pcには以前、cuda 11.2, cuDNN 8.9.2 をinstallしていますが、 onnxruntime が必要とするversionと異なるようですので、 cuda11.8, cudnn8.5.0 を再installしています。 ついでに、GeForce Game Ready driver も再installしています。 目次 0. 環境 wi…

installing mysql9.0 source distribution to oraclie linux 8.7

目次 参考url install先 - oracle linux 8.7 依存library user & group追加 mysql9.0 source distribution の入手と解凍 cmakeによる configuration make ~ make test ~ make install my.cnfによる設定等 datadir作成や初期化 systemd 自動起動 root によ…

libredwg ver.0.13 で shift-jis の 0x5c問題が解消されたみたい

https://github.com/LibreDWG/libredwg/releases/tag/0.13.3 libredwg ver.0.12 に付属の dwgread.exe では、shift-jis の 0x5c問題 により DOS> libredwg-0.12-win64\dwgread.exe --format JSON 22B133-01-003-cad-.dwg <略> "text_value": " 表\を参照。…

AutoCAD 2022で 3Dモデリング画面への切り替えは、画面右下のメニューから

sqlite3 での upsertは「REPLACE INTO」or「INTERT INTO ~ ON ON CONFLICT」

参考url 【プログラミング】SQLite3:データが重複したら更新か何もしない、新規のデータは追加する動作 UPSERT | 3PySci sqlite3のバージョン確認と、テストテーブル、テストデータ作成 $ /usr/bin/sqlite3 test.db sqlite> select sqlite_version(); 3.26.…

python for win環境で、機種依存文字のprint()時の文字化け回避

import io import sys # win環境で機種依存文字をprint()する際、文字化けする為 sys.stdout = io.TextIOWrapper(sys.stdout.buffer, encoding='utf-8') sys.stderr = io.TextIOWrapper(sys.stderr.buffer, encoding='utf-8')

フロントローディング (作業の前倒し、上流工程強化)

svg版 プロフェッショナルの仕事の進め方 - end0tknr's kipple - web写経開発 以前、記載した上記entryに通じると思います。 フロントローディングの反対は、WEBでも使用する Lazy Loading かと思ったら、 バックローディングでした

建築業界? / 施工管理? における QCDSE (品質、コスト、納期、安全、環境)

QCDは知っていましたが、QCDSEは初めて聞きました。 建築業界?や施工管理?における用語なんですかね?

blender 4.1による髪の毛 ( Hair Particle )作成

参考urlを参照し、blender 4.1で作成したものが以下。 物理演算による毛のゆらぎや、 www.mixamo.com での自動アニメーションも試みましたが、 今回、そこまでは実現できず。 参考url www.youtube.com www.youtube.com github https://github.com/end0tknr/s…

sqlite fts4 + sql.js によるブラウザでの全文検索 (zipデータの場合)

sqlite fts4 + sql.js によるブラウザでの全文検索 - end0tknr's kipple - web写経開発 前回の上記entryでは、sqliteのバイナリデータ(.db)を使用しましたが、 .dbでは容量が大きい為、更にzip化したものを扱うようにしてみました。 <html lang="ja"> <head> <meta http-equiv="Content-Type" content="text/html; charset=UTF-8"> </meta></head></html>

GIGO - Garbage In, Garbage Out

FIFOやLILOの読み方も統一されていない気がしますので、 ガイゴー / ギーゴー / ガーベジイン・ガーベジアウト のいずれもOKな気がします。 chat gptによれば、GIGOの反意語は、QIQO (Quality In, Quality Out)で 「質の高いものを入力すれば、質の高い結果…

Visual Studio 2019 Community付属の dumpbin.exe による dllの解析

以下の通りです。 今回、DocuWorks の xdwapi.dll に含まれる関数を一覧表示しました。 DOS> "C:\Program Files (x86)\Microsoft Visual Studio\2019\Community\VC\Tools\MSVC\14.29.30133\bin\Hostx64\x86\dumpbin.exe" /exports xdwapi.dll Microsoft (R) …

reportlab & pypdf for python を用い、pdfに文字列や図形を透明(透かし)で追加

from pypdf import PdfReader, PdfWriter from reportlab.pdfgen import canvas from reportlab.pdfbase import pdfmetrics from reportlab.pdfbase.ttfonts import TTFont from reportlab.lib.colors import red,black import io import sys def main(): or…

Re: モリサワ 「Google Fonts」へユニバーサルデザインに配慮した「BIZ UDフォント」を提供

モリサワの「BIZ UDフォント」のメモ www.morisawa.co.jp github.com github.com forest.watch.impress.co.jp

openpyxl + pillow for python で excelに含まれる画像を抽出

import openpyxl import PIL def main(): excel_file = './test_includeing_img.xlsx' wb = openpyxl.load_workbook(excel_file) for xlsx_img in wb['Sheet1']._images: #print( xlsx_img.path ) # sheet中の座標 print( xlsx_img.anchor._from.col, xlsx_i…

TD-IDF (Term Frequency – Inverse Document Frequency) をpythonで実装

scikit-learn for pythonに頼っていましたが、実装してみました import math import collections def main(): """ TF-IDFとは? 各文書(document)にある各単語(term)が「その文書でどれくらい重要か」 https://atmarkit.itmedia.co.jp/ait/articles/2112/23/…

sqlite fts4 + sql.js によるブラウザでの全文検索

sql.jsは sqlite の javascript + web assembly版ですので、 先程のentryの続きとして、ブラウザでの全文検索を行います。 参考url SQLite FTS : trigram tokenizerでunigram&bigram検索までサポート-日本語全文検索 – スペース・アイ株式会社 【Python】SQ…