end0tknr's kipple - 新web写経開発

http://d.hatena.ne.jp/end0tknr/ から移転しました

SQL::Statement depends on Text::Soundex for perl

SQL::Statement を installする際、 Text::Soundex という初めて見る perl module を見かけた。 https://metacpan.org/pod/Text::Soundex 上記 url の DESCRIPTION によれば、 Soundex is a phonetic algorithm for indexing names by sound, as pronounced …

install openldap 2.4.48 from src to centos8 for openam

centos8 $ sudo yum install openldap-servers -> No match for argument: openldap-servers - end0tknr's kipple - 新web写経開発 先日のエントリに関連しますが、 centos8 / rhel8 で openldap-servers がリポジトリから削除され、 yum install できなくな…

centos8 $ sudo yum install openldap-servers -> No match for argument: openldap-servers

「はて?」と思ったら、 openldap-servers は SSLv3に伴う脆弱性(POODLE)の影響で、 非推奨となり、centos8 標準のリポジトリから外れたみたい。 $ sudo yum install openldap-servers [sudo] password for end0tknr: Last metadata expiration check: 0:07:1…

RDKit + python で、化合物の構造式を描く

描画だけの graphviz でなく、 部分構造探索や(フィンガープリントによる)類似性判定を利用したかったので、お試し。 試してみたものの、化学式以外のグラフ構造を描くことができなかった為、 今後、しばらくは使用しない気がします。 RDKit + python の ins…

gcc の compile option -fPIC や ldd

メモ。 次のurlにまとめられている通り。 「-fPIC」は、Position-Independent Code の略で、shared object作成時のoption。 PIC でcompileされた場合、メインメモリのどこに配置されても、絶対アドレスに関わらず、正しく実行できる。 gccのコンパイルオプシ…

STL-10データを使用した 敵対的生成ネットワーク ( GAN : Generative Adversarial Networks )

GitHub - miyamotok0105/pytorch_handbook: pytorch_handbook 上記urlの6章を写経。 deep learning による画像生成とは、GAN を使用しているらしい。 GANの学習不安定を改善する為、その後、DCGANやLSGANが現れたそうですが、 今回、STL-10データを使用し、L…

「ModuleNotFoundError: No module named '_sqlite3'」には「./configure --enable-loadable-sqlite-extensions」からの python 3.7の再installが必要

$ ./foo_6_1.py Traceback (most recent call last): File "./foo_6_1.py", line 7, in <module> from google.colab import drive File "/usr/local/python3/lib/python3.7/site-packages/google/colab/__init__.py", line 25, in <module> from google.colab import auth Fi</module></module>…

google colaboratory for python で google driveに mount

https://colab.research.google.com って スゴい from google.colab import drive drive.mount('/content/gdrive') google colaboratory for python で↑このように実行後、 ↓こちらのurlへブラウザでアクセスし、そこで表示された 「authorization code」をg…

独自データセットを CNN(AlexNet) + 転移学習 で画像分類

独自データセットを CNN(AlexNet) で画像分類 - end0tknr's kipple - 新web写経開発 の続きとして 前回エントリの内容を、「CNN(AlexNet) + 転移学習」で実施。 転移学習とは、学習済のモデルを再利用するもので、 今回の場合、CNN(AlexNet) の最終のみ、重…

独自データセットを CNN(AlexNet) で画像分類

deep learningにおけるhello worldのMLP (Multi Layer Perceptron) から、畳込みニューラルネットワーク(CNN : Convolutional Neural Network )におけるhello worldのAlexNetへ - end0tknr's kipple - 新web写経開発 GitHub - miyamotok0105/pytorch_handboo…

python の import cv2 で ImportError: libSM.so.6: cannot open shared object file: No such file or directory

事前の 「$ sudo /usr/local/python3/bin/pip install opencv-python」だけでは、不足らしい。 $ ./foo_4_2.py Traceback (most recent call last): File "./foo_4_2.py", line 21, in <module> import cv2 File "/usr/local/python3/lib/python3.7/site-packages/cv</module>…

deep learningにおけるhello worldのMLP (Multi Layer Perceptron) から、畳込みニューラルネットワーク(CNN : Convolutional Neural Network )におけるhello worldのAlexNetへ

MLP と AlexNet の違い 全結合のニューラルネットワーク (例: MLP) 3次元データも1次元に変換し、全結合層への入力データとする為、 3次元データが持つ形状を無視してしまう 畳込みニューラルネットワーク (例: AlexNet) 3次元データを受け、畳込み(≒フィルタ)演…

excelのセル内に書式を指定(sprintf()風)して、計算も行う

↓こうみたい ="費用:" & TEXT(N44,"#,###") & " × " & I43 & " ="&TEXT(O44,"#,###")

pytorch for pythonによる CIFAR10 に対する画像分類

https://github.com/miyamotok0105/pytorch_handbook 上記urlにある3章の写経. srcの内容は理解できる. が、srcに記載されているロジック妥当性までは理解できていない。 そう考えると「まだまだ」というより「さっぱり」だ ちなみに CIFAR10とは、次のurlに…

pytorch for pythonによる最適化関数(勾配法) - SGD , Momentum SGD , AdaGrad , RMSprop , AdaDelta , Adam

様々な最適化関数 - SGD , Momentum SGD , AdaGrad , RMSprop , AdaDelta , Adam qiitaの次のurlが、数式付きで分かりやすいです Optimizer : 深層学習における勾配法について - Qiita pytorchによる最適化関数(勾配法) 以下の通り #!/usr/local/python3/bin…

pytorch for python における損失関数 (誤差関数)

損失関数の種類 問題例 損失関数 概要 回帰 nn.MSELoss 平均二乗誤差 ↓ nn.L1Loss 平均絶対値誤差 二値分類 nn.BCELoss バイナリ交差エントロピ ↓ nn.BCEWithLogitsLoss ロジット・バイナリ交差エントロピ 多クラス分類 nn.CrossEntropyLoss ソフトマックス交差エントロピ誤差 回帰 - nn.MSE…

pytorch for python の自動微分を試す

自動微分とは? そもそも「自動微分」という用語すら知りませんでした。 微分には「数式微分」「数値微分」「自動部分」があり、 更に自動微分は「前進法 (ボトムアップ型、フォワードモード、狭義の自動微分)」 「後進法 (トップダウン型、リバースモード、…

install pytorch from source to python3.7 + centos8

メモ。 以下のurlにて、自身の環境に応じたインストール方法を、コマンドライン・レベルで示されます。 https://pytorch.org/ 今回は、ソースからインストールですので、以下のようになります。 $ git clone --recursive https://github.com/pytorch/pytorch…

install rpcgen to centos8

yum install rpcgen では見つかりませんが、以下にあります https://github.com/thkukuk/rpcsvc-proto

centos8 + perl5.30 の組合せで、mod_perlの configure時に error - ✕:usethreads ○:useithreads + usemultiplicity

perl 5.30 を $ wget https://www.cpan.org/src/5.0/perl-5.30.0.tar.gz $ tar -xvf perl-5.30.0.tar.gz $ cd perl-5.30.0 $ ./Configure -Dusethreads -de -Accflags='-fPIC' $ make $ make test $ sudo make install で installし その後、mod_perl を ins…

install torch

lua言語のinstallが完了したので、次は、torch. Torch | Getting started with Torch や Torch7 のインストール - のんびりしているエンジニアの日記 を 参考に(というより、そのまま)実行。 途中で、libreadline.so.8 を見つけられないエラーとなった為、 …

lua 言語を sourc から install

依存libraryである readline や ncurse を installした上で、 http://www.lua.org/download.html を参照し、進めましたが、 「make linux test」でエラー(以下)。 $ https://www.lua.org/ftp/lua-5.3.5.tar.gz $ tar -xvf lua-5.3.5.tar.gz $ cd lua-5.3.5 $…

mysql8で、rootパスワードの再設定

http://www-creators.com/archives/5574 以下に記載していますが、内容は上記urlの通り、手元の環境にあるmysql8は、 /etc/my.cnf に skip-grant-tables を追記することで、 mysqlへのrootログインをパスワードなしに設定していた為、再確認。 STEP1 - mysql…

Tomcat8のsession replicationによる複数host間でのセッション情報共有

初めて立て見みましたが、やってみると、ほぼ、tomcatのdocumentのまんま。という感じ 全体構成 ┌PC─────┐ │┌────┐│ ││browser ││ │└──┬─┘│ └───│──┘ │ ┌ HostA│──┐ ┌ HostB───┐ │┌──┴─┐│ │ │ ││nginx ││ Load Balance │ │ │└──┬─┘│ (Round Robin)│ │ │ ├───…

pacemaker + corosync + drbd による mysql HA構成

この手のインフラよりな話は苦手ですが、いろいろと読み漁って、 手元のcentos7で試してみました。 全体構成 dev.mysql.com にも紹介されていたこともあり、データのsyncには mysqlのreplicationを利用せず、drbdを使用します。 https://dev.mysql.com/doc/r…

linux (centos)で、disk, device, partision , dir (mountpoint)を一覧表示

ディスクの分割や、dirとの紐付けを知りたい場合、 df -l や、fdisk -l では分かりづらいですが、lsblk があります $ lsblk NAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINT sda 8:0 0 60G 0 disk ├─sda1 8:1 0 1G 0 part /boot └─sda2 8:2 0 59G 0 part ├─centos-…

OpenAMのlogin rest apiでlogin ticketを入手し、認証ページのhtmlをhttp get

以下のperl scriptの通り、LWP::UserAgent for perl , HTTP::Cookies for perl で実現できます 他参考 https://backstage.forgerock.com/docs/openam/13/dev-guide/ #!/usr/local/bin/perl use utf8; use strict; use warnings; use HTTP::Cookies; use HTTP…

git-2.22.1 make で git-imap-send Error

原因不明...時間もないので、yum install にしよ $ wget https://github.com/git/git/archive/v2.22.1.tar.gz $ cd git-2.22.1/ $ make configure $ ./configure --prefix=/usr/local $ make all doc info : LINK git-imap-send http.o: In function `http_i…

(javascript) node.js + express による mysql への接続

先日までに vue.js に触れてみましたが、 サーバ側の処理も javascript(node.js)で試したくなりました。 (そうすれば、クライアント側もサーバ側も javascriptで統一できますからね) そこで、node.js + express による mysql への接続を実装してみました。以…

install node.js from src to centos7

$ wget https://nodejs.org/dist/v10.16.3/node-v10.16.3.tar.gz $ tar -xvf node-v10.16.3.tar.gz $ ./configure --prefix=/usr/local/nodejs $ make -j 3 $ make check $ sudo make install $ /usr/local/nodejs/bin/node -v v10.16.3