end0tknr's kipple - web写経開発

太宰府天満宮の狛犬って、妙にカワイイ

2019-01-01から1年間の記事一覧

python 3.7 における多重sort - 「lambda x:(-x[0],x[1])」と「key=cmp_to_key(cmpstr)」

ちょっと迷ったのでメモ。 lambda x:(-x[0],x[1]) による方法 以下は、2次元配列の 第1要素で降順 & 第2要素で昇順 sort します。 seisan_date_candidates_tmp = \ sorted(seisan_date_candidates, key=lambda x:(-x[0],x[1])) seisan_date_str = seisan_dat…

openpyxl for python による excel 読み込みを高速化 - wsheet.iter_rows()

xlrd for python で excel (xlsx) を読む - end0tknr's kipple - 新web写経開発 上記エントリに倣い openpyxl for python で excel (xlsx)を読むと速度が遅く、 特にレコード数の多い excelデータではこれが致命的。 どうやら cell = wsheet.cell(row=row,co…

「三隣亡」算出の元となる「二十四節気」は、国立天文台が毎年2月の官報で発表

「三隣亡」日の算出は、グレゴリオ暦 → QREKIによる旧暦算出... のように考えていましたが、 単純な計算では無理っぽい。 平成32(2020)年暦要項の発表 | 国立天文台(NAOJ) によれば 国立天文台は、毎年2月の最初の官報で翌年の暦要項(れきようこう)を発…

Web::Scraper for perl 経由で www.whatismybrowser.com を使い、access_log にあるuser agentを分析

perl scriptとしては、以下の通り。 apacheのaccess_logに user agentが記載されていますが 最近のuser agent 文字列は複雑で、「結局、OSやブラウザは何?」となった為、 書いてみた。 これまで 同様のscriptを複数回、書いていますが、 最近では、www.whati…

負荷テストツール - siege ver.4.0.4

これまで負荷テストには、 apache bench (ab)を使用してきましたが、 ランダムなurlにアクセスすることで、より本番に近い負荷を発生させたい為、 siege を試してみます。 https://github.com/JoeDog/siege install $ wget https://github.com/JoeDog/siege/…

bashで特定プロセスのCPU(%), MEM(%), 該当プロセス数 を表示

簡単なscriptはperlで書くことが多いのですが、 今後、perlがない環境で使用するかも知れませんので、bashで #!/usr/bin/bash echo "YYYY-MM-DD HH:MM:SS cpu(%) mem(%) procs count" while true do datetime=`date "+%F %T"` cpu=`ps aux | grep "/httpd/bi…

IISサーバのログを自力で集計

iisサーバのログ書式 - end0tknr's kipple - 新web写経開発 「今どき、ログファイルベースのアクセス分析って、古いよねぇ」と思いつつ、 上記エントリの関連で、以下の perl script & ddl (sql)を書いてみた #!/usr/local/bin/perl use utf8; use strict; u…

apacheのmpmを prefork -> event に変更

https://end0tknr.hateblo.jp/entry/20170814/1502686286 上記urlのentryにあるように、 以前から apacheのmpmには prefork を 使用してきましたが、eventに変更。 apache の mpm = {prefork , worker , event} については 次のurlが分かりやすいです。 http…

selenium + IEDriverServer.exe で ie11を起動する場合、「保護モードを有効」に

#!/usr/local/bin/python # -*- coding: utf-8 -*- import getopt import os import sys from selenium import webdriver from time import sleep CONF = \ {'web_driver':'c:/home/end0tknr/tmp/SELENIUM/IEDriverServer.exe'} def main(): browser = init_…

python 3.7 for win 付属 の pipで 認証付きproxy経由で installする

以下のようにやれば、OKみたい C:\Users\end0tknr > pip install selenium \ --proxy http://ないしょID:ないしょPW@proxy.example.com \ --trusted-host pypi.org \ --trusted-host pypi.python.org \ --trusted-host files.pythonhosted.org

perl による 素朴な csrf 対策用 token発行 と 照合

http://www.kent-web.com/perl/crypt/step05.html 上記urlを参考に、以下のような methodを活用すれば、良い気がします use Digest::MD5; sub get_csrf_token { my ($self) = @_; # 8文字のランダム文字列をsaltに使用します my @salt_chars = ('a' .. 'f', …

perl に install済 module 一覧を version付きで表示する one liner

標準モジュールは、Module::CoreList ( corelist ) を利用 $ perl -le 'system("corelist -v $^V")' The following modules were in perl v5.30.0 CORE Amiga::ARexx 0.04 Amiga::Exec 0.02 AnyDBM_File 1.01 App::Cpan 1.672 App::Prove 3.42 App::Prove::S…

emacsにおける window 切替えを「C-x o」から「C-t」に変更

.emacsへ以下のように記載すれば、OK。 「C-t」デフォルトで、隣の文字との入れ替えを行う「transpose-chars」に割り当てられており、 私は全く利用しないので、問題なし ; window 切り替える。 初期値 は transpose-chars (define-key global-map (kbd "C-t…

OWASP ZAP 2.8.0 で BASIC認証サイトへの脆弱性SCAN

忘れてたので、メモ STEP1 - まずはスクリプトの追加 STEP2 - 次にスクリプト名等の設定 STEP3 - 最後にスクリプトの記述 上記のテキストエリアには次のように入力します。 ただし「????????」部は、「$USER_ID:$PASSWD」をBASE64エンコードしたもの org.par…

excelの条件付き書式で、土日に色を付ける

条件となる数式を忘れるので、メモ =OR(WEEKDAY(D4)=1,WEEKDAY(D4)=7)

Re: Tomcat7から9へのアップグレード

Tomcat7から9へのアップグレード | GMOアドパートナーズグループ TECH BLOG byGMO 正に上記urlの通りだった。tomcatをverion up したら、エラー発生。 なので $ sudo vi cd /usr/share/tomcat8/conf/context.conf <Context></Context>ブロックの末尾(ファイル末尾)に、↓の行を…

openssl ver.1.1.1 で 「Using -iter or -pbkdf2 would be better.」や「bad decrypt」 error

以前、記載した entry の openssl ver.1.1.1 版. openssl でファイルの暗号化と復号化 - end0tknr's kipple - 新web写経開発 openssl ver.1.0 で暗号化したファイルを openssl ver.1.1.1 で復号化しようとしたところ、以下のエラー。 $ /usr/local/openssl_1…

excel 97-2003(xls)作成のたvbaマクロを excel 2016 で実行したら、実行エラー '3706'

excel 97-2003(xls)作成のたvbaマクロを excel 2016 で実行したら、 実行エラー '3706': プロバイダーが見つかりません。正しくインストールされていない可能性があります。 というエラー。 どうやら、win10では、「Microsoft.Jet.OLEDB.4.0」が利用できない…

iisサーバのログ書式

iisサーバでは、logファイルの先頭がコメントになっており、 出力項目は、そちらに記載されています。 $ head -4 u_ex190906.log #Software: Microsoft Internet Information Services 7.5 #Version: 1.0 #Date: 2019-09-06 00:00:00 #Fields: date time s-i…

SQL::Statement depends on Text::Soundex for perl

SQL::Statement を installする際、 Text::Soundex という初めて見る perl module を見かけた。 https://metacpan.org/pod/Text::Soundex 上記 url の DESCRIPTION によれば、 Soundex is a phonetic algorithm for indexing names by sound, as pronounced …

install openldap 2.4.48 from src to centos8 for openam

centos8 $ sudo yum install openldap-servers -> No match for argument: openldap-servers - end0tknr's kipple - 新web写経開発 先日のエントリに関連しますが、 centos8 / rhel8 で openldap-servers がリポジトリから削除され、 yum install できなくな…

centos8 $ sudo yum install openldap-servers -> No match for argument: openldap-servers

「はて?」と思ったら、 openldap-servers は SSLv3に伴う脆弱性(POODLE)の影響で、 非推奨となり、centos8 標準のリポジトリから外れたみたい。 $ sudo yum install openldap-servers [sudo] password for end0tknr: Last metadata expiration check: 0:07:1…

RDKit + python で、化合物の構造式を描く

描画だけの graphviz でなく、 部分構造探索や(フィンガープリントによる)類似性判定を利用したかったので、お試し。 試してみたものの、化学式以外のグラフ構造を描くことができなかった為、 今後、しばらくは使用しない気がします。 RDKit + python の ins…

gcc の compile option -fPIC や ldd

メモ。 次のurlにまとめられている通り。 「-fPIC」は、Position-Independent Code の略で、shared object作成時のoption。 PIC でcompileされた場合、メインメモリのどこに配置されても、絶対アドレスに関わらず、正しく実行できる。 gccのコンパイルオプシ…

STL-10データを使用した 敵対的生成ネットワーク ( GAN : Generative Adversarial Networks )

GitHub - miyamotok0105/pytorch_handbook: pytorch_handbook 上記urlの6章を写経。 deep learning による画像生成とは、GAN を使用しているらしい。 GANの学習不安定を改善する為、その後、DCGANやLSGANが現れたそうですが、 今回、STL-10データを使用し、L…

「ModuleNotFoundError: No module named '_sqlite3'」には「./configure --enable-loadable-sqlite-extensions」からの python 3.7の再installが必要

$ ./foo_6_1.py Traceback (most recent call last): File "./foo_6_1.py", line 7, in <module> from google.colab import drive File "/usr/local/python3/lib/python3.7/site-packages/google/colab/__init__.py", line 25, in <module> from google.colab import auth Fi</module></module>…

google colaboratory for python で google driveに mount

https://colab.research.google.com って スゴい from google.colab import drive drive.mount('/content/gdrive') google colaboratory for python で↑このように実行後、 ↓こちらのurlへブラウザでアクセスし、そこで表示された 「authorization code」をg…

独自データセットを CNN(AlexNet) + 転移学習 で画像分類

独自データセットを CNN(AlexNet) で画像分類 - end0tknr's kipple - 新web写経開発 の続きとして 前回エントリの内容を、「CNN(AlexNet) + 転移学習」で実施。 転移学習とは、学習済のモデルを再利用するもので、 今回の場合、CNN(AlexNet) の最終のみ、重…

独自データセットを CNN(AlexNet) で画像分類

deep learningにおけるhello worldのMLP (Multi Layer Perceptron) から、畳込みニューラルネットワーク(CNN : Convolutional Neural Network )におけるhello worldのAlexNetへ - end0tknr's kipple - 新web写経開発 GitHub - miyamotok0105/pytorch_handboo…

python の import cv2 で ImportError: libSM.so.6: cannot open shared object file: No such file or directory

事前の 「$ sudo /usr/local/python3/bin/pip install opencv-python」だけでは、不足らしい。 $ ./foo_4_2.py Traceback (most recent call last): File "./foo_4_2.py", line 21, in <module> import cv2 File "/usr/local/python3/lib/python3.7/site-packages/cv</module>…