end0tknr's kipple - web写経開発

太宰府天満宮の狛犬って、妙にカワイイ

2019-12-01から1ヶ月間の記事一覧

python 3.7 における多重sort - 「lambda x:(-x[0],x[1])」と「key=cmp_to_key(cmpstr)」

ちょっと迷ったのでメモ。 lambda x:(-x[0],x[1]) による方法 以下は、2次元配列の 第1要素で降順 & 第2要素で昇順 sort します。 seisan_date_candidates_tmp = \ sorted(seisan_date_candidates, key=lambda x:(-x[0],x[1])) seisan_date_str = seisan_dat…

openpyxl for python による excel 読み込みを高速化 - wsheet.iter_rows()

xlrd for python で excel (xlsx) を読む - end0tknr's kipple - 新web写経開発 上記エントリに倣い openpyxl for python で excel (xlsx)を読むと速度が遅く、 特にレコード数の多い excelデータではこれが致命的。 どうやら cell = wsheet.cell(row=row,co…

「三隣亡」算出の元となる「二十四節気」は、国立天文台が毎年2月の官報で発表

「三隣亡」日の算出は、グレゴリオ暦 → QREKIによる旧暦算出... のように考えていましたが、 単純な計算では無理っぽい。 平成32(2020)年暦要項の発表 | 国立天文台(NAOJ) によれば 国立天文台は、毎年2月の最初の官報で翌年の暦要項(れきようこう)を発…

Web::Scraper for perl 経由で www.whatismybrowser.com を使い、access_log にあるuser agentを分析

perl scriptとしては、以下の通り。 apacheのaccess_logに user agentが記載されていますが 最近のuser agent 文字列は複雑で、「結局、OSやブラウザは何?」となった為、 書いてみた。 これまで 同様のscriptを複数回、書いていますが、 最近では、www.whati…

負荷テストツール - siege ver.4.0.4

これまで負荷テストには、 apache bench (ab)を使用してきましたが、 ランダムなurlにアクセスすることで、より本番に近い負荷を発生させたい為、 siege を試してみます。 https://github.com/JoeDog/siege install $ wget https://github.com/JoeDog/siege/…

bashで特定プロセスのCPU(%), MEM(%), 該当プロセス数 を表示

簡単なscriptはperlで書くことが多いのですが、 今後、perlがない環境で使用するかも知れませんので、bashで #!/usr/bin/bash echo "YYYY-MM-DD HH:MM:SS cpu(%) mem(%) procs count" while true do datetime=`date "+%F %T"` cpu=`ps aux | grep "/httpd/bi…

IISサーバのログを自力で集計

iisサーバのログ書式 - end0tknr's kipple - 新web写経開発 「今どき、ログファイルベースのアクセス分析って、古いよねぇ」と思いつつ、 上記エントリの関連で、以下の perl script & ddl (sql)を書いてみた #!/usr/local/bin/perl use utf8; use strict; u…

apacheのmpmを prefork -> event に変更

https://end0tknr.hateblo.jp/entry/20170814/1502686286 上記urlのentryにあるように、 以前から apacheのmpmには prefork を 使用してきましたが、eventに変更。 apache の mpm = {prefork , worker , event} については 次のurlが分かりやすいです。 http…

selenium + IEDriverServer.exe で ie11を起動する場合、「保護モードを有効」に

#!/usr/local/bin/python # -*- coding: utf-8 -*- import getopt import os import sys from selenium import webdriver from time import sleep CONF = \ {'web_driver':'c:/home/end0tknr/tmp/SELENIUM/IEDriverServer.exe'} def main(): browser = init_…

python 3.7 for win 付属 の pipで 認証付きproxy経由で installする

以下のようにやれば、OKみたい C:\Users\end0tknr > pip install selenium \ --proxy http://ないしょID:ないしょPW@proxy.example.com \ --trusted-host pypi.org \ --trusted-host pypi.python.org \ --trusted-host files.pythonhosted.org

perl による 素朴な csrf 対策用 token発行 と 照合

http://www.kent-web.com/perl/crypt/step05.html 上記urlを参考に、以下のような methodを活用すれば、良い気がします use Digest::MD5; sub get_csrf_token { my ($self) = @_; # 8文字のランダム文字列をsaltに使用します my @salt_chars = ('a' .. 'f', …

perl に install済 module 一覧を version付きで表示する one liner

標準モジュールは、Module::CoreList ( corelist ) を利用 $ perl -le 'system("corelist -v $^V")' The following modules were in perl v5.30.0 CORE Amiga::ARexx 0.04 Amiga::Exec 0.02 AnyDBM_File 1.01 App::Cpan 1.672 App::Prove 3.42 App::Prove::S…

emacsにおける window 切替えを「C-x o」から「C-t」に変更

.emacsへ以下のように記載すれば、OK。 「C-t」デフォルトで、隣の文字との入れ替えを行う「transpose-chars」に割り当てられており、 私は全く利用しないので、問題なし ; window 切り替える。 初期値 は transpose-chars (define-key global-map (kbd "C-t…