end0tknr's kipple - web写経開発

太宰府天満宮の狛犬って、妙にカワイイ

2011-04-01から1ヶ月間の記事一覧

Scrappy - Powerful Web Spidering, Scraping, Creeping Crawling Framework

http://search.cpan.org/perldoc?Scrappywebに対してクローラーやスクレイピング等々、いろんなことができるようです。 スクレイピングってWeb::Scraperみたいなんて思っていたら、Web::Scraperは、Dependencies に含まれていました。(そりゃそうかも知れま…

alter tableによるcolumn変更

どうも、CHANGE COLUMN と MODIFY を混同してしまうので、整理。 列の追加 ALTER TABLE $table ADD COLUMN $col_name $type; 列の削除 ALTER TABLE $table ADD DROP COLUMN $col_name; 列の名前や型を変更 ALTER TABLE $table CHANGE COLUMN $old_col_name $…

perlでyahoo電気予報を取得し、メール送信

昨日?、yahoo japanから東京地方?の使用電気量を予想するページが、web apiと共に公開されました。http://setsuden.yahoo.co.jp/denkiyoho/企業の場合、「インターネットに手軽に接続できないので、電気予報をメールで送って欲しい」という方も多いと思いま…

javascriptのテンプレートエンジンなら jQuery Templates ?

jQuery Templates以外、試したことがありません。(jsオブジェクトのhtml化には、助かります)http://javascript.webcreativepark.net/library/jquery_templates http://api.jquery.com/category/plugins/templates/↓この辺りにあるsprintf実装と合わせて、使…

perl実装されたジョブキューサーバは Gearman , TheSchwartz, Q4M 等

Q4M Queue Ffor Mysql の略で、例えば、mixiで使用されているみたいです。 http://alpha.mixi.co.jp/blog/?p=2453 Gearman , TheSchwartz http://d.hatena.ne.jp/tokuhirom/20071017/1192589429 ↑このurlで分かりやすく解説されています。 gearman はリアル…

サブドメインなしのdns設定は、レンタルDNSレコード設定で実行

お名前.comで、www.example.com ではなく、example.com のようなサブドメインなしのdns登録を行おうとした際、「ホスト登録・変更・削除」画面では登録できず、「レンタルDNSレコード設定」画面では登録できました。お名前.com に限らず、世の中的にそういう…

mysqlで create table select , create table like によるtable copy

知りませんでした。こんなに簡単にテーブル構造を含めてコピーできるなんて... create table ... selectを使用すると 既に存在しているテーブルと同じ構造のテーブルを作成する事ができる またデータもコピーされる 但し、インデックスやauto_incrementは新…

Spreadsheet::WriteExcelのセル内改行にはset_align('vjustify') or set_text_wrap()

改行を含む文字列を単純にwrite()やmerge_range()で出力しようとしましたが、改行しない状態でexcelファイルが生成されました。http://search.cpan.org/perldoc?Spreadsheet::WriteExcelどうやら、Spreadsheet::WriteExcelでセル内改行するには、set_align('…

R1C1参照形式=ONでexcelの列見出がアルファベットから数字に

何の拍子か、excel2007の列番号が、通常?のアルファベット表示から、数値表示に変わってしまいました。 「excelのオプション」→「数式」で、R1C1参照形式=OFFにすることで戻しましたが、何が起こったんだろう? 「R1C1形式」って、Row , Column を数字で表す…

RFC4180的には、CSVのレコード区切はCRLF

UNIX改行(LF) or DOS改行(CRLF)のどちらもOKだと勝手に思っていました。http://www.kasai.fm/wiki/rfc4180jprfc4180の日本語訳もあるんですね?

Time::Duration::ja で human-readable な経過時間を表示

先程のエントリに続き、またも「perl cpanモジュールガイド」から。viewvcやtracでは、commitからの経過時間を?日前や?ヶ月前のように表示しますが、 perlでは、Time::Duration::ja が、これを実現してくれるようです。 tracの例 perl src #!/usr/local/bin/…

Number::Format で数値を human-readable に表示

「perl cpanモジュールガイド」を読んだら、Number::Formatと興味深気なmoduleを見かけました。lsコマンドでは、 -h (human-readable)スイッチで、K,M,G等 file sizeを人が読みやすい(分かりやすい?)感じに表示してくれます。 $ ls -lh total 3.1M drwxr-xr-…

mysqlのFEDERATEDによる別マシン間でのtable join

http://dev.mysql.com/doc/refman/5.1/ja/federated-storage-engine.htmlmysqlにそんなストレージエンジンがあるとは驚きました。 トランザクションをサポートしない等の制約があるようですが、そのうち使うことがあるかも。参考url http://thinkit.co.jp/fr…

ディスクとメモリの速度差

「大規模サービス技術入門」のp.29辺りに メモリの探索速度はディスクの10万倍〜100万倍高速。 メモリの転送速度もディスクのざっと100倍高速。 と記載されており、転送速度はhdparmで確認できるそうなので、colinux環境でやってみた。 # hdparm -Tt /dev/co…

mysqlのuse index()って、世の中ではどのくらい使われているんだろう?

http://dev.mysql.com/doc/refman/5.1-olh/ja/index-hints.html USE INDEX (index_list) テーブル内の行を検索するために、指定されたインデックスの 1 つのみを使用するよう MySQL に指示できます。: IGNORE INDEX (index_list) いくつかの特定の (1 つまた…

perl 5.12.3でSpreadsheet::WriteExcelによるcgi出力で失敗

colinux環境を壊したことをきっかけに、perl 5.10.?->perl 5.12.3へ移行しましたが、どうやらperl 5.12.3では Spreadsheet::WriteExcelによるcgi出力で失敗するケースがあるようです。※以前、記載している次のエントリも合わせてご覧下さい。 http://d.haten…

mapserverによるwmsサーバ構築の準備?

GIS

http://d.hatena.ne.jp/end0tknr/20110407/1302168824今回も先日のエントリの続きで、今回はmapservでwmsサーバ構築の準備というか練習として、国土交通省提供の行政区域データをwmsで表示します。http://cadweb.jp/Map1/wms_1.htmmapserverのドキュメントを…

iconvパッチ集を使って、機種依存文字のエンコード変換を実験

http://www2d.biglobe.ne.jp/~msyk/software/libiconv-patch.html libiconv-1.13-ja-1.patch.gz 等iconvパッチ集というものを見かけたので、iconvにパッチを当てて使ってみました。 あ ㈱ 郄 ① A B上記のようなutf8ファイルを用意して、次のように実行する…

mapservで国土交通省提供の行政区域データをcgiで表示

GIS

http://d.hatena.ne.jp/end0tknr/20110321/1300728621 先日のエントリに続いて(割と時間が経過していますが)、国土交通省提供の行政区域データをmapservで表示してみます。※gisデータのインポートは、例えば、次のurlをご覧下さい http://d.hatena.ne.jp/end…

mysql 5.5系をsrcからインストール

※以前、記載した mysql 5.1.30のinstall手順 http://d.hatena.ne.jp/end0tknr/20090130/1233288533colinux環境を壊してしまったので、mysql 5.5.11をinstallしようとしたら、configure時に次のようなerrorとなりました。 $ tar -zxvf mysql-5.5.11.tar.gz $ …

colinux環境へのopenldap install - ポイントは BerkeleyDB

参考url http://www.atmarkit.co.jp/ait/kw/open_ldap_de_directoryserver.html http://www.atmarkit.co.jp/ait/articles/0809/04/news126.html 基本的に@ITの記事の通りですので、以下ではポイントを絞って記載します ※software designの2010/9月号にもopen…

colinux 0.78 で「vmlinux: 指定されたファイルが見つかりません。」

うっかり、colinux 0.73の一部のファイルを削除したので、colinux 0.78 をインストールしたら、次のようなエラーが表示さました。 DOS>"C:\coLinux078\colinux-daemon.exe" @C:\coLinuxFedora10\fedora10.conf Cooperative Linux Daemon, 0.7.8 Daemon compi…