mysqlのinsert時に重複キーがあったら、無視or更新

http://dev.mysql.com/doc/refman/5.1/ja/insert.html

INSERT IGNORE table_name (col_name,...) 〜 または、 
INSERT INTO table_name (col_name,...) VALUES 〜 ON DUPLICATE KEY UPDATE 〜

を使いましょう。mysqlの独自構文のようですが、便利です。

LOAD DATA INFILEによるインポートでも使えます

http://dev.mysql.com/doc/refman/5.1/ja/load-data.html