今日はデータをサーバーにインポートするお仕事をしていました。
間違ってしまったらどうしよう、という恐怖でめっちゃ消耗しました。疲れました。
このままだと明日働けそうにないので、温泉に行ってほぐしてきました。
しかしこのデータインポート作業、死ぬほど消耗します。
正直、もうこの仕事やりたくない、ってくらい消耗します。
私が今日扱ったデータは最も大きなもので5000件。
一般のサービスでは数百万件とかあるとか、耐えられません。
とはいえ、頻度はともかく、今後避けては通れない気もするので、今回陥った罠についてまとめておこうと思います。
今回は
エクセルファイル
↓
テキストデータ
↓
ツールでデータベースにインポート
の順にやりました。
エクセルファイルからテキストデータへの変換時
- セル内改行でデータがずれる
- 余分な「"」が出力される
- 「;」が文字列に含まれていると後々危険
- 数式が入ってるとヤバい
- #N/A が入ってるケースがある
データベースへのインポート時
- データベースのフィールド名とテキストデータのフィールド名が異なってるとエラーになる
- フィールドの型とインポートデータの型を間違えるとエラーになる
- フィールドの制限(文字数や入力可能な文字列)を間違えるとエラーになる
書き出せる罠はこれくらいですかね。
この他にも今日はいろいろ罠にハマって泣きそうになってました。
データのインポート作業、マジで嫌です。
もうやりたくない。
それでも次やる時は、あらかじめ落とし穴は埋めておきたいなと思います。
