Theme
データをつなぐ・整える
ETL、CSV連携、DWHの構築で、自前実装とマネージドサービスのどちらを選ぶか、再実行や障害時にどう振る舞わせるかを判断できます。
- 検証記録
CSVの文字コードと改行が混ざったとき、Pythonの標準の読み込みで何が起きるか
- 問い
- 取引先から届くCSVは、文字コードや改行の作り方がファイルごとに違うことがあります。Pythonの標準の方法で読んだとき、エラーで止まって気づける場合と、止まらずに中身が変わってしまう場合があると聞きました。実際に何が起きるのか確かめたいです。
- 結論
- CSVをPythonの標準の方法で読むと、問題があってもエラーで止まらず、中身が変わったまま読み終わる場合が多いことが分かりました。文字コードを取り違えると名前が別の文字や空文字になり、引用符の閉じ忘れでは後ろの行が飲み込まれました。止まるかどうかは問題の種類によって違うため、読み込みの前後で件数や中身を確かめる備えが要ります。
- 比較・選定
日次のCSV連携は、Python+AWSで作るか、マネージドな自動化ツールで持つか
- 問い
- 基幹システムや取引先から届くCSVを、毎日決まった時刻に取り込んでS3やDWHへ渡している。今は手作業や古いスクリプトで回しているが、この先もPython+AWSで自作し続けるか、WorkatoやDataSpiderのようなマネージドな自動化ツールに寄せるかで迷っている。何が選定の分かれ目になるか。
- 結論
- 分かれ目は料金の絶対額ではなく、連携先の種類、変更の頻度と直す人、連携の本数の3つです。連携先がファイルとAWS内で閉じ、変更が少なく、Pythonを書ける担当者が続くなら、Python+AWSは実行料金がほぼ無料枠の範囲で持てます。SaaSやオンプレミスが混ざり、仕様変更が頻繁で、直す人が情シス兼任なら、月額費用がかかってもマネージド側が総工数で安くなります。