CSVの文字コードと改行が混ざったとき、Pythonの標準の読み込みで何が起きるか
この記事の問い取引先から届くCSVは、文字コードや改行の作り方がファイルごとに違うことがあります。Pythonの標準の方法で読んだとき、エラーで止まって気づける場合と、止まらずに中身が変わってしまう場合があると聞きました。実際に何が起きるのか確かめたいです。
結論CSVをPythonの標準の方法で読むと、問題があってもエラーで止まらず、中身が変わったまま読み終わる場合が多いことが分かりました。文字コードを取り違えると名前が別の文字や空文字になり、引用符の閉じ忘れでは後ろの行が飲み込まれました。止まるかどうかは問題の種類によって違うため、読み込みの前後で件数や中身を確かめる備えが要ります。
検証の記録
- 検証環境
- Python 3.12.0(CPython)/ macOS / 標準ライブラリ csv(csv.reader、csv.DictReader)と組み込み open() / データは検証用に作った小さな CSV(数行)/ ローカル実行(費用 0 円、3 回実行して同じ結果を確認)
- 確認日
- 2026-11-22
- 結果
- 問題のある CSV 11 種類を標準の方法で読むと、エラーで止まらず中身が変わる場合が多かった。cp932 を UTF-8 で読むとエラーで止まったが、UTF-8 を cp932 で読むと今回の名前 5 件中 4 件はエラーなしで文字化けした。errors='replace'/'ignore' はエラーを消す代わりにデータを壊した。open() に newline='' を付けないと欄の中の改行が書き換わり、引用符の閉じ忘れは既定では後ろの行を飲み込み、strict=True でエラーになった。
この記事の位置づけ
この記事は検証の記録です。2026 年 11 月 22 日に、運営者の指示で Claude Code がローカル環境で実行しました。クラウドは使っておらず、費用は 0 円です。検証は 3 回実行して、同じ結果になることを確認しています。
日次の CSV 連携をどう持つかは、別の記事「日次のCSV連携は、Python+AWSで作るか、マネージドな自動化ツールで持つか」で扱いました。この記事はその手前の話で、届いた CSV を Python の標準の方法で読んだときに、文字コードや改行の問題で何が起きるかを確かめたものです。公式ドキュメントの説明と、この検証で観測した結果は、書き分けて示します。
結論の詳細
実行したところ、結果から言えることは次のとおりです。
- エラーで止まらずに、違うデータになる場合が多かったです。問題のある入力でも処理が正常に終わるため、件数や中身を自分で確かめない限り気づけません。
- 文字コードの間違いは、止まる場合と止まらない場合がありました。cp932 のファイルを UTF-8 として読むとエラーで止まりました。逆に UTF-8 のファイルを cp932 として読むと、今回の名前 5 件のうち 4 件はエラーなしで文字化けしました(この割合は今回の 5 件での結果で、一般的な割合ではありません)。
errors="replace"とerrors="ignore"は、エラーを消す代わりにデータを壊しました。ignoreでは名前が空文字になりました。shift_jisとcp932は別のものとして扱われました。shift_jisでは「①」「髙」が読めずに止まり、「~」はエラーなしで別の文字になりました。open()にnewline=""を付けないと、欄の中の改行が書き換わりました。行数は合うため、気づきにくい変化です。- 行で分割する読み方は、欄の中に改行があると行数が変わりました。
csv.readerは正しく読めました。 - 引用符の閉じ忘れは、既定では後ろの行を飲み込みました。
strict=Trueを付けると、エラーで止まりました。 - 列の数が合わない行は、エラーになりませんでした。
DictReaderでは、足りない値がNoneに、余った値がキーNoneの下に入りました。
編集部の判断では、備えは次のようになります。読み込みの前後で件数を比べること(行数が想定と違う時点で止める)。見出しの名前を想定と照合すること(BOM のケースは見出しの不一致で気づけます)。文字コードは送り元ごとに決めて明示し、errors="replace" や errors="ignore" で握りつぶさないこと。読み込みは open(newline="") と csv.reader で行い、行で分割して読まないこと。引用符の不備を止めたい場合は strict=True を使うこと。列の数が合わない行はエラーにならないため、列数の確認を別に入れることです。
適用条件
この検証の結果が言えるのは、次の条件の範囲です。
項目 | 内容 |
|---|---|
言語 | Python 3.12.0(CPython) |
OS | macOS |
使ったもの | 標準ライブラリの |
データ | 検証用に作った小さな CSV(数行)。実行のたびに作り、終わったら消す |
ほかのバージョン、ほかの OS、ほかのライブラリでの挙動は、この検証では確認していません(「制約と、確認していないこと」を参照)。
具体例
問題のある CSV を 11 種類用意し、標準の方法で読んだとき、「エラーで止まる」「エラーなしで、違うデータになる」「正しく読める」のどれになるかを記録しました。
# | 入力 | 読み方 | 結果 |
|---|---|---|---|
1 | 先頭に BOM が付いた UTF-8 |
| エラーなし。最初の見出しが |
1 | 同上 |
| 正しく読める |
2 | cp932(Shift_JIS)のファイル |
| エラーで止まる( |
2 | 同上 |
| エラーなし。「佐藤」が |
2 | 同上 |
| エラーなし。「佐藤」が空文字になる |
3 | UTF-8 のファイル |
| 名前 5 件のうち 4 件はエラーなしで文字化け(「佐藤」→「菴占陸」)。1 件(「高橋」)はエラーで止まる |
4 | cp932 のファイルに「①」「髙」 |
| エラーで止まる |
4 | cp932 のファイルに「~」(全角チルダ) |
| エラーなし。別の文字「〜」(波ダッシュ)になる |
4 | 上の 3 文字 |
| 正しく読める |
5 | 引用符の中に改行がある欄 |
| 正しく読める(4 行。欄の中の改行もそのまま) |
5 | 同上 |
| エラーなし。行数は合うが、欄の中の |
5 | 同上 | 行で分割( | エラーなし。4 行のはずが 6 行になる |
6 | 行末が CRLF・LF・CR で混在 |
| 正しく読める(4 行) |
6 | 同上 |
| エラーなし。2 行が 1 行にくっつき、 |
7 | 列が足りない行 |
| エラーなし。その行だけ要素が 2 つのリストになる |
7 | 同上 |
| エラーなし。足りない列の値が |
7 | 列が多い行 |
| エラーなし。余った値が、キー |
8 | 引用符の閉じ忘れ(後ろに別の引用符がある) |
| エラーなし。次の行を飲み込み、6 行のはずが 5 行になる |
8 | 引用符の閉じ忘れ(後ろに引用符がない) |
| エラーなし。ファイルの最後までを 1 つの欄として飲み込み、6 行のはずが 3 行になる |
8 | 上の 2 つ |
| エラーで止まる |
9 | 空の行 |
| 空のリスト |
9 | 同上 |
| エラーなし。空の行は飛ばされる |
10 | 1 つの欄が 200,000 文字 |
| エラーで止まる(上限は 131,072 文字) |
11 |
|
| 文字列のまま読める。先頭の 0 は残る |
11 |
| 読んだあとに | エラーなし。 |
根拠
観測結果の根拠は、上記の実行結果そのものです。検証は 3 回実行して同じ結果になることを確認しています。
公式ドキュメントの説明との対応は次のとおりです。公式ドキュメントによると、csv で読むファイルは newline='' を付けて開くものとされています。この検証でも、newline="" を付けた場合は引用符の中の改行がそのまま読め、付けない場合は欄の中の改行が書き換わりました。また公式ドキュメントによると、strict は、真にすると不正な CSV 入力で例外を出す設定で、既定は偽です。この検証でも、既定では引用符の閉じ忘れがエラーにならず、strict=True でエラーになりました。さらに公式ドキュメントによると、DictReader では、列が多い行の余った値はキーを指定する restkey(既定は None)の下にリストで入り、列が足りない行の値は restval(既定は None)で埋められます。観測した「キー None の下にリスト」「足りない値が None」は、この説明と一致します。
制約と、確認していないこと
この検証では、次のことは確認していません。
- Python のほかのバージョンや、ほかの OS での挙動。
open()にencodingを指定しない場合の既定の文字コードは環境によって変わりますが、今回はすべて明示して検証しました。 - pandas、polars など、ほかのライブラリでの挙動。
- 大きなファイル(数百万行)での所要時間やメモリの使用量。
- EUC-JP、UTF-16 など、ほかの文字コード。
- 実際の業務システムが出力した CSV。今回のデータは検証用に作ったものです。
- 文字化けが起きる割合。UTF-8 を cp932 として読んだ場合の「5 件中 4 件」は、今回の 5 つの名前での結果で、一般的な割合ではありません。
- 文字コードの自動判定。
出典
- csv — CSV file reading and writing — Python 3 documentationPython Software Foundation ・ 確認日 2026-11-22