CSVの文字コードと改行が混ざったとき、Pythonの標準の読み込みで何が起きるか

公開

この記事の問い取引先から届くCSVは、文字コードや改行の作り方がファイルごとに違うことがあります。Pythonの標準の方法で読んだとき、エラーで止まって気づける場合と、止まらずに中身が変わってしまう場合があると聞きました。実際に何が起きるのか確かめたいです。

結論CSVをPythonの標準の方法で読むと、問題があってもエラーで止まらず、中身が変わったまま読み終わる場合が多いことが分かりました。文字コードを取り違えると名前が別の文字や空文字になり、引用符の閉じ忘れでは後ろの行が飲み込まれました。止まるかどうかは問題の種類によって違うため、読み込みの前後で件数や中身を確かめる備えが要ります。

検証の記録

検証環境
Python 3.12.0(CPython)/ macOS / 標準ライブラリ csv(csv.reader、csv.DictReader)と組み込み open() / データは検証用に作った小さな CSV(数行)/ ローカル実行(費用 0 円、3 回実行して同じ結果を確認)
確認日
2026-11-22
結果
問題のある CSV 11 種類を標準の方法で読むと、エラーで止まらず中身が変わる場合が多かった。cp932 を UTF-8 で読むとエラーで止まったが、UTF-8 を cp932 で読むと今回の名前 5 件中 4 件はエラーなしで文字化けした。errors='replace'/'ignore' はエラーを消す代わりにデータを壊した。open() に newline='' を付けないと欄の中の改行が書き換わり、引用符の閉じ忘れは既定では後ろの行を飲み込み、strict=True でエラーになった。

この記事の位置づけ

この記事は検証の記録です。2026 年 11 月 22 日に、運営者の指示で Claude Code がローカル環境で実行しました。クラウドは使っておらず、費用は 0 円です。検証は 3 回実行して、同じ結果になることを確認しています。

日次の CSV 連携をどう持つかは、別の記事「日次のCSV連携は、Python+AWSで作るか、マネージドな自動化ツールで持つか」で扱いました。この記事はその手前の話で、届いた CSV を Python の標準の方法で読んだときに、文字コードや改行の問題で何が起きるかを確かめたものです。公式ドキュメントの説明と、この検証で観測した結果は、書き分けて示します。

結論の詳細

実行したところ、結果から言えることは次のとおりです。

  1. エラーで止まらずに、違うデータになる場合が多かったです。問題のある入力でも処理が正常に終わるため、件数や中身を自分で確かめない限り気づけません。
  2. 文字コードの間違いは、止まる場合と止まらない場合がありました。cp932 のファイルを UTF-8 として読むとエラーで止まりました。逆に UTF-8 のファイルを cp932 として読むと、今回の名前 5 件のうち 4 件はエラーなしで文字化けしました(この割合は今回の 5 件での結果で、一般的な割合ではありません)。
  3. errors="replace" と errors="ignore" は、エラーを消す代わりにデータを壊しました。ignore では名前が空文字になりました。
  4. shift_jis と cp932 は別のものとして扱われました。shift_jis では「①」「髙」が読めずに止まり、「~」はエラーなしで別の文字になりました。
  5. open() に newline="" を付けないと、欄の中の改行が書き換わりました。行数は合うため、気づきにくい変化です。
  6. 行で分割する読み方は、欄の中に改行があると行数が変わりました。csv.reader は正しく読めました。
  7. 引用符の閉じ忘れは、既定では後ろの行を飲み込みました。strict=True を付けると、エラーで止まりました。
  8. 列の数が合わない行は、エラーになりませんでした。DictReader では、足りない値が None に、余った値がキー None の下に入りました。

編集部の判断では、備えは次のようになります。読み込みの前後で件数を比べること(行数が想定と違う時点で止める)。見出しの名前を想定と照合すること(BOM のケースは見出しの不一致で気づけます)。文字コードは送り元ごとに決めて明示し、errors="replace" や errors="ignore" で握りつぶさないこと。読み込みは open(newline="") と csv.reader で行い、行で分割して読まないこと。引用符の不備を止めたい場合は strict=True を使うこと。列の数が合わない行はエラーにならないため、列数の確認を別に入れることです。

適用条件

この検証の結果が言えるのは、次の条件の範囲です。

項目

内容

言語

Python 3.12.0(CPython)

OS

macOS

使ったもの

標準ライブラリの csv(csv.reader、csv.DictReader)と、組み込みの open()

データ

検証用に作った小さな CSV(数行)。実行のたびに作り、終わったら消す

ほかのバージョン、ほかの OS、ほかのライブラリでの挙動は、この検証では確認していません(「制約と、確認していないこと」を参照)。

具体例

問題のある CSV を 11 種類用意し、標準の方法で読んだとき、「エラーで止まる」「エラーなしで、違うデータになる」「正しく読める」のどれになるかを記録しました。

#

入力

読み方

結果

1

先頭に BOM が付いた UTF-8

encoding="utf-8"

エラーなし。最初の見出しが id ではなく、見えない文字が付いた別の名前になり、row["id"] で取り出せない

1

同上

encoding="utf-8-sig"

正しく読める

2

cp932(Shift_JIS)のファイル

encoding="utf-8"

エラーで止まる(UnicodeDecodeError)

2

同上

encoding="utf-8", errors="replace"

エラーなし。「佐藤」が � の並びになる

2

同上

encoding="utf-8", errors="ignore"

エラーなし。「佐藤」が空文字になる

3

UTF-8 のファイル

encoding="cp932"

名前 5 件のうち 4 件はエラーなしで文字化け(「佐藤」→「菴占陸」)。1 件(「高橋」)はエラーで止まる

4

cp932 のファイルに「①」「髙」

encoding="shift_jis"

エラーで止まる

4

cp932 のファイルに「~」(全角チルダ)

encoding="shift_jis"

エラーなし。別の文字「〜」(波ダッシュ)になる

4

上の 3 文字

encoding="cp932"

正しく読める

5

引用符の中に改行がある欄

open(newline="") + csv.reader

正しく読める(4 行。欄の中の改行もそのまま)

5

同上

open()(newline 指定なし)+ csv.reader

エラーなし。行数は合うが、欄の中の \r\n と \r が \n に変わる

5

同上

行で分割(splitlines())

エラーなし。4 行のはずが 6 行になる

6

行末が CRLF・LF・CR で混在

csv.reader

正しく読める(4 行)

6

同上

\n で分割

エラーなし。2 行が 1 行にくっつき、\r が値に残る

7

列が足りない行

csv.reader

エラーなし。その行だけ要素が 2 つのリストになる

7

同上

csv.DictReader

エラーなし。足りない列の値が None になる

7

列が多い行

csv.DictReader

エラーなし。余った値が、キー None の下にリストで入る

8

引用符の閉じ忘れ(後ろに別の引用符がある)

csv.reader

エラーなし。次の行を飲み込み、6 行のはずが 5 行になる

8

引用符の閉じ忘れ(後ろに引用符がない)

csv.reader

エラーなし。ファイルの最後までを 1 つの欄として飲み込み、6 行のはずが 3 行になる

8

上の 2 つ

csv.reader(strict=True)

エラーで止まる

9

空の行

csv.reader

空のリスト [] が返る

9

同上

csv.DictReader

エラーなし。空の行は飛ばされる

10

1 つの欄が 200,000 文字

csv.reader

エラーで止まる(上限は 131,072 文字)

11

00123、1e3

csv.reader

文字列のまま読める。先頭の 0 は残る

11

00123

読んだあとに int()

エラーなし。123 になり、先頭の 0 が消える

根拠

観測結果の根拠は、上記の実行結果そのものです。検証は 3 回実行して同じ結果になることを確認しています。

公式ドキュメントの説明との対応は次のとおりです。公式ドキュメントによると、csv で読むファイルは newline='' を付けて開くものとされています。この検証でも、newline="" を付けた場合は引用符の中の改行がそのまま読め、付けない場合は欄の中の改行が書き換わりました。また公式ドキュメントによると、strict は、真にすると不正な CSV 入力で例外を出す設定で、既定は偽です。この検証でも、既定では引用符の閉じ忘れがエラーにならず、strict=True でエラーになりました。さらに公式ドキュメントによると、DictReader では、列が多い行の余った値はキーを指定する restkey(既定は None)の下にリストで入り、列が足りない行の値は restval(既定は None)で埋められます。観測した「キー None の下にリスト」「足りない値が None」は、この説明と一致します。

制約と、確認していないこと

この検証では、次のことは確認していません。

  • Python のほかのバージョンや、ほかの OS での挙動。open() に encoding を指定しない場合の既定の文字コードは環境によって変わりますが、今回はすべて明示して検証しました。
  • pandas、polars など、ほかのライブラリでの挙動。
  • 大きなファイル(数百万行)での所要時間やメモリの使用量。
  • EUC-JP、UTF-16 など、ほかの文字コード。
  • 実際の業務システムが出力した CSV。今回のデータは検証用に作ったものです。
  • 文字化けが起きる割合。UTF-8 を cp932 として読んだ場合の「5 件中 4 件」は、今回の 5 つの名前での結果で、一般的な割合ではありません。
  • 文字コードの自動判定。

出典

  1. csv — CSV file reading and writing — Python 3 documentationPython Software Foundation ・ 確認日 2026-11-22