元文書を消したら、LangChainの検索索引はどうなるか

公開

この記事の問い社内文書をもとに、質問へ回答する検索の仕組み(RAG)を作っている。元の文書が削除されたり書き換わったりしたとき、検索側の索引は自動で追随するのか。文書の取り込み方を決める設定ごとに、索引に何が残るのかを確かめたい。

結論元文書を消したことを検索の索引に反映できたのは、後片付けの設定(cleanup)が full のときだけでした。ただし full は、渡されなかった文書をすべて索引から消すため、取り込みが途中で止まると索引が空になることがあります。ほかの設定では、書き換えた文書の古い版は消えても、消した文書そのものは索引に残りました。

検証の記録

検証環境
langchain-core 1.8.4 / Python 3.12.0 / 関数 langchain_core.indexing.index / 記録の管理 InMemoryRecordManager / ベクトルの保存先 InMemoryVectorStore / 埋め込みは文章のハッシュから作る偽の値 / source_id_key="source"、key_encoder="sha256" / ローカル実行(クラウド不使用、費用 0 円)
確認日
2026-11-22
結果
cleanup=full のときだけ、入力から消えた文書のチャンクが索引から削除された。full で一部だけを渡すと残りが消え、空の一覧を渡すと索引が空になった。incremental と scoped_full では、渡された文書の古い版は消えたが、消えた文書は残った。指定なしでは書き換えた文書の古い版も残った。架空の文書 5 件(各 2 チャンク)で検証し、2 回実行して同じ結果を確認した。

この記事の位置づけ

この記事は検証の記録です。2026 年 11 月 22 日に、運営者の指示で Claude Code がローカル環境で実行しました。クラウドは使っておらず、費用は 0 円です。再現方法は、検証用ディレクトリで仮想環境を作り、依存パッケージを入れてスクリプトを実行する形で、検証は 2 回実行して同じ結果になることを確認しています。

検証したのは、LangChain のインデックス API(langchain_core.indexing.index)です。文書を取り込んで検索用の索引を作る仕組みで、後片付けの設定(cleanup)によって、索引に古い文書がどう残るかが変わります。公式ドキュメントの説明と、この検証で観測した結果は、書き分けて示します。

結論の詳細

実行したところ、結果から言えることは次の 4 点です。

  1. 入力から消えた文書を索引から消したのは、cleanup が full のときだけでした。incremental と scoped_full は、渡された文書の古い版は消しましたが、渡されなくなった文書のチャンクは残しました。
  2. cleanup を指定しないと、書き換えた文書の古い版も残りました。同じ文書の新しい版と古い版が、索引に同時に存在する状態になりました。
  3. full は、渡されなかったものをすべて消しました。一部だけを渡すと残りが消え、空の一覧を渡すと索引が空になりました。エラーや警告は出ず、関数は削除数を返して正常に終了しました。
  4. incremental と scoped_full は、この検証の 3 通りの入力では同じ結果でした。

編集部の判断では、設定の選び方は次のとおりです。元文書の削除を索引に反映したいなら、full が必要です。ただし full は「渡された一覧が全体であること」が前提になるため、一覧の取得が途中で失敗しても索引が消えないよう、渡す前に件数を確認するなどの備えとセットで使うべきです。incremental や scoped_full を使う場合は、更新された文書の古い版は消えますが、削除された文書は索引に残り続けるため、削除を明示的に索引へ反映する別の仕組みが要ります。cleanup を指定しない運用は、書き換えた文書の新旧が混ざる状態になるため、避けるべきです。

適用条件

この検証の結果が言えるのは、次の条件の範囲です。

項目

内容

ライブラリ

langchain-core 1.8.4

言語

Python 3.12.0

関数

langchain_core.indexing.index

記録の管理

langchain_core.indexing.InMemoryRecordManager

ベクトルの保存先

langchain_core.vectorstores.InMemoryVectorStore

埋め込み

文章のハッシュから作る偽の値(意味の近さは検証の対象外。索引に何が残るかだけを見る)

設定

source_id_key="source"、key_encoder="sha256"

データは架空の文書 5 件(doc-01.txt〜doc-05.txt)で、1 件につきチャンクは 2 つです。最初の取り込み後、索引には 10 チャンクが入ります。ほかの保存先、ほかの記録の管理方法、ほかのバージョンでの挙動は、この検証では確認していません(「制約と、確認していないこと」を参照)。

具体例

最初に 5 件すべてを取り込んだあと、次の 3 通りの入力で 2 回目の取り込みを行い、索引に残ったチャンクを数えました。cleanup の 4 つの設定(指定なし、incremental、full、scoped_full)それぞれで、新しい索引から実行しています。

  • A. 1 件を消し、1 件を書き換えた: doc-03.txt を入力から除き、doc-02.txt の内容を書き換えて、4 件を渡す。
  • B. 一部だけを渡した: doc-01.txt だけを渡す(読み込みが途中で止まった場合を想定)。
  • C. 空の一覧を渡した: 文書を 1 件も渡さない(一覧の取得に失敗した場合を想定)。

A. 1 件を消し、1 件を書き換えた

cleanup

消した文書(doc-03)のチャンク

書き換えた文書(doc-02)の古い版

索引の合計

関数が返した削除数

指定なし

残る(2)

残る(古い版 2 + 新しい版 2)

12

0

incremental

残る(2)

消える

10

2

full

消える

消える

8

4

scoped_full

残る(2)

消える

10

2

B. 一部だけを渡した(doc-01 のみ)

cleanup

渡さなかった 4 件のチャンク

索引の合計

関数が返した削除数

指定なし

残る

10

0

incremental

残る

10

0

full

すべて消える

2

8

scoped_full

残る

10

0

C. 空の一覧を渡した

cleanup

索引の合計

関数が返した削除数

指定なし

10

0

incremental

10

0

full

0(すべて消える)

10

scoped_full

10

0

根拠

観測結果の根拠は、上記の実行結果そのものです。検証は 2 回実行して同じ結果になることを確認しています。

公式ドキュメントの説明との対応は次のとおりです。公式リファレンスによると、full モードでは、読み込み側がデータセットの一部ではなく全体を返す前提であり、そうでないと、消すべきでない文書まで後片付けで消えてしまいます。また scoped_full は、データセット全体を一度に返せない場合に適したモードとされています。この検証で観測した B と C の挙動(full で渡されなかった分がすべて消える)は、公式リファレンスの注意書きと一致します。また、公式リファレンスによると、incremental と scoped_full が後片付けの対象にするのは、今回の取り込みで見たソースに紐づく文書のうち、更新されなかったものだけです。渡されなくなった文書(doc-03)のチャンクが索引に残ったという観測結果は、この説明と一致します。

制約と、確認していないこと

この検証では、次のことは確認していません。

  • 実際の埋め込みモデルや、ほかのベクトルの保存先(Chroma、pgvector、OpenSearch など)での挙動。保存先が ID を指定した削除に対応していない場合の挙動も見ていません。
  • SQLRecordManager など、ほかの記録の管理方法での挙動。
  • 文書が多い場合(数万件)の所要時間。full で、全件を 1 回で渡せない場合の扱い。
  • incremental と scoped_full の違いが出る条件(今回の入力では差が出ませんでした)。
  • langchain-core のほかのバージョンでの挙動。
  • LangChain を使わない仕組み(Amazon Bedrock Knowledge Bases、Azure AI Search など)の挙動は、この記事では扱っていません。

出典

  1. index | langchain_core | LangChain ReferenceLangChain ・ 確認日 2026-11-22