元文書を消したら、LangChainの検索索引はどうなるか
この記事の問い社内文書をもとに、質問へ回答する検索の仕組み(RAG)を作っている。元の文書が削除されたり書き換わったりしたとき、検索側の索引は自動で追随するのか。文書の取り込み方を決める設定ごとに、索引に何が残るのかを確かめたい。
結論元文書を消したことを検索の索引に反映できたのは、後片付けの設定(cleanup)が full のときだけでした。ただし full は、渡されなかった文書をすべて索引から消すため、取り込みが途中で止まると索引が空になることがあります。ほかの設定では、書き換えた文書の古い版は消えても、消した文書そのものは索引に残りました。
検証の記録
- 検証環境
- langchain-core 1.8.4 / Python 3.12.0 / 関数 langchain_core.indexing.index / 記録の管理 InMemoryRecordManager / ベクトルの保存先 InMemoryVectorStore / 埋め込みは文章のハッシュから作る偽の値 / source_id_key="source"、key_encoder="sha256" / ローカル実行(クラウド不使用、費用 0 円)
- 確認日
- 2026-11-22
- 結果
- cleanup=full のときだけ、入力から消えた文書のチャンクが索引から削除された。full で一部だけを渡すと残りが消え、空の一覧を渡すと索引が空になった。incremental と scoped_full では、渡された文書の古い版は消えたが、消えた文書は残った。指定なしでは書き換えた文書の古い版も残った。架空の文書 5 件(各 2 チャンク)で検証し、2 回実行して同じ結果を確認した。
この記事の位置づけ
この記事は検証の記録です。2026 年 11 月 22 日に、運営者の指示で Claude Code がローカル環境で実行しました。クラウドは使っておらず、費用は 0 円です。再現方法は、検証用ディレクトリで仮想環境を作り、依存パッケージを入れてスクリプトを実行する形で、検証は 2 回実行して同じ結果になることを確認しています。
検証したのは、LangChain のインデックス API(langchain_core.indexing.index)です。文書を取り込んで検索用の索引を作る仕組みで、後片付けの設定(cleanup)によって、索引に古い文書がどう残るかが変わります。公式ドキュメントの説明と、この検証で観測した結果は、書き分けて示します。
結論の詳細
実行したところ、結果から言えることは次の 4 点です。
- 入力から消えた文書を索引から消したのは、
cleanupがfullのときだけでした。incrementalとscoped_fullは、渡された文書の古い版は消しましたが、渡されなくなった文書のチャンクは残しました。 cleanupを指定しないと、書き換えた文書の古い版も残りました。同じ文書の新しい版と古い版が、索引に同時に存在する状態になりました。fullは、渡されなかったものをすべて消しました。一部だけを渡すと残りが消え、空の一覧を渡すと索引が空になりました。エラーや警告は出ず、関数は削除数を返して正常に終了しました。incrementalとscoped_fullは、この検証の 3 通りの入力では同じ結果でした。
編集部の判断では、設定の選び方は次のとおりです。元文書の削除を索引に反映したいなら、full が必要です。ただし full は「渡された一覧が全体であること」が前提になるため、一覧の取得が途中で失敗しても索引が消えないよう、渡す前に件数を確認するなどの備えとセットで使うべきです。incremental や scoped_full を使う場合は、更新された文書の古い版は消えますが、削除された文書は索引に残り続けるため、削除を明示的に索引へ反映する別の仕組みが要ります。cleanup を指定しない運用は、書き換えた文書の新旧が混ざる状態になるため、避けるべきです。
適用条件
この検証の結果が言えるのは、次の条件の範囲です。
項目 | 内容 |
|---|---|
ライブラリ |
|
言語 | Python 3.12.0 |
関数 |
|
記録の管理 |
|
ベクトルの保存先 |
|
埋め込み | 文章のハッシュから作る偽の値(意味の近さは検証の対象外。索引に何が残るかだけを見る) |
設定 |
|
データは架空の文書 5 件(doc-01.txt〜doc-05.txt)で、1 件につきチャンクは 2 つです。最初の取り込み後、索引には 10 チャンクが入ります。ほかの保存先、ほかの記録の管理方法、ほかのバージョンでの挙動は、この検証では確認していません(「制約と、確認していないこと」を参照)。
具体例
最初に 5 件すべてを取り込んだあと、次の 3 通りの入力で 2 回目の取り込みを行い、索引に残ったチャンクを数えました。cleanup の 4 つの設定(指定なし、incremental、full、scoped_full)それぞれで、新しい索引から実行しています。
- A. 1 件を消し、1 件を書き換えた:
doc-03.txtを入力から除き、doc-02.txtの内容を書き換えて、4 件を渡す。 - B. 一部だけを渡した:
doc-01.txtだけを渡す(読み込みが途中で止まった場合を想定)。 - C. 空の一覧を渡した: 文書を 1 件も渡さない(一覧の取得に失敗した場合を想定)。
A. 1 件を消し、1 件を書き換えた
| 消した文書(doc-03)のチャンク | 書き換えた文書(doc-02)の古い版 | 索引の合計 | 関数が返した削除数 |
|---|---|---|---|---|
指定なし | 残る(2) | 残る(古い版 2 + 新しい版 2) | 12 | 0 |
| 残る(2) | 消える | 10 | 2 |
| 消える | 消える | 8 | 4 |
| 残る(2) | 消える | 10 | 2 |
B. 一部だけを渡した(doc-01 のみ)
| 渡さなかった 4 件のチャンク | 索引の合計 | 関数が返した削除数 |
|---|---|---|---|
指定なし | 残る | 10 | 0 |
| 残る | 10 | 0 |
| すべて消える | 2 | 8 |
| 残る | 10 | 0 |
C. 空の一覧を渡した
| 索引の合計 | 関数が返した削除数 |
|---|---|---|
指定なし | 10 | 0 |
| 10 | 0 |
| 0(すべて消える) | 10 |
| 10 | 0 |
根拠
観測結果の根拠は、上記の実行結果そのものです。検証は 2 回実行して同じ結果になることを確認しています。
公式ドキュメントの説明との対応は次のとおりです。公式リファレンスによると、full モードでは、読み込み側がデータセットの一部ではなく全体を返す前提であり、そうでないと、消すべきでない文書まで後片付けで消えてしまいます。また scoped_full は、データセット全体を一度に返せない場合に適したモードとされています。この検証で観測した B と C の挙動(full で渡されなかった分がすべて消える)は、公式リファレンスの注意書きと一致します。また、公式リファレンスによると、incremental と scoped_full が後片付けの対象にするのは、今回の取り込みで見たソースに紐づく文書のうち、更新されなかったものだけです。渡されなくなった文書(doc-03)のチャンクが索引に残ったという観測結果は、この説明と一致します。
制約と、確認していないこと
この検証では、次のことは確認していません。
- 実際の埋め込みモデルや、ほかのベクトルの保存先(Chroma、pgvector、OpenSearch など)での挙動。保存先が ID を指定した削除に対応していない場合の挙動も見ていません。
SQLRecordManagerなど、ほかの記録の管理方法での挙動。- 文書が多い場合(数万件)の所要時間。
fullで、全件を 1 回で渡せない場合の扱い。 incrementalとscoped_fullの違いが出る条件(今回の入力では差が出ませんでした)。langchain-coreのほかのバージョンでの挙動。- LangChain を使わない仕組み(Amazon Bedrock Knowledge Bases、Azure AI Search など)の挙動は、この記事では扱っていません。
出典
- index | langchain_core | LangChain ReferenceLangChain ・ 確認日 2026-11-22