Slackの週報を自動で要約したとき、決定事項の抜け漏れをどう評価するか

公開

この記事の問いSlack の会話から週報の下書きを自動で作るようにした。要約は自然に読めるが、その週に決まったことが抜けていないか不安がある。抜け漏れをどうやって確かめればよいか。

結論週報の出来は、文章の読みやすさではなく、その週に決まったことが全部入っているかで評価します。そのためには、人が作った「その週の決定事項の一覧」を先に用意し、自動で作った週報と1件ずつ突き合わせて、拾えなかったものと、決まっていないのに書かれたものを分けて数えます。一度測って終わりにせず、使うモデルや会話の形が変わるたびに、同じ一覧で測り直せるようにしておくことが要点です。

この記事の位置づけ

この記事は公式資料に基づく解説です。編集部が週報の自動化を実際に試した結果ではありません。扱うのは、自動化の出来をどう確かめるかという評価の設計で、用意するものと、数え方と、続ける仕組みを整理します。特定のモデルや要約機能で実際にどれくらい抜けるかは、測っていません。

結論の詳細

週報の評価で最初にすべきことは、何を測るのかを分けることです。要約の文章が自然に読めることと、その週の決定事項が全部入っていることは、別のものです。読みやすい要約でも、決定事項が 1 つ抜けていれば、週報としては失敗です。編集部の判断では、週報の出来はまず網羅性、つまり決定事項の抜け漏れで評価し、読みやすさはその次の軸として扱います。

網羅性を測るには、正解を先に用意します。人が作った「その週の決定事項の一覧」がなければ、自動で作った週報から何が抜けたのかを判定できません。評価は、この一覧と週報を 1 件ずつ突き合わせる作業になります。

数えるときは、失敗を 2 種類に分けます。

  • 抜け: 正解の一覧にあるのに、週報に入っていないもの。
  • 作り話: 週報に書かれているのに、実際には決まっていないもの。

週報ではどちらも困りますが、対処が違います。抜けが多いなら、要約に渡す会話の範囲や、決定事項を拾う指示の見直しが要ります。作り話が多いなら、生成を抑える指示や、週報の各項目に元のメッセージへのリンクを必須にするなど、根拠を示させる工夫が要ります。2 つを混ぜて「正解率」のような 1 つの数字にすると、どちらが悪いのか分からなくなります。

自動化しない選択肢もあります。決定事項だけは、人がスレッドに印(絵文字のリアクションやピン留め)を付けて確定させ、自動の要約はそれ以外の話題の整理にだけ使う分担です。決定事項の件数が少ないチームでは、全部を自動で拾うより、この分担のほうが確実で、評価の仕組み自体も要らなくなる場合があります。

適用条件

この評価の設計が当てはまるのは、次の条件です。

  • Slack の 1 週間分の会話(チャンネルやスレッド)から、週報の下書きを自動で作っている。Slack の要約機能を使う場合でも、自前で大規模言語モデルに要約させる場合でも、評価の設計は同じです。
  • 決定事項が週に数件から数十件程度で、正解の一覧との全件の突き合わせが現実的な規模であること。件数が多い場合は、正解を作る対象を一部のチャンネルや週に絞ります。
  • 評価の対象は、要約に渡した会話の中での決定だけです。会議や口頭など、会話の外で決まったことは入力に含まれないため、拾えなくても自動化の失敗には数えません。この線引きを先に決めておくことが前提になります。

具体例:評価の手順

評価は次の順序で行います。

1. 「決定事項」の定義を決める

定義がぶれると、正解の一覧も評価もぶれます。含める範囲を先に固定します。たとえば次のように線を引くことが考えられます(最終的には現場で決めるものです)。

区分

例

含める

決まったこと(方針や仕様の決定)。保留になったこと(決めないと決めたこと)。担当者と期限が付いた作業

含めない

雑談や感想。まだ決まっていない案の列挙。質問だけで終わった投稿

担当者と期限を決定事項の一部として扱うかどうかも、ここで決めます。週報に担当と期限まで載せる運用なら、正解の一覧にも属性として持たせ、週報側に欠けていれば「一部が抜けた」として数えます。

2. 正解データを用意する

その週の会話を人が読み、定義に合う決定事項を一覧にします。決めることは 3 つです。

  • 誰が作るか: 週報の読み手に近い人、または週ごとの当番。作る人が変わると一覧の粒度が変わるため、定義と例を文書で残します。
  • どの粒度で作るか: 1 件を 1 つの決定とします。1 つのスレッドで 2 つ決まれば 2 件です。
  • 何週分か: 最初は数週間分を用意し、評価のたびに同じものを使い回します。新しい週の分は、通常の週報づくりのついでに少しずつ足します。

3. 突き合わせて数える

自動で作った週報の項目と、正解の一覧を対応づけ、次の 3 つに分けて数えます。

区分

意味

拾えた

正解にあり、週報にもある

抜け

正解にあるが、週報にない

作り話

週報にあるが、実際には決まっていない

抜けの割合は「抜けの件数 ÷ 正解の全件数」で表します。割合だけでなく件数も一緒に残します。週によって決定事項の総数が違うため、割合だけでは変化の意味が読み取りにくいからです。

4. 結果を残し、測り直せるようにする

週ごとの結果(正解の全件数、拾えた件数、抜け、作り話)を記録します。使うモデルや要約への指示、会話の形(スレッドの使い方など)が変わったときは、同じ正解データでもう一度測ります。最初に一度測って終わりにすると、変更で良くなったのか悪くなったのかが分かりません。

根拠

公式ドキュメントによると、Slack には会話の要約機能があり、チャンネルやスレッドについて、未読分、過去 7 日分、期間を指定した要約を作れます。未読チャンネルの要約を自動で届ける Recap という機能もあります。つまり「要約を作る」手段は製品側にも用意されていますが、作られた要約に決定事項が全部入っているかを確かめる仕組みは、別に用意する必要があります。

評価の枠組みについては、LangChain の公式ドキュメント(LangSmith の評価)によると、入力と期待する出力の組を集めたデータセットを用意し、実際の出力と比べて正しさを測る方法が説明されています。また、バージョンが変わっても同じデータセットで測り直す回帰テストという考え方も示されています。この記事の「正解データを先に用意する」「同じ正解で測り直す」は、この枠組みを週報の評価に当てはめたもので、編集部の判断として提案しています。

制約と、確認していないこと

  • 編集部で週報の自動化そのものを実行してはいません。特定のモデルや Slack の要約機能で、実際にどれくらい抜けるかは測っていません。
  • 正解の一覧を作る手間は、現場の会話量に依存します。作る人によって一覧がぶれる可能性があり、その度合いは確認していません。
  • 要約に渡す会話の範囲(どのチャンネル、どのスレッドを渡すか)の決め方で結果は変わります。入力に含まれない決定は、原理的に拾えません。
  • Slack の要約機能を使えるかどうかは、公式ヘルプによると契約しているプランによって異なります。

出典

  1. Guide to AI features in SlackSlack ・ 確認日 2026-11-22
  2. Evaluation concepts | LangSmithLangChain ・ 確認日 2026-11-22