Theme
運用して評価する
導入後の品質評価、監視、費用管理で、何を記録し、どの時点で見直すかを判断できます。
- 設計・実装
Slackの週報を自動で要約したとき、決定事項の抜け漏れをどう評価するか
- 問い
- Slack の会話から週報の下書きを自動で作るようにした。要約は自然に読めるが、その週に決まったことが抜けていないか不安がある。抜け漏れをどうやって確かめればよいか。
- 結論
- 週報の出来は、文章の読みやすさではなく、その週に決まったことが全部入っているかで評価します。そのためには、人が作った「その週の決定事項の一覧」を先に用意し、自動で作った週報と1件ずつ突き合わせて、拾えなかったものと、決まっていないのに書かれたものを分けて数えます。一度測って終わりにせず、使うモデルや会話の形が変わるたびに、同じ一覧で測り直せるようにしておくことが要点です。