2026.09.09 / Agent Memories

プロダクト改善で効くAI記憶の品質測定｜続きから動ける運用設計

AIメモリーを製品へ入れた後、「会話が自然になった」という感想だけでは改善を判断できません。覚える件数を増やせば便利になる一方、古い好みの押し付け、別ユーザー情報の混線、訂正されない誤りも増えます。製品改善では、想起の正しさだけでなく、利用者が制御できるか、失敗から戻せるかまで測る必要があります。

ここでは、メモリー機能を取得、利用、確認、修復の四段階に分け、プロダクトチームが週次で追える指標と実験方法を整理します。モデル内部の記憶能力を評価するベンチマークではなく、実際の利用体験を改善するための計測設計です。

最上位指標を「継続利用に役立った割合」に置く

保存件数や検索回数は活動量であって、価値そのものではありません。最上位には「前回情報の再利用によって、再説明の手間が減り、利用者が結果を受け入れたセッションの割合」を置きます。再説明時間、タスク完了率、明示的な役立ち評価を組み合わせると、一つの数字への過適合を避けられます。

ただし継続率だけで成功としないでください。離脱した利用者は誤想起を報告できません。利用継続の指標には、誤った個人化、削除要求、サポート問い合わせの率を対になる安全指標として添えます。

取得品質は正解率と取りこぼしを分けて見る

検索結果に正しい記憶が入った割合と、必要な記憶を見つけられた割合は別です。前者だけを上げると何も返さない安全なシステムに、後者だけを上げると無関係な内容まで大量に返すシステムになります。実利用に近い質問セットを作り、正しい一件、期限切れ、矛盾、該当なしを含めます。

評価単位にはユーザー、言語、利用歴の長さ、記憶カテゴリを持たせます。平均値が良くても、新規利用者や長期利用者だけで悪化していないかを確認します。テストセットの根拠と作成日も保存し、製品変更後に比較可能にします。

利用品質は「思い出した後」の行動で測る

検索が正しくても、回答へ不必要に挿入すれば体験は悪化します。取得された記憶のうち、実際に回答へ使われた割合、利用者が訂正した割合、回答をやり直した割合を追います。特に、古い好みを現在の指示より優先する失敗は、検索精度だけでは検知できません。

採用判断を自動化せず、「現在の明示指示」「確認済みの長期設定」「過去の会話からの推測」の優先順をテストします。過去情報がなくても成立する場面で、わざわざ個人化しないことも品質です。

利用者の制御可能性を時間で測定する

確認画面が存在するだけでは十分ではありません。「自分について何を覚えているか」を見つけるまでの時間、誤りを訂正するまでの操作数、削除後に再表示されないことを確認できる割合を測ります。サポートへ連絡しなければ消せない設計は、機能があっても制御可能とは言いにくいでしょう。

ユーザーテストでは、成功率と所要時間に加え、削除の対象を正しく理解できたかを質問します。会話履歴、要約、長期メモリーが別なら、その違いを画面の言葉で説明できているかも確認します。

改善実験はメモリー単位で割り付ける

A/Bテストでユーザー単位の機能オン・オフだけを比べると、保存済み記憶の差が長く残り、効果の原因を切り分けにくくなります。まずは「確認済みの好み」「作業中の未確定事項」「期限付き予定」などカテゴリを限定し、取得閾値や表示方法を一つずつ変えます。

実験前に成功条件と停止条件を決めます。例として、再説明時間を15%減らしつつ、誤想起訂正率が基準を超えないことを条件にします。数字は自社の基準で決め、結果を見てから都合のよい指標へ差し替えません。

週次ダッシュボードに必要な七つの欄

1. メモリーを使ったセッション数
2. 再説明時間の中央値
3. 正しい取得と取りこぼし
4. 期限切れ・別人・無関係の誤想起
5. 利用者による訂正・削除の成功率
6. 失敗から正常状態へ戻るまでの時間
7. 未解決の問い合わせと影響ユーザー数

集計値の下には代表的な失敗例を数件だけ添えます。数値だけでは「なぜ不快だったか」が失われ、事例だけでは全体規模が分かりません。定量と定性を同じ会議で扱うことが重要です。

一次資料を指標へ結び付ける

OpenClawのMemory overviewは、長期的な要点と日々の詳細を別層で扱い、検索で必要部分を取得する構成を示しています。層ごとの取得率や期限切れ率を分ける参考になります。W3C PROV-Oは、記憶が何から生成され、誰の活動に帰属するかを表すための基盤で、誤りの原因分類に使えます。

NIST AI Risk Management Frameworkは、リスクの把握、測定、管理、統治を反復する枠組みです。本記事の版境界は2023年のAI RMF 1.0であり、個別製品の合格点を指定する文書ではありません。NISTはAI RMF 1.0を改訂中と公表しているため、改訂後の要求を先取りして断定せず、利用時に公式ページで版を再確認します。

よくある質問

メモリーの検索精度だけをKPIにしてはいけませんか？

検索精度が高くても、不要な場面で使う、訂正できない、別人へ混ざると製品価値は下がります。取得、利用、制御、復旧の指標を最低一つずつ持ってください。

評価用の正解データは誰が作りますか？

プロダクト担当だけで決めず、サポート、プライバシー、実際の利用者の視点を入れます。各正解には根拠、確認者、期限を付け、製品仕様の変更時に更新します。

数値が改善したのに苦情が増えた場合はどう判断しますか？

平均値の改善で少数の重大失敗が隠れている可能性があります。苦情をユーザー層と失敗種類で分け、誤想起や削除不能など停止条件に触れるものを優先して調べます。

次に読む記事

評価セットの作り方はAI記憶の品質を評価する方法、想起そのものの改善はAIは「正しく思い出せる」が大事、誤りが競合した時の処置は矛盾するAI記憶を解消する手順へ進んでください。

プロダクト改善で大切なのは、記憶の量を増やすことではなく、役立った場面と傷つけた場面を同じ解像度で測ることです。週次の指標を実際の失敗例へつなぎ、変更を小さく試して戻せる状態を保ちましょう。