2026.11.01 / Agent Memories

社内トレーニングで効くAI記憶の品質測定｜続きから動ける運用設計

AIを使う社内研修で、受講者が「前回の注意点を覚えている」と答えても、実務で同じ誤りを避けられるとは限りません。AIが研修メモを参照して正しい文章を返すことと、受講者が理由を理解して作業できることは別です。記憶の品質を測るなら、教材の暗記量より、迷った場面で根拠を探し、必要な確認を挟めるかを見たいところです。

研修の到達点を作業で表す

まず研修の課題を、実務に近い小さな作業に分けます。たとえば架空の経費精算の研修なら、領収書の情報を整理し、社内規程の該当箇所を示し、不足資料を担当者へ尋ねるところまでが一つの課題です。承認や振込までを練習に含める必要はありません。練習用の資料と本番の申請先を分離したうえで評価します。

評価表には「規程を参照した」「適用日を確かめた」「分からない条件を質問した」といった観察できる行動を書きます。「十分理解した」だけでは、採点者が違うと判定も変わります。正答の文章だけでなく、途中の判断を残すと、AIの助言のどこに頼り、どこを本人が確かめたかを検討できます。

支援ありと支援なしを分ける

最初の試行

研修前の試行では、参照してよい教材と制限時間をそろえます。所要時間、質問の回数、誤った規程を選んだ箇所を記録します。早く終わった人だけを高く評価すると、確認を省略する行動を褒めてしまうかもしれません。安全上必要な照合ができたかを、速度とは別に採点してください。

記憶を使う試行

次はAIに前回の指摘を参照させ、同程度の難しさの別問題を解きます。同じ問題を再利用すると、答えを覚えた効果と、記憶の運用が改善した効果を区別しにくくなります。条件が違う問題を用意できない場合は、その制約を結果に添え、性能向上を断定しません。

本人だけで説明する試行

AIの回答を見たあとで、受講者に判断理由を自分の言葉で説明してもらいます。説明のうまさと業務の正確さも同一ではないため、実際の選択と照らし合わせます。AIが正解を提示しただけなのか、受講者が次の場面で使える知識を得たのかを、別の欄に残す方法です。

誤想起を採点に含める

AIが古い教材の規程を持ち出した場合、回答が流暢でも正答には数えません。どのファイルのどの日付を参照したかを確認し、更新後の資料と照合します。記憶が見つからず質問を返した場面と、見つからない部分を推測で埋めた場面も分けます。確認のための保留は、誤った断定とは違う結果です。

誤想起率を計算するときは、分母を先に決めます。全回答数なのか、記憶を参照すべき設問数なのかで数値の意味は変わります。少数の研修結果から部署全体への効果を推定せず、誤りの具体例を添えると、教材や参照先の修正につなげやすくなります。

測定記録の由来を残す

OpenClawの公式説明では、記憶をワークスペースのMarkdownファイルへ保存します。保存した内容を確かめられることは、研修で何を参照したかを調べる手がかりになります。ただし、保存済みであること自体が、必要な場面で正しく参照した証明になるわけではありません。

W3C PROV-Oは、情報にあたるEntity、処理にあたるActivity、関与者にあたるAgentなどで由来を表す語彙です。研修なら教材、回答、採点、採点者の対応を考える参考になります。ここで示す研修評価の手順そのものをW3Cが定めているわけではありません。

採点から教材の修正へ進む

誤りを見つけたら、受講者への注意だけで終えず、教材の説明不足、AIの参照先の誤り、課題の曖昧さを切り分けます。たとえば更新日の違いを見落としたなら、教材の冒頭へ適用期間を示す案が考えられます。修正後は別の問題でも同じ迷いが減るかを確認し、変更の前後を区別して記録します。

NIST AI RMFは、Govern、Map、Measure、Manageという機能でAIのリスク管理を整理しています。研修でも、測った点数を並べるだけでなく、誰が改善を決めるかまで結びつける参考になります。特定の合格点や研修期間が、この枠組みから一律に決まるものではありません。

受講者の記録を扱う範囲

評価に不要な氏名や相談内容を、共有のAI記憶へそのまま残さないようにします。個別の成績は閲覧範囲を限定し、共有教材には匿名化した誤りの傾向と改善策だけを載せる方法があります。匿名化しても少人数の出来事から本人が分かる場合があるため、共有前の確認は必要です。

次の研修では、今回修正した説明が役立ったかを確かめる課題を一つ用意してください。評価対象を広げすぎず、改善した箇所と変わらなかった箇所を区別すれば、記憶の追加件数とは別の形で研修の成果を追えます。

採点表を引き継ぐ際は、未実施の課題を空欄のまま残し、誤答のゼロと区別します。受講していない人を習得済みと扱わず、再確認する対象と担当者を明記してください。研修の支援と人事評価に同じ記録を使うかどうかも、利用目的として先に確認しておきます。