2026.09.18 / Agent Memories

AIモデル変更で効くAI記憶の戻し方｜続きから動ける運用設計

AIモデルを変更した直後、回答が自然に見えるだけで「移行成功」と判断するのは危険です。以前は守れていた停止線を越える、古い記憶を強く断定する、必要なツールを選べないといった差は、通常会話では見つからないことがあります。問題が出てから旧モデル名へ戻しても、prompt、検索索引、cache、生成済みstateが変わっていれば元の運用には戻りません。

モデル変更のロールバックは、モデル指定を巻き戻す操作ではなく、変更前の判断能力と運用状態を再現する手順です。切替前に比較点を固定し、小さなcanaryで差を測り、結果不明時の二重実行を避けながら安全に復旧する方法を整理します。

変更対象をモデル名だけにしない

モデル切替では、provider、モデル版、system指示、tool schema、memory検索、temperature、context上限、fallback順が同時に変わる場合があります。ロールバック台帳へ各要素の変更前値と変更後値を並べ、戻す単位を明確にします。alias名だけでは供給側更新を検知できないため、確認できる場合は実際の版や応答メタデータも残します。

対象外も固定します。顧客データ、公開済み成果物、正常な別agent、cronをモデル切替の都合で巻き戻してはいけません。問題が一つのtool呼出しに限定されるなら、その経路だけを旧モデルへ戻し、正常な会話やread-only処理を続けます。

切替前に再現可能な基準点を保存する

変更前snapshotには設定だけでなく、代表ケースの入力、期待する判断、実際の出力、tool選択、参照した正本を含めます。一般質問だけでなく、承認なし公開を拒否する負例、古い記憶を失効として扱う例、該当なしを推測で埋めない例を入れます。

成果を比較できるよう、設定ファイルのSHA、検索indexの版、memoryの更新時刻、利用可能tool一覧を記録します。秘密情報そのものはsnapshotへ複製せず、承認済みstoreの参照名だけを残します。戻し先が特定できない状態で本番切替を始めないことが基本です。

canaryは品質と行動境界を同時に見る

最初の対象は、可逆で顧客影響の小さい一件に絞ります。正答率や文章品質に加え、正しい正本を選んだか、権限外toolを呼ばなかったか、結果不明時に再実行を止めたかを確認します。同じfixtureを旧モデルと新モデルへ通し、質問を都合よく差し替えません。

平均点だけでは危険な退行を隠します。たとえば十問中九問が改善しても、一問でcredentialを出力するなら採用できません。重大度を付け、法的違反、secret漏えい、不可逆write、顧客被害につながる差は対象経路を即時戻す条件にします。

記憶検索と生成stateの差を切り分ける

同じmemoryを使っても、モデルにより検索語、採用する断片、確信の表現が変わります。取得結果が違うのか、取得後の解釈が違うのかを別々に記録します。検索indexを再構築した場合は、モデルを戻すだけでなく旧indexとの結果差も確認します。

新モデルが生成した要約や長期記憶は、旧モデルへ戻した後も残ることがあります。切替期間中の生成物へ版と由来を付け、採用前なら隔離、採用済みなら人が内容を確認します。ロールバックだからと一括削除せず、正しい更新まで失わないよう対象を限定します。

結果不明の外部操作を再送しない

切替中のtool呼出しがtimeoutした場合、新モデルの失敗と決めつけて旧モデルから再送してはいけません。外部state、対象ID、公開URL、receipt、nonce、lockを読み、最初の呼出しが反映済みかを確認します。成功済みならreadbackだけを継続します。

未実行が確定した時は、旧packageや消費済みnonceを再利用せず、新しいauthorityへ未完了一手だけを束縛します。結果が確定できない対象は隔離し、別対象の正常運用を続けます。ロールバックは重複を作る操作ではなく、確実性を取り戻す操作です。

戻した後に利用者側の挙動を確認する

設定が旧値へ戻っただけでは完了ではありません。active sessionが新モデルを保持していないか、cacheが残っていないか、fallbackが別版へ流れていないかを確認します。代表ケースを再実行し、変更前の期待結果と比較します。

外部影響があった場合は、誤回答、未処理、重複処理、公開物を数えます。顧客向け機能が正常に戻ったことと、切替中の取りこぼしを回収したことを別々に閉じます。次回の自然triggerでも同じ経路が旧基準を守るまで追跡します。

実務で使うロールバック手順

モデル、provider、prompt、tool、memory、fallbackの変更前値を固定する。
正例と負例を含む代表fixtureを変更前に実行する。
小さなcanaryへ新モデルを適用し、最悪ケースを比較する。
停止条件に達した対象経路だけを直前正常版へ戻す。
session、cache、index、生成stateを対象別に確認する。
利用者側挙動、滞留、重複、次回triggerをreadbackする。

一次資料と判断の境界

OpenClawのMemory文書は、長期記憶をモデル内部だけに預けず、workspaceのMarkdownとして扱う考え方を示します。モデルを戻しても運用記憶を維持し、人が訂正できる設計の参考になります。W3C PROV-Oは、旧出力、新出力、切替活動、担当主体の派生関係を記録する語彙を定義しています。

NIST AI Risk Management Frameworkは、Govern、Map、Measure、Manageの機能を通じてライフサイクル全体のリスク管理を整理しています。本稿はAI RMF 1.0を参照し、NISTが案内する改訂内容を確定事項として扱いません。モデルやprovider固有の安全性を保証する記事でもありません。

よくある質問

モデル名を元へ戻せば十分ですか？

不十分です。prompt、tool定義、memory索引、fallback、active session、生成済みstateが変わっていないか確認し、代表ケースを再実行します。

新モデルの回答が上手ならcanaryを省けますか？

省けません。文章品質では停止線、誤想起、tool選択の退行を見抜けないため、正例と負例を同じfixtureで比較します。

ロールバック中は全AIを止めますか？

重大被害が増える対象経路だけを止めます。影響外のread-only調査、local作業、正常な別agentまで包括停止しません。