自信過剰という問題
AIエージェントはデフォルトで自信過剰です。タスクを与えられれば、それを完遂するために必要な情報、ツール、能力を備えているかどうかにかかわらず、ともかく完遂しようとします。この自信過剰が、もっともらしく見えても誤った出力を生み、十分な文脈なしに行動を取らせ、成功し得ないアプローチに資源を浪費させます。
不確実性を認識し、適切な場面で人間にエスカレーションすることをエージェントに教えることは、最も影響の大きい設計判断の一つです。「これについて確信が持てません。明確化していただけますか?」と言うエージェントは、誤った答えを自信満々に出すエージェントよりも価値があります。
エスカレーションポイントの設計
エスカレーションポイントとは、エージェントが立ち止まって人間の入力を求めるべき具体的な条件のことです。エージェントの指示文に明示的に定義することもできますし、エージェントフレームワーク内のチェックとして実装することもできます。
よくあるエスカレーションポイントには、曖昧な指示(タスクが複数の解釈を許す場合)、情報の欠落(エージェントが持っていないデータが必要で、ツールでも取得できない場合)、影響の大きい行動(取り消せないか重大な結果を伴う場合)、繰り返される失敗(エージェントが複数のアプローチを試したが成功していない場合)があります。
エージェントに与える指示の重要性は計り知れません。「ユーザーのリクエストが曖昧な場合は、進める前に明確化を求めてください」「事実を検証できない場合は、推測する代わりにそう述べてください」といった文を含めることで、エージェントの挙動が適切な謙虚さへと向かいます。
信頼度の推定
一部のエージェントフレームワークは信頼度推定を実装しており、エージェントは計画した行動を実行する前に、自分がどれだけ自信を持っているかを評価します。信頼度が閾値を下回れば、エージェントは行動する代わりにエスカレーションします。
信頼度推定は、モデルに自分の信頼度を評価させるシンプルな方法(意外なほど効果的です)から、複数の推論経路を実行して一貫性を確認する高度な手法(より信頼できますが高コストです)まで様々です。適切なアプローチは、関わる影響度合いによって決まります。影響の小さいタスクであれば自己申告の信頼度で十分です。影響の大きいタスクには、追加コストを払ってでも複数経路の検証が見合います。
助けを求めるUX
エージェントがどう助けを求めるかも重要です。良いヘルプリクエストは具体的です: 「あなたが言及した設定を含むかもしれないファイルを3つ見つけました。どれが正しいか教えていただけますか?」 悪いヘルプリクエストは曖昧です: 「もっと情報が必要です」。具体的なリクエストは、人間が素早く有用な入力を提供する助けになります。
ヘルプリクエストに文脈を添えることも重要です。エージェントが何を試したか、どんな情報を得たか、なぜ詰まっているかを説明することで、人間は有用な指示を出すための文脈を得られます。「ユーザーテーブルへのクエリを試しましたが、結果が0件でした。別のテーブル名を試すべきですか?」と言うエージェントは、ただ「行き詰まりました」と言うエージェントよりはるかに助けやすくなります。
自律性と慎重さのバランス
頻繁に助けを求めすぎるエージェントは煩わしく、自動化の意味を失わせます。一切助けを求めないエージェントは信頼できません。バランスポイントは、用途と中断に対するユーザーの許容度によって変わります。
良い設計パターンは、自律性のティアを定義することです。日常的でよく理解されたタスクは確認なしで進める。普段と違うが低リスクのタスクは通知付きで進める。高リスクや曖昧なタスクは確認のために一時停止する。このティア分けによって、安全な領域では自動化を利かせつつ、重要な領域では人間の監督を維持できます。