一言で言うと
AIの失敗は「間違える」ことだけではありません。「分からないときに確認せず、それらしく埋める」という傾向は、業務での実害につながる構造的な問題です。
何が起きているのか
研究者たちはProactiveBenchという新しい評価基準を使い、22種のマルチモーダルAIモデルが「必要な視覚情報が欠けているとき、ユーザーに確認を求めるか」を検証しました。結果は明確で、ほぼすべてのモデルが確認を求めず、推測で答えを埋めていました。
この傾向の根っこにあるのは、生成AIが `事実を確認してから答える機械` ではなく、`与えられた情報から次にもっともそれらしい出力を作る機械` として学習されていることです。基礎学習では、大量の文章や画像と言葉の対応をもとに、「次に自然な単語や説明は何か」を予測します。そのため、情報が足りない場面でも、立ち止まるより `もっともらしい補完` を出す方向へ動きやすくなります。
実用化の段階ではさらに、「役に立つ」「会話が止まらない」「一度で答えを返す」といった振る舞いが好まれやすく、追加学習でもその方向が強まりがちです。逆に、「ここが見えないので画像を拡大してください」「情報が不足しているので判断できません」と立ち止まる行動は、明示的に教え込まない限り強く身につきません。特にマルチモーダルAIでは、画像や文書の一部が欠けていても、残った手がかりから意味を埋めようとするため、この傾向が表に出やすくなります。
ただし研究では、強化学習（RL: Reinforcement Learning）で少し改善できることも示されています。つまり、「確認する」という行動をモデルが選べるよう追加学習することで、この傾向を部分的に修正できます。
AI業界の文脈では
この問題は、AIを業務に使うとき特に深刻です。業務では、曖昧な入力や情報不足の状況が日常的に発生します。そのときAIが「分からない」と言えず、自信満々に間違った答えを出し続けるなら、ミスの発見が遅れ、気づかないまま判断に使われるリスクが高まります。
特に画像や文書が不鮮明な場合、データが欠損している場合、曖昧な指示のまま処理が走る場合など、「情報が足りない状況」でAIがどう振る舞うかは、導入設計の核心です。
私の見立て
AIが「確認を求めない」傾向を前提に、業務フローを設計する必要があります。
現時点では、AIが自分から「分からない」と言ってくれることを期待するより、人間が確認フローを設計する方が現実的です。例えば、AI出力に対して「信頼スコアが低いときはフラグを立てる」「人間が必ずレビューするステップを挟む」「曖昧な入力は別ルートに流す」といった仕組みを、AI側に任せず運用側で用意することが求められます。
→ 何が変わるか: AIの信頼性評価において、「正答率」だけでなく「情報不足時に適切に立ち止まれるか」が重要な指標になります。
→ 何をすべきか: AIを業務に組み込む際は、入力が不完全な場合の動作を事前に確認し、人間によるレビューステップや確認フローを設計段階から組み込むべきです。