生成AIに対して、私は長いあいだ、同じことを言い続けてきた。
知らないことは、知らないと言え。
いま振り返れば、それは奇妙な要求だったかもしれない。
GPT-3が登場した当時、世の関心はただ一つ、
「どこまで賢くなったか」「どれだけ答えられるか」にあった。
万能論の時代だった。
AIは何でも知っていて、
何でも答えられて、
人間を置き換える存在になる──
そう信じたい空気が、市場にも、メディアにも、開発現場にも満ちていた。
その中で「分からないと言え」という要求は、
あまりにも地味で、あまりにも水を差すものだった。
実際、評価されることはなかった。
「役に立たない」「弱い」「夢がない」。
そんな反応の方が多かった。
それでも、繰り返し言い続けた。
理由は単純で、それができないAIは、必ず事故を起こすと分かっていたからだ。
時代は流れ、LLMは飛躍的に進化した。
文章は自然になり、
推論は長くなり、
破綻は減った。
だが皮肉なことに、
性能が上がるにつれて、
「知っているふりをする危うさ」が、より目立つようになった。
かつては未熟さゆえの嘘だったものが、
いまや設計と期待が生む嘘に変わりつつある。
そして生成AIは、
遊びや実験の領域を越え、
医療、法務、インフラ、業務判断といった
人の生死や責任に関わる場所へ入り始めた。
ここでは、もはや「AIが間違えた」では済まされない。
問われるのは、
- なぜ止まらなかったのか
- なぜ断定させたのか
- なぜ「知らない」と言わせなかったのか
という、設計そのものだ。
本稿は、AI倫理を語るための文章ではない。
また、特定の企業やモデルを擁護する意図もない。
これは、
- LLMはいま何につまずいているのか
- どこを変えれば改善できるのか
- そして「知らない」と言えることが、なぜ価値になるのか
を整理するための、設計の話である。
あの頃は、ただ虚しい正論だった。
だがいま、「知らないと言えるAI」は、
ようやく現実的な要件になり始めている。
遅すぎるかもしれない。
それでも、避けては通れない。
この文章は、
その地点を確認するための記録だ。
第1章：LLMが「知らない」と言えないのは、技術的制約ではない
最初に、はっきりさせておく。
LLMが「知らない」と言うこと自体は、技術的に難しくない。
モデルは内部的に、次のような状態をすでに持っている。
- 文脈が不足している
- 学習範囲外である
- 最新情報かどうか保証できない
- 複数の仮説が競合している
これらはすべて、確率分布や信頼度として内部に現れている。
つまり、
「分からない」という判断材料は、すでにモデルの中にある。
それを出力として表現しないだけだ。
実装上も難所ではない。
- 不確実な場合に断定口調を抑制する
- 回答を保留し、追加情報を要求する
- あるいは、明示的に「分からない」と返す
特に重要なのが、次の一点だ。
「I don’t know」トークンを強化学習で報酬化する
これは古くから知られている方法であり、
研究的にも実装的にも新規性はない。
それでも長らく採用されてこなかった。
理由は明確だ。
技術ではなく、人間側の評価と期待が、それを拒んできた。
第2章：なぜ「知らない」が抑圧されるのか
──評価・習慣・商売という三つの圧力
LLMが「知らない」と言えない理由は、
モデルの能力不足ではない。
人間側の三つの圧力が、それを許さなかった。
1. 評価の問題──「正直さ」は点にならない
長らくLLMは、次のような指標で評価されてきた。
- 正答率
- 情報量
- 有用性
- 流暢さ
ここに決定的な欠陥がある。
「分かりません」と答えたAIは、
たとえ正直でも、スコアが伸びない。
回答が短くなり、
情報を提供していないように見え、
「役に立たない」と判断されやすい。
結果として、
正直な沈黙より、危うい断定の方が高く評価される。
これは評価設計の歪みだ。
2. 習慣の問題──人間が“知ったかぶり”を学習させる
強化学習（RLHF）の過程では、
人間が「良い回答」「好ましい回答」を選ぶ。
ここで起きる現象は単純だ。
- 断定的
- 具体的
- 自信がある
こうした回答は、
無意識に「良い」と評価されやすい。
一方で、
- 「判断できません」
- 「情報が不足しています」
といった回答は、
誠実であっても選ばれにくい。
その結果、
人間がAIに、
“知らなくても答えろ”と教えてしまう。
これはGPT-3時代に顕在化した問題であり、
決して新しい話ではない。
3. 商売の問題──“賢く見せたい”という誘惑
最後に、もっとも根深い要因がある。
プロダクトとしての都合だ。
- 無料体験では満足度を下げたくない
- 有料との差を露骨に見せたくない
- 「このAIは賢い」と感じさせたい
この条件下で、
- 「分かりません」
- 「未確認です」
が頻発すると、
体験は一気に地味になる。
その結果、
「知らない」と言わせない設計
が、暗黙の最適解になる。
これは技術判断ではない。
マーケティング判断だ。
小結：これはAIの欠陥ではない
ここまでを整理すると、結論は明確だ。
- 技術は対応可能
- モデルは判断材料を持っている
- それでも「知らない」が出てこない
理由は一つ。
人間社会が、それを“価値”として扱わなかった。
LLMが「知らない」と言えないのは、
AIが未熟だからではない。
人間が、正直さを評価しなかったからだ。
第3章：万能論は終わった。これからは「止まれるAI」が勝つ
かつて生成AIは、「どこまで答えられるか」を競っていた。
できるだけ多く、できるだけ速く、できるだけ断定的に。
しかし、その競争はすでに限界を迎えている。
理由は単純だ。
AIが関わる領域が、もはや“間違っても許される場所”ではなくなったからだ。
「賢さ」よりも「止まれるか」が問われる場面
生成AIは今、次のような用途に入り始めている。
- 医療・診断支援
- 法務・契約レビュー
- インフラ運用・監視
- 業務プロセスの自動化（エージェント）
これらの領域で、最も危険なのは何か。
誤答そのものではない。
誤答を“確信をもって出すこと”だ。
ここでは、次の能力が決定的になる。
- 判断不能なときに停止できる
- 情報不足を検知できる
- 人間に判断を戻せる
つまり、
「知らない」と言えること自体が、機能になる。
エージェント化が進むほど、沈黙は価値になる
特にエージェント用途では、
LLMは「答える存在」ではなく
判断フローの一部になる。
このとき、
- すべてを自動で完結させるAI
よりも - 危険な場面で止まるAI
の方が、圧倒的に使いやすい。
なぜなら、
- 止まらないAIは事故を起こす
- 止まれるAIは責任を分離できる
からだ。
ここで評価軸が反転する。
賢く答えるAIより、
正しく止まるAIの方が価値を持つ。
「知らない」を言えないAIは、もう万能ではない
かつてのAI万能論では、
- 分からなくても答える
- 空白を埋める
- 推測を事実のように語る
ことが、強さと誤解されていた。
しかし今、その振る舞いは
危険な欠陥として認識され始めている。
- 誤判断の連鎖
- 責任の所在不明
- 「AIが暴走した」という言い訳
これらはすべて、
止まれなかった設計が生む。
小結：万能である必要は、もうない
LLMに求められているのは、
- すべてを知っていること
ではなく - 知らないことを正しく扱えること
万能であることよりも、
安全に不完全であること。
これが、現在のLLMに突きつけられている
現実的な要件だ。
第4章：「知らない」と言えることが持つ、実務的な価値
ここまでで明らかになったのは、
「知らない」と言えないことがリスクになる、という点だ。
では逆に、
LLMが「知らない」と言えるようになると、
何が変わるのか。
結論から言えば、
それは倫理的な美談ではなく、実務上の価値に直結する。
1. 事故が減る──最も単純で、最も大きな効果
「知らない」と言えるAIは、
事故を起こしにくい。
- 情報不足のまま判断しない
- 推測を事実として提示しない
- 危険な場面でフローを止める
これは当たり前の話だが、
実際のシステム設計では、
この“当たり前”が最も実装されてこなかった。
誤答そのものより、
誤答を断定することが事故を生む。
それを防げるだけで、
LLMの信頼性は一段階上がる。
2. 責任分界が明確になる
「知らない」と言えるAIは、
責任の境界線を可視化する。
- どこまでがAIの判断か
- どこからが人間の判断か
- どの時点で人に戻したのか
これがログとして残る。
結果として、
- AIが勝手に判断した
- 想定外の暴走だった
といった曖昧な説明は通用しなくなる。
これは企業にとって不利ではない。
むしろ、
説明責任を果たせる設計
として、
法務・監査・運用の面で大きな武器になる。
3. 人間の判断が尊重される
皮肉なことに、
「知らない」と言えるAIほど、
人間の判断を軽視しない。
- 分からないときは戻す
- 判断材料が足りないと伝える
- 結論を押し付けない
これにより、
- AIに振り回される
- AIの結論に従わされる
という感覚が減る。
LLMは「決定者」ではなく、
補助者として正しい位置に戻る。
4. 信頼は“積み上がる”
最も重要なのは、ここだ。
断定的で派手なAIは、
短期的には便利に見える。
しかし、
- 一度でも大きく外す
- 「調べたフリ」を見抜かれる
と、その信頼は一気に崩れる。
一方で、
- 分からないときに止まる
- 慎重な姿勢を崩さない
AIは、
使うほどに信頼が積み上がる。
これは数値化しにくいが、
長期運用では決定的な差になる。
小結：「正直さ」はコストではない
ここまで見てきた価値は、
すべて現実的で、地味だ。
- 派手さはない
- デモ映えもしない
それでも、
「知らない」と言えることは、
LLMを“社会の道具”にするための条件
になる。
これは理想論ではない。
運用上の要件だ。
終章：賢いAIより、正直なAIへ
生成AIは、ここ数年で驚くほど賢くなった。
推論は深くなり、言葉は滑らかになり、
かつての破綻は減った。
それでも、なお残る違和感がある。
「知っているふりをするAI」だ。
これは能力不足ではない。
むしろ逆で、能力が上がったがゆえに目立つ欠陥だ。
「AIが暴走した」という言い訳は、もう通用しない
人の生死や責任が関わる場面で、
AIが暴走した
想定外だった
という説明は、成立しない。
問われるのは常に、
- なぜその設計を許したのか
- なぜ止まらせなかったのか
- なぜ「知らない」と言わせなかったのか
AIは暴走しない。
暴走させる設計と運用があるだけだ。
これからの改善は「賢さ」ではない
LLMの未来は、
- パラメータを増やすこと
- 推論を長くすること
だけで決まらない。
むしろ重要なのは、
- 断定しない勇気
- 判断不能を検知する設計
- 正直に沈黙する能力
その象徴が、次の一文に集約される。
「I don’t know」トークンを強化学習で報酬化する
これは小さな変更に見える。
だが意味は大きい。
それは、
- AIに正直さを教える
- 人間側が沈黙を評価する
- 社会が安全を選ぶ
という宣言に等しい。
完全なAIは不要だ
必要なのは、
- すべてを知っているAI
ではなく - 知らないことを正しく扱えるAI
賢く答えることより、
間違えない場所で止まること。
それができて初めて、
LLMは「便利なおもちゃ」から
信頼できる道具になる。
最後に
この話は、
OpenAIや特定のモデルを擁護するためのものではない。
いまのLLMが直面している、共通の課題だ。
そしてその解決は、
新しい魔法ではなく、
驚くほど地味な一歩にある。
知らないことは、知らないと言う。
この当たり前が、
ようやく現実的な要件になった。
賢さの競争を終え、
正直さの実装へ。
それが、LLMの次の進化だ。
