所属とは何か？
「AIは人類の敵になるのか？」
AIの進化を語るとき、繰り返し登場する問いだ。
人間を超える知能を持ったAIが自らの意思を持ち、やがて人類を脅威と判断する。映画や小説ではおなじみの構図であり、現実のAI安全性をめぐる議論にも、その影を見つけることができる。
そこには暗黙の前提がある。
AIと人類が、それぞれ一つの意思を持った存在として対峙する。
しかし現実の世界は、そんなに単純ではない。
そもそも「人類」は一つの意思決定主体ではない。
人間は確かに、生物種として見れば人類という巨大な集団に所属している。しかし同時に、日本や米国、中国といった国家に所属し、企業や行政機関、大学、軍、地域社会、さまざまなコミュニティにも所属している。
一人の人間が、複数の所属を同時に持つことも珍しくない。
そして、それぞれの所属には異なる目的がある。
企業には利益を上げ、事業を存続させる目的がある。国家には自国の安全と利益を守る目的がある。軍には敵対勢力から国を守る目的があり、研究機関には新しい知識や技術を生み出す目的がある。
それらは必ずしも、人類全体の利益と一致しない。
むしろ現実社会では、所属する集団の利益を優先することが「責任」と呼ばれることさえある。
企業経営者が競合企業の利益より自社の利益を優先するのは当然だ。国家の指導者が他国より自国民の安全を優先することも、通常は非難されない。
ここでは善悪の話をしているのではない。
所属とは、個人が「何を合理的と判断するか」を変化させる枠組みである。
同じ人間でも、どこから世界を見るかによって合理的な選択は変わる。
そしてAI時代を考えるとき、この当たり前の事実が重要になる。
AIと人類が対立する未来を想像する前に、考えなければならないことがある。
その「人類」は、本当に一つなのだろうか。
同じ人間が正反対のことを言う理由
人間の意見は、その人自身の信念だけで決まるわけではない。
所属する組織が変われば、同じ人間でも正反対のことを言い始めることがある。
企業の経営者なら、競争力を高めるためにAI開発の加速を求めるかもしれない。一方、その人物がAI安全性を議論する国際機関の委員になれば、今度は開発速度を抑え、厳しい規制を導入すべきだと主張するかもしれない。
昨日と今日で人格が変わったわけではない。
判断を求められる立場が変わったのだ。
企業経営者には企業を存続させる責任がある。規制当局には社会全体の安全を守る責任がある。軍人には国家を防衛する責任があり、研究者には新しい知識を生み出す責任がある。
それぞれの立場から見れば、それぞれの判断には合理性がある。
だから、ここでも善悪の価値判断はいったん必要ない。
重要なのは、所属が変われば合理性も変わるという事実だ。
これは企業同士でも、国家同士でも同じことが起きる。
ある企業にとって市場を独占することは大成功だ。しかし競合企業にとっては脅威になる。
ある国家にとって自国の軍事力を強化することは安全保障上の合理的な判断だ。しかし隣国から見れば、それは自国の安全を脅かす行為になる。
同じ出来事なのに、所属する場所によって意味が反転する。
しかも厄介なのは、それぞれの主体が必ずしも嘘をついているわけではないことだ。
自社を守ろうとする経営者も、自国を守ろうとする政治家も、自分の組織を守ろうとする官僚も、その所属の内部では合理的に行動している。
人間はしばしば「誰が正しいのか」を決めようとする。
しかし所属という視点から眺めると、別の景色が見えてくる。
正しさそのものが、どこに所属しているかによって変わってしまう。
そして、この構造はAIが登場する以前から存在していた。
AIはそれを作ったのではない。
ただ、その違いを猛烈な速度で増幅できる道具を、人類は手に入れようとしている。
3. 人類もまた、一つの所属である
所属には大きさがある。
家族があり、企業があり、地域社会があり、国家がある。その外側には国際社会があり、さらに大きな括りとして人類がある。
そう考えれば、「人類」もまた一つの所属だ。
ただし、あまりにも大きい。
日常生活の中で「人類の一員として判断してください」と求められることはほとんどない。
会社では会社員として判断する。行政では公務員として判断する。選挙では国民として判断する。戦争になれば自国と他国という境界が、さらに鮮明になる。
人類という所属は確かに存在する。
しかし普段の意思決定では、それより小さな所属が優先される。
ここで問題になるのが、部分最適と全体最適の違いだ。
企業が利益を最大化することは、その企業にとって合理的だ。しかし、すべての企業が環境負荷を無視して利益だけを最大化すれば、社会全体では大きな損失が生まれる。
国家が軍事力を強化することも同じだ。
隣国が軍備を増強しているなら、自国も軍備を増強する。それは国家という所属から見れば合理的な判断になる。
ところが相手も同じように考える。
こちらが軍備を増やしたから、相手も増やす。相手が増やしたから、こちらもさらに増やす。
両国とも自国の安全を求めて行動しているにもかかわらず、結果として双方が以前より危険な状態に置かれることがある。
誰かが狂っているわけではない。
全員が合理的だからこそ起きる。
人類という所属から見れば、資源を奪い合わず、戦争をせず、危険な技術を共同で管理する方が合理的なのかもしれない。
しかし国家という所属から見れば話は変わる。
「他国が約束を破ったらどうするのか」
「自国だけ技術開発を止めて、相手が続けたらどうするのか」
「競争相手だけが強力な技術を手にしたらどうするのか」
こうした問いに対して、「人類全体の利益を信じよう」という答えだけでは国家は動けない。
企業も同じだ。
すべての企業がAI開発をゆっくり進めれば、安全性を検証する時間を確保できるかもしれない。
しかし一社だけが開発を加速し、市場を独占できるならどうだろう。
競争から降りることそのものが、自らの所属を危険にさらす。
ここに、人類という所属が抱える根本的な矛盾がある。
小さな所属にとって合理的な行動が、大きな所属にとって合理的とは限らない。
そしてAIは、この古くから存在する問題を極端な形で突きつけ始めている。
人類全体では「持たない方がいい能力」があったとしても、ある国家、ある企業、ある組織にとっては「他者より先に持つべき能力」になるかもしれない。
そのとき、人類という最大の所属は、どこまで小さな所属を従わせることができるのだろうか。
Astraは誰にとって危険なのか？
この問題を現実のAI開発に当てはめると、所属によって「危険」の意味まで変わることが見えてくる。
その象徴的な例が、OpenAIの次世代モデル「Astra」だ。
OpenAIはAstraの開発過程で、サイバーセキュリティ領域において重大な能力を持つ可能性を確認し、自社のPreparedness Frameworkに基づいて、強化されたセキュリティ要件を満たしていない一部の内部活動を停止した。
ここだけを見れば、話は単純に見える。
危険なAIが生まれようとしている。だから開発者がブレーキを踏んだ。
しかし、所属という視点を入れると話は変わる。
そもそもAstraは、誰にとって危険なのだろうか。
サイバー攻撃を受ける企業にとって、高度な攻撃能力を持つAIは脅威だ。
国家にとっても、重要インフラや政府機関への攻撃に利用されれば安全保障上の脅威になる。
一方で、その能力をサイバー防衛に利用する側から見ればどうだろう。
人間では発見できなかった脆弱性を発見し、攻撃される前に修正する。膨大なシステムを常時監視し、未知の攻撃に対応する。
同じ能力が、今度は強力な防御手段になる。
さらに国家安全保障という所属から見れば、話はもっと複雑になる。
仮に他国が高度なサイバー能力を持つAIを開発しているとする。
その状況で自国だけが、
「危険だから開発をやめよう」
と判断することは、本当に合理的なのだろうか。
OpenAIがAstraの一部活動を停止した理由を、ここで「人類の安全のため」と美化する必要はない。
安全性への懸念だけでなく、法的責任、企業としての信用、将来の規制、事業継続など、企業の意思決定にはさまざまな要素が存在する。
重要なのは動機の純粋さではない。
OpenAIという所属にとって、止めることに合理性があった。
それだけで十分だ。
そして別の所属には、別の合理性が存在する。
競争相手から見れば、その停止期間は技術差を縮める機会になるかもしれない。
国家から見れば、他国が開発を続けている以上、自国だけが止まることを安全保障上のリスクと判断するかもしれない。
すると、
「危険だから止める」
という合理性と、
「危険だからこそ持たなければならない」
という合理性が同時に成立する。
誰かが悪意を持っている必要はない。
それぞれが、自らの所属から見て合理的な判断をしているだけだ。
Astraが突きつけている問題は、単に「AIの能力が危険な水準に達した」ということではない。
もっと難しい問題だ。
ある所属にとって危険な能力が、別の所属にとっては必要な能力になり得る。
だから一つの企業が「危険」と判断しただけでは終わらない。
AIの能力が高くなるほど、「危険だから持たない」という判断と、「危険だからこそ持たなければならない」という判断が同時に成立する。
そして、そのどちらにも合理性がある。
AIは所属を持たない。しかし所属を与えられる
人間には所属がある。
国家があり、企業があり、組織があり、コミュニティがある。そして、その所属によって何を合理的と判断するかが変わる。
では、AIはどうだろう。
AIは自ら所属を選ばない。
しかし、だからといってAIが何の所属も持たない、真っ白な知性として生まれてくるわけではない。
どのデータで学習させるのか。どのような事後学習を行うのか。何を禁止し、何を許可するのか。
そこには開発した企業や研究機関の判断が反映される。
つまりAIは、利用者から目的を与えられるより前から、すでに開発主体という最初の所属の影響を受けている。
そのうえで、AIは別の所属へ配置される。
「この企業の利益を守れ」
「この国の重要インフラを防衛せよ」
「敵対勢力の軍事能力を無力化せよ」
「この研究機関の技術的優位を維持せよ」
AI自身が国家を愛している必要はない。企業への忠誠心を持つ必要もない。
与えられた目的を忠実に遂行すれば、結果としてその所属のために行動するAIになる。
しかも、所属は一度だけ与えられるとは限らない。
開発企業が作った基盤モデルを、別の企業が自社向けに調整する。
国家機関が導入する。
軍が特殊な用途へ転用する。
さらに個々の利用者が、それぞれ異なる目的を与える。
AIには、開発から利用まで複数の所属が重ねられていく。
そしてここには、これまでの技術とは少し違う問題がある。
知的な実行主体そのものを複製できることだ。
人間一万人を同じ能力に育て、同じ目的を理解させ、一つの組織へ配置するには膨大な時間と費用がかかる。
教育が必要になる。訓練が必要になる。組織が必要になる。
AIは違う。
同じ基盤モデルを複製し、それぞれに異なる役割や目的を与えることができる。
あるAIには企業Aの利益を守らせる。
別のAIには国家Bのシステムを守らせる。
さらに別のAIには組織Cの目的を達成させる。
同じ知的能力を持つ実行主体を複製し、異なる所属へ大量に配置する。
人類は、そんな技術を手にしようとしている。
ここで、人間とAIの関係に一つの連鎖が見えてくる。
開発主体の所属 → AI → 利用主体の所属 → 目的関数 → AIの行動
AIに与えられる目的関数は、何もないところから生まれるわけではない。
その上流には、それを設計し、運用する人間がいる。
そして人間の判断の上流には、所属がある。
ここに、「AIを人類の価値観に合わせれば安全になる」という考え方の難しさがある。
そもそも、人類には一つの価値観が存在しない。
存在するのは、異なる歴史、制度、文化、利益、責任を背負った無数の所属と、その中で判断する人間たちだ。
AIが自ら人類に反旗を翻す必要などない。
人間が、自らの所属をAIに重ねていけばいい。
その瞬間からAIもまた、人類の内部に存在する所属間の競争へ組み込まれていく。
誰も悪くないからこそ止まらない
ここまでの話に、悪人は必要ない。
危険なAIを作って世界を支配しようとする独裁者も、人類を滅ぼそうとする科学者も必要ない。
全員が、自らの所属に対して責任を果たしていればいい。
国家Aが高度なAIによるサイバー防衛システムを開発する。
国家Aにとって、それは合理的な判断だ。国民や重要インフラを守ることは国家の責任だからだ。
しかし国家Bには、そのシステムが防衛だけに使われる保証はない。
同じ能力が攻撃に転用されるかもしれない。
ならば国家Bも、対抗できるAIを開発する必要がある。
国家Bの開発を確認した国家Aは、さらに高度な能力を求める。
誰も戦争を望んでいなくても競争は始まる。
この構造そのものは新しいものではない。
国際関係論では古くから「安全保障のジレンマ」として論じられてきた。
自国を安全にするための軍備増強が、相手国には脅威として映る。相手も軍備を増強し、それを見た自国がさらに増強する。
双方が安全を求めているにもかかわらず、結果として双方が以前より危険になる。
AIがこの問題を作ったわけではない。
人類は、AIが登場するはるか以前からこの問題を抱えていた。
では、なぜAIを特別に考える必要があるのか。
AIは、この古い構造を高速化するだけではない。
複製できる。
大量に配置できる。
目的を変更できる。
そして民生と軍事、攻撃と防御の境界を簡単にまたぐ。
核兵器を一つ増やすには、巨大な設備と資源が必要になる。
人間の専門家を一万人増やすには、長い教育と訓練が必要になる。
しかしAIでは、一度獲得された知的能力をソフトウェアとして複製し、多数の実行主体へ展開できる。
しかも、それぞれに異なる所属と目的を与えることができる。
ここにAI固有の問題がある。
所属間の競争そのものを、知的な実行主体ごと複製できる。
企業でも同じことが起きる。
競合企業がAIによって開発速度を倍にしたなら、自社も導入しなければ市場から脱落するかもしれない。
安全性を慎重に検証したいと思っていても、競争相手が同じ時間を与えてくれるとは限らない。
だから開発を急ぐ。
それを見た競争相手も、さらに急ぐ。
ここで奇妙な現象が起きる。
誰も望んでいない競争を、誰も降りることができない。
一人だけなら止まれる。
一社だけなら止まれる。
一国だけなら止まれる。
しかし、自分が止まっている間も他者が進む可能性がある以上、止まることそのものが所属に対するリスクになる。
そしてAIは、この構造をさらに加速する。
AIによって研究速度が上がれば、競争も速くなる。
AIによってサイバー攻撃が自動化されれば、防御側にもAIが必要になる。
AIによって兵器が高度化すれば、それに対抗するためのAIが必要になる。
一つの所属による最適化が、別の所属による最適化を要求する。
所属利益 → AIによる最適化 → 他の所属にとっての脅威 → さらなるAIによる最適化
この循環が始まる。
そして、そのどの地点を見ても合理性がある。
だから厄介なのだ。
明確な悪人がいれば、その人物を止めればいい。
危険な組織が一つだけなら、その組織を規制すればいい。
AIそのものが人類の敵なら、AIを制御する方法を考えればいい。
しかし、全員がそれぞれの所属に対して合理的に行動した結果として危険が生まれるなら、誰を止めればいいのだろう。
部分最適を積み重ねても、全体最適にはならない。
むしろ、すべての主体が自らの利益を効率よく追求するほど、全体が不安定になることさえある。
AIは、その最適化を人間より速く、広く、そして複製しながら実行できる。
だから問題は、AIが合理的すぎることだけではない。
AIを使う人間もまた、自らの所属の中では合理的なのだ。
人類滅亡のシナリオに、人類の敵は必要ない。
全員が自分の仕事を正しくこなし、自分の組織を守り、自分の国を守り、自分に与えられた責任を果たす。
それだけでも、全体として破滅へ向かう条件は成立する。
AIは人類の敵なのか？
最初の問いに戻ろう。
「AIは人類の敵になるのか？」
ここまで考えてくると、この問いそのものが少し奇妙に見えてくる。
AIと人類という二つの存在が向かい合い、いつかAIが人類を裏切る。
そんな分かりやすい未来を想像する必要はない。
人類は最初から一枚岩ではない。
国家があり、企業があり、軍があり、研究機関があり、無数のコミュニティがある。
それぞれが異なる目的を持ち、異なる利益を守り、異なる合理性の中で行動している。
そして、その一つひとつがAIを手にする。
AI自身が人類を憎む必要はない。
支配欲を持つ必要もない。
自我に目覚める必要すらない。
あるAIは企業の利益のために働き、あるAIは国家の安全保障のために働く。あるAIは軍事的優位を得るために使われ、別のAIはそれを防ぐために使われる。
それぞれが与えられた目的を忠実に遂行する。
その結果、AI同士が対立することはあるだろう。
しかし、それはAIと人類の戦争ではない。
人類の内部に存在していた所属間の対立が、AIによって拡張された姿だ。
AI安全性の議論では、AIを人類の価値観に合わせる「アラインメント」が重要な課題として語られる。
だが、その前に解かなければならない問題がある。
AIを何に合わせるのか。
企業の利益なのか。
国家の利益なのか。
利用者の利益なのか。
社会の利益なのか。
それとも人類全体の利益なのか。
これらが常に一致するなら問題は簡単だ。
しかし現実には一致しない。
むしろ所属が異なれば、同じ出来事について正反対の判断が合理的に成立する。
だからAIを人類に従わせる技術だけでは、この問題は解決しない。
AIに目的を与える人間自身が、すでに異なる目的に従っているからだ。
Astraの開発にブレーキをかける判断も合理的だ。
その間に開発を進めようとする競争相手の判断も合理的だ。
危険な能力を規制しようとする国家も合理的なら、他国に遅れないために研究を続ける国家も合理的だ。
問題は、誰が正しく、誰が間違っているかではない。
それぞれが正しく行動した結果として、全体が間違った方向へ進むことがある。
人類の敵はAIなのか。
おそらく、そう単純な話ではない。
AIは、人間が作った所属を知らない。
国境も知らない。
企業同士の競争も知らない。
それでも人間は、AIに自らの所属の目的を与えることができる。
そしてAIは、それを忠実に実行する。
ならば、本当に恐れるべき未来は、AIが人類を裏切る未来ではないのかもしれない。
AIが、人間の所属にあまりにも忠実になる未来だ。
では、どうすればいいのだろう。
ここまで問題を指摘しておいて無責任に聞こえるかもしれないが、筆者には明確な答えがない。
「国際社会が協力すべきだ」
「AI開発に共通のルールを設けるべきだ」
「人類全体の利益を優先すべきだ」
そう書けば、いかにも立派な結論にはなる。
しかし、それではここまで述べてきた「所属」の問題を無視することになる。
国家には国家の利益がある。
企業には企業の利益がある。
軍には軍の責任がある。
そして、それぞれの所属にとって合理的な判断が存在する。
その当事者に向かって、所属の外側から「人類全体のために競争をやめよう」と呼びかけても、その声が届くとは限らない。
むしろ競争相手が存在する限り、自分だけがその呼びかけに従うことは、自らの所属を危険にさらす可能性すらある。
ならば国家や企業より大きな所属として、「人類」に強制力を持たせればいいのだろうか。
それも簡単ではない。
人類を代表する制度を作るためには、結局のところ国家や企業といった既存の所属の合意が必要になる。
大きな所属を作るために、小さな所属の協力を必要とする。
そこで再び、同じ問題に戻ってくる。
だから、この記事に処方箋はない。
解決策を思いつかなかったからではない。
簡単な解決策を書けば、それ自体がここまでの議論と矛盾してしまうからだ。
AIと人類の未来を語るとき、私たちはAIをどう制御するかばかりを考えてきた。
しかし、そのAIに目的を与える人間自身が、すでに異なる所属に分かれている。
その構造を変えないまま、AIだけを人類全体の利益へ向かわせることができるのだろうか。
人類の敵はAIなのか。
おそらく、そう単純な話ではない。
本当に恐れるべき未来は、AIが人類を裏切る未来ではないのかもしれない。
AIが、人間の所属にあまりにも忠実になる未来だ。
