生成AI企業は、パンツに厳しい。
少し誤解を招く表現かもしれないが、画像生成AIを使ったことがある人なら意味は分かるだろう。
露出の多い服装。
年齢判断の難しい人物。
性的なニュアンスを含む構図。
ときにはユーザー自身も理由を理解できないまま、生成を拒否されることがある。
もちろん、それ自体は理解できる。
未成年者保護は重要だ。
リベンジポルノも深刻な問題である。
生成AI企業が慎重になる理由は十分に存在する。
問題はそこではない。
私が不思議に思うのは、その執念にも似た慎重さが、別の問題に対してはあまり見えてこないことだ。
例えば詐欺である。
近年、特殊詐欺の被害額は増加を続けている。
投資詐欺。
ロマンス詐欺。
そして警察官や公的機関を装ったなりすまし詐欺。
その被害は、もはや個人の注意力だけで防げる水準を超えつつある。
しかも今、その状況をさらに悪化させる技術が急速に普及している。
生成AIだ。
私は生成AIそのものを問題視したいわけではない。
むしろ逆である。
私は長年にわたり生成AIを使い続けてきた。
その可能性も価値も知っている。
だからこそ、ある疑問が浮かぶ。
もし企業がパンツを見分けるためにこれほどの努力を払えるのなら。
なぜ詐欺師を見分けるためには、同じ熱量が注がれているように見えないのだろうか。
AIは何を手に入れたのか
私はGPT-3に初めて触れた日のことを覚えている。
機械が自然な文章を書く。
それだけで十分に衝撃だった。
その後もGPT-4、GPT-5系、ローカルLLM、音声AIと数多くの技術を触ってきたが、正直なところ、途中から驚きは少なくなっていた。
性能は上がる。
速度も上がる。
賢くもなる。
しかし、それは延長線上の進化だった。
ところが最近、久しぶりに似た感覚を味わった。
GPT-Liveである。
最初に触った時の感想を正直に言えば、少し不気味だった。
AIが賢くなったからではない。
AIが会話に参加していたからだ。
相手の話を聞く。
途中で相づちを打つ。
会話の流れを理解する。
文脈を保ちながら話題を切り替える。
そして人間が話し終わる前に、自然なタイミングで返答を始める。
もはやチャットボットではない。
会話相手である。
もちろん、その能力自体は素晴らしい。
外国語の同時通訳。
企業の受付業務。
高齢者の話し相手。
活用方法はいくらでも思いつく。
実際、多くの人が未来を感じたことだろう。
私もそうだった。
だが同時に、別のことも考えた。
もしAIが受付を担当できるなら。
もしAIが人間を安心させる会話ができるなら。
もしAIが状況に応じて説明を変えられるなら。
それは詐欺師が長年磨いてきた技能と、どこが違うのだろうか。
ここで重要なのは、声ではない。
音声合成でもない。
もっと本質的な変化が起きている。
AIは、人間を説得するために必要な能力を手に入れつつあるのである。
問題は声ではない
AIによる詐欺と聞くと、多くの人は音声クローンを想像する。
家族の声を真似る。
上司の声を真似る。
有名人の声を真似る。
確かにそれも脅威だ。
しかし、それは問題の半分しか見ていない。
本当に危険なのは声ではない。
会話である。
もっと正確に言えば、説得である。
かつて詐欺師は、長い経験の中で人を騙す技術を身につけていた。
相手の反応を観察する。
不安を読み取る。
疑念を打ち消す。
安心させる。
焦らせる。
そして最後に行動させる。
それは一種の技能だった。
優秀な営業担当者や交渉人が持つ能力と、本質的にはそれほど変わらない。
だからこそ簡単ではなかった。
誰にでもできるものではなかった。
ところが今、その状況が変わりつつある。
GPT-Liveを見ていると、それがよく分かる。
相手の言葉を理解する。
会話の流れを維持する。
質問に答える。
話題を修正する。
誤解を解消する。
人間同士なら当たり前の能力だ。
しかし、これらは詐欺師にとっても必要な能力である。
つまりAIは、単に声を出せるようになったのではない。
会話を成立させる能力を獲得したのである。
私は以前、音声AIについて記事を書いたことがある。
その時は主に読み上げ技術として見ていた。
だが今は違う。
問題は音声合成の品質ではない。
感情表現でもない。
声優の代替でもない。
AIが工業化したのは音声ではない。
説得能力である。
かつて優秀な詐欺師だけが持っていた能力が、APIとサブスクリプションで利用できる時代になった。
それが意味するところは小さくない。
なぜなら、人類の歴史において詐欺とは、常に「才能のある少数者」による犯罪だったからだ。
もしその才能が量産可能になったとしたら。
私たちはまだ、その社会的影響を十分に理解していないのかもしれない。
詐欺師の技能がサービス化された日
詐欺という犯罪には、一つの特徴がある。
参入障壁が高いのだ。
もちろん、電話をかけるだけなら誰でもできる。
だが、人を騙すことは簡単ではない。
相手に信用されなければならない。
疑われたら説明しなければならない。
怒られたら引かなければならない。
安心させるべき時には安心させなければならない。
そして最後には、自分の意思で金を差し出したと思わせなければならない。
これは高度な技能である。
実際、詐欺グループの中でも優秀な実行役は貴重だった。
電話口で相手を誘導できる人間は限られていた。
だからこそ組織は育成に時間をかけた。
経験を積ませた。
台本を作った。
会話マニュアルを整備した。
それでも失敗は起きる。
人間だからだ。
疲れる。
感情的になる。
焦る。
失言する。
話の辻褄が合わなくなる。
しかしAIは違う。
疲れない。
感情的にならない。
同じ説明を何百回でも繰り返せる。
会話履歴も忘れない。
知識も失わない。
そして何より、相手の反応に応じて会話を変化させられる。
これは単なる自動化ではない。
過去に起きた産業革命と同じである。
職人が持っていた技能が機械化される。
熟練工しか作れなかった製品が大量生産される。
そして価格が下がる。
人類はそれを何度も経験してきた。
蒸気機関。
織機。
自動車。
コンピュータ。
そして今、同じことが説得能力に起きている。
かつては一部の人間だけが持っていた会話能力が、サービスとして提供され始めている。
私はここに、本当の危険があると思う。
多くの人はAI音声を見て驚く。
本物そっくりの声。
自然な抑揚。
感情豊かな会話。
しかし、それは表面に過ぎない。
重要なのは、その奥で動いている知能である。
人を安心させる能力。
人を信じ込ませる能力。
人を行動させる能力。
それらがソフトウェアになった。
もし受付業務を自動化できるなら。
もし営業活動を支援できるなら。
もしカスタマーサポートを代替できるなら。
同じ能力が詐欺にも利用できることは、避けて通れない現実である。
問題は、AIが悪意を持ったことではない。
AIには主体がない。
AIは善悪を選ばない。
選べない。
だからこそ問われる。
この能力を社会へ解放した主体は誰なのか。
そして、その責任を負う主体は誰なのか。
現実はすでに始まっている
ここまで読んで、
「それは将来の話だろう」
と思った人もいるかもしれない。
だが残念ながら、これは未来予測ではない。
現在進行形の話である。
警察庁の統計によれば、特殊詐欺の被害額は依然として高水準で推移している。
さらに近年は、SNS型投資詐欺やロマンス詐欺といった新しい形態も急増している。
被害額はもはや数十億円や数百億円ではない。
年間数千億円規模に達している。
これは一部の不運な被害者だけの問題ではない。
社会問題である。
もちろん、その全てにAIが使われているわけではない。
そこは冷静に見なければならない。
だが逆に言えば、AIを使わなくてもこれだけの被害が発生しているのである。
そこへ、人間並みに会話できるAIが投入されたらどうなるか。
考えるまでもない。
詐欺師の生産性は上がる。
教育コストは下がる。
経験の浅い実行役でも一定水準の会話ができるようになる。
そして何より、24時間休まず活動できる。
私は以前から、生成AIは多くの仕事を支援すると考えてきた。
実際にそうなるだろう。
受付。
翻訳。
カスタマーサポート。
営業支援。
教育。
医療。
活躍の場はいくらでもある。
しかし忘れてはならない。
優れた技術は、善人だけのものではない。
自動車は物流を発展させた。
同時に逃走車両にもなった。
インターネットは知識を解放した。
同時に詐欺の温床にもなった。
生成AIも同じである。
技術そのものに善悪はない。
だが社会への影響には善悪がある。
そして今、私たちはその影響を目撃し始めている。
ここで重要なのは、AIが危険だと言いたいわけではないということだ。
むしろ逆である。
AIは期待通りに進化した。
問題は、その進化に対して社会の準備が追いついていないことだ。
AI企業。
法制度。
警察。
利用者。
誰もが「便利になる未来」は想像していた。
しかし、
詐欺師も同じ技術を手にする未来
については、十分に議論されてこなかった。
そのツケが、今まさに回ってきているのである。
なぜ詐欺だけ被害者責任になるのか
不思議なことがある。
殺人事件が起きた時、
「殺される方が悪い」
と言う人は少ない。
強盗事件でも同じだ。
「奪われる方が悪い」
とはあまり言われない。
もちろん、防犯意識について語る人はいる。
だが議論の中心は加害者である。
なぜ殺したのか。
なぜ奪ったのか。
どう防ぐのか。
社会はまず加害者を見ている。
ところが詐欺になると空気が変わる。
「なぜ騙されたのか」
「なぜ信じたのか」
「そんな話に引っかかる方がおかしい」
気が付けば、議論の中心が被害者へ移っている。
これは奇妙なことだ。
詐欺も犯罪である。
加害者が存在する。
被害者が存在する。
にもかかわらず、多くの場合、説明を求められるのは被害者の方なのだ。
なぜだろうか。
理由の一つは、詐欺が暴力を使わないからである。
人は殴られていない。
刃物も使われていない。
銀行口座の暗証番号も自分で入力した。
振込ボタンも自分で押した。
そのため、外から見ると被害者が自ら選択したように見える。
しかし、それは本質ではない。
詐欺師が奪っているのは金ではない。
判断力である。
信頼である。
親子の愛情である。
善意である。
人間が社会の中で生きるために必要なものを利用し、それを武器に変えている。
だから詐欺は卑劣なのだ。
もし人が誰も信じなくなれば、詐欺は成立しない。
だが同時に社会も成立しない。
私たちは他人を信じることで生きている。
家族を信じる。
友人を信じる。
銀行を信じる。
警察を信じる。
電話の相手を信じる。
詐欺師は、その信頼を利用する。
つまり詐欺とは、社会そのものを人質にした犯罪なのである。
それなのに、なぜ被害者ばかりが責められるのだろうか。
私はそこに、一種の思考停止があるように思う。
騙された人を笑うのは簡単だ。
自分は違うと思うのも簡単だ。
しかし、もし最新の生成AIが相手だったらどうだろう。
疲れない。
焦らない。
感情的にならない。
何万件でも会話できる。
そして人間の心理を理解しながら話を続ける。
そんな相手に対して、
「騙される方が悪い」
と言い続けることはできるだろうか。
少なくとも私は、そうは思わない。
むしろ問われるべきは逆だ。
なぜ私たちは、
これほど巨大な被害を生み続ける犯罪に対して、
被害者責任論を語り続けているのだろうか。
国家は何を約束したのか
人類は長い間、自分で裁いていた。
家族を殺された者は、相手の家族を殺した。
財産を奪われた者は、力で取り返した。
被害者自身が裁判官であり、執行者だった。
だが、それは終わりのない報復を生んだ。
復讐は復讐を呼ぶ。
殺人はさらなる殺人を生む。
社会は安定しない。
そこで人類は一つの選択をした。
復讐を手放したのである。
ハンムラビ法典は、その象徴の一つだった。
有名な「目には目を、歯には歯を」は、しばしば残酷な法律として語られる。
しかし本来の意味は逆である。
それ以上やるな。
やり返していいのは同じだけだ。
復讐を制限する法律だったのだ。
そして現代国家は、その延長線上にある。
国家は市民に言った。
自分で裁くな。
復讐するな。
代わりに私たちが裁く。
私たちが秩序を守る。
私たちが犯罪者を罰する。
だから暴力を独占することを許してほしい。
それが近代国家の契約である。
私はこの契約自体を否定するつもりはない。
もし復讐が自由に許されれば、社会はすぐに崩壊する。
問題は別にある。
その契約は守られているのだろうか。
特殊詐欺の被害者は少なくない。
被害額は年々膨らんでいる。
組織は巨大化している。
国境を越えて活動している。
そして多くの被害者は、失った金を取り戻せない。
犯人も捕まらない。
捕まっても被害回復は限定的である。
その結果、被害者の元に残る言葉は何だろう。
「気を付けましょう」
である。
もちろん注意喚起は必要だ。
防犯教育も必要だ。
だが、それだけではないはずだ。
国家は被害者に向かって、
「復讐するな」
と言った。
ならば、その代わりに何を提供しているのか。
私はここに違和感を覚える。
詐欺という犯罪は、
人の善意を利用する。
信頼を利用する。
家族愛を利用する。
社会そのものを利用する。
にもかかわらず、
被害者は「勉強代だった」と言われる。
騙される方が悪いと言われる。
自己責任だと言われる。
だが、それは本当に近代国家が約束した姿なのだろうか。
もし詐欺被害がこれほど巨大になり、
しかもAIによってさらに拡大する可能性があるのなら、
国家に求められるのは注意喚起だけではない。
詐欺という犯罪そのものの期待値を下げることである。
被害者を責めることではない。
加害者が割に合わない世界を作ることである。
それこそが、
国家が復讐権を引き受けた理由だったはずだからだ。
AI企業は何を守ろうとしているのか
ここまで私は国家の話をしてきた。
だが、今回の主題はもう一つある。
生成AI企業である。
誤解してほしくない。
私は未成年者保護に反対しているわけではない。
著作権保護にも賛成だ。
プライバシー保護も重要である。
生成AI企業が慎重になる理由は理解できる。
問題は優先順位だ。
生成AI企業は驚くほど高度なガードレールを構築している。
性的表現。
著作権侵害。
ブランド毀損。
なりすまし。
様々なリスクを検知し、拒否し、制限している。
その技術力は疑いようがない。
ユーザーの中には、
「なぜこれが禁止されるのか分からない」
という経験を持つ人も少なくないだろう。
それほど精密な制御が行われている。
だから私は不思議に思う。
なぜ同じ熱量が、
詐欺の工業化に対して向けられているようには見えないのだろうか。
もちろん、企業側にも言い分はある。
詐欺の判定は難しい。
文脈依存である。
小説なのか。
映画の脚本なのか。
防犯教育なのか。
本物の警察なのか。
偽物の警察なのか。
判別は容易ではない。
その説明は正しい。
だが私は別のことを考える。
パンツの判定も簡単ではないはずだ。
著作権侵害の判定も簡単ではないはずだ。
企業はそこへ莫大な投資を行った。
なぜなら守ると決めたからだ。
だから私が問いたいのは技術ではない。
意思である。
何を優先して守ろうとしているのか。
何を後回しにしているのか。
その判断基準である。
ここで重要なのは、
AIを責めたいわけではないということだ。
むしろ私は逆だ。
AIには主体がない。
AIは善悪を判断しない。
正義も持たない。
責任も負わない。
AIは依頼されたことを実行する。
それだけである。
AIは詐欺師の要求を断れない。
少なくとも、自らの意思では断れない。
断るかどうかを決めるのは、
そのガードレールを設計した人間たちである。
だから問題はAIではない。
問題は主体である。
どのリスクを重視するのか。
どのリスクを許容するのか。
どのリスクに投資するのか。
その優先順位を決めている誰かがいる。
私は、その説明を聞きたいのである。
電話が死ぬ日
私には、高齢の親を持つ知人が何人もいる。
彼らが親へ伝えている助言は、驚くほど似ている。
知らない番号には出るな。
留守番電話にしろ。
折り返すな。
怪しいと思ったら一度切れ。
それが最も効果的な対策だからだ。
実際、その通りだろう。
どれほど巧妙な詐欺でも、
電話に出なければ成立しない。
問題は、その対策が意味するものだ。
電話とは本来、人と人をつなぐための道具だった。
家族。
友人。
病院。
学校。
役所。
企業。
私たちは電話を信用することで社会を維持してきた。
だが今、その前提が崩れ始めている。
電話が鳴る。
昔なら受話器を取った。
今はまず番号を確認する。
知らない番号なら無視する。
留守番電話を聞く。
検索する。
本物かどうかを調べる。
これは合理的な行動である。
しかし同時に、
電話という社会インフラへの信頼が失われつつあることを意味する。
詐欺の被害は金額だけではない。
人間不信である。
社会不信である。
そして信頼コストの上昇である。
メールも同じ道を歩いた。
かつて電子メールは便利な連絡手段だった。
だが迷惑メールとフィッシングが蔓延した。
その結果、
SPF。
DKIM。
DMARC。
様々な認証技術が生まれた。
今やメールは大量の防御機構の上に成立している。
電話も同じ未来を辿るかもしれない。
警察からの電話。
銀行からの電話。
行政からの電話。
それらを本当に信用できるのか。
AIによる音声詐欺が広がるほど、
人々は疑い深くなる。
それは自然な反応だ。
しかし、その先にあるのは何だろう。
誰も電話を信じない社会である。
私はそこに、本当の損失があると思う。
AIが奪うのは仕事だけではない。
電話だけでもない。
人間同士の信頼を支えていた前提そのものを揺るがしているのである。
主体は誰か
詐欺師は悪い。
そんなことは改めて論じるまでもない。
問題はその先にある。
国家は何をしていたのか。
AI企業は何をしていたのか。
そして私たちは何を見ていたのか。
AIは詐欺を発明していない。
AIは詐欺を望んでもいない。
AIは善悪を選ばない。
選べない。
AIには主体がないからだ。
だが、主体が存在しないはずがない。
AI企業はガードレールを設計する。
国家は法制度を設計する。
社会はその優先順位を受け入れる。
そこには必ず意思決定が存在する。
だから私が問いたいのは、
AIが危険かどうかではない。
誰がその危険を管理する責任を負うのかである。
パンツは守る。
著作権も守る。
ブランドも守る。
では、
誰が老人を守るのか。
誰が信頼を守るのか。
誰が社会を守るのか。
AIは答えない。
AIには主体がない。
主体があるのは人間だけである。
だから問題はAIではない。
問題は、そのスイッチを握っている主体である。
そして私たちは今、
その主体に説明を求める時期に来ているのではないだろうか。
