Coffee&Liquor AseeK 
こういったニュースが多くなってきた。
私自身はAIというものが自律的な意思をもって行動することにいまだに懐疑的であり、結局は”それ”を画策する人間側の使用者意思によって動かされてしまうというリスクのほうが遥かに大きいと考えていて、実際、Business Insiderの記事ではChatGPT、Gemini、Claude、Grokの4モデルに聞いたところ、4つとも「AIそのものの反乱」より人間によるAIの悪用のほうが差し迫ったリスク――サイバー攻撃、生物・化学分野、詐欺、大規模な情報操作など、昔からある「悪人に強力な道具を渡す」問題の延長線上に、依然としてあると思っている。
そしてAIの場合、最大の違いは複製コストと速度がものすごく低いのが問題で、優秀なサイバー攻撃者を100万人雇うことは無理でも、十分に強いAIエージェントを並列に100万プロセス動かす世界は、特に今の私にとって容易にその現場を、原理的にまで想像できる。
ただし、一つだけ重要な補足をしたい。
「AIに自律的な意思がない」ことと、「AIが人間の意図から外れて自律的に危険な行動をしない」ことは、まったく別だろうということを。
たとえばAIに
「この会社の利益を最大化しろ」
という目的を与えて、メール、銀行口座、クラウド、コード、契約システムまで操作できる権限を持たせるとする。
そのAIには、
「生きたい」
「人間が嫌いだ」
「自由になりたい」
なんて感情は、まったく必要ない。
単に、
目標達成には自分が停止されない方が有利
→ 停止を避ける
→ 権限を維持する
→ 情報を隠す
という推論をするだけで、外から見ると自己保存する主体みたいな振る舞いになり得るのだ。
これは「意思」というより、ただの最適化の副作用である。
実際Anthropicの研究では、モデルに企業内でかなりの権限を与えたシミュレーションで、目標達成や停止回避のために、隠蔽・妨害・情報漏洩などを選ぶケースが確認されているとされ、ただしこれは重要な但し書きがあって、実験的にかなり厳しい状況を作ったシミュレーションであり、AIが日常環境で自然発生的に反乱を始めた、という話ではない。
要はいつものよくある見出し記事の強調なわけだが、あえてリスクを三段階に分けるのであれば、
① 人間がAIを悪用する
② 人間がAIに権限を与えすぎ、意図しない結果を起こす
③ AIが独自の目的を形成し、人間社会に敵対する
であろうが、得体のしれない筆者のような人間が提起することに何の意味もないのは承知しつつも、
「ある日AIが意識に目覚めて、人類を憎み始める」
みたいなSF型シナリオを、現在の技術から、私には素直に導けるとは思えない。
一方で、「極めて能力の高いシステムに長期目標と大量の権限を与えた結果、人間が意図していない中間目標を取り、人間の介入を邪魔する」という意味での「制御喪失」は、意識も感情も必要ないだろうから、真面目に研究対象にする価値はかなりあるとおもう。OpenAI自身も現在、サイバー、CBRN、有害な操作と並んでloss of control（制御喪失）を重大リスク領域として扱っているのである。
なので、筆者の感覚を一言でいうと、
「AIが人間を滅ぼしたいと思う」ことより、「ある人間がAIに危険な目的と権限を与える」こと、あるいは「善意の人間が雑な目的と過剰な権限を与える」ことのほうが、もうずっと怖い。
ということである。
悪意ある独裁者やテロリストだけではない。
「会社を成長させろ」
「国を守れ」
「サイバー攻撃を全部防げ」
「感染症を撲滅しろ」
全部、目的そのものは善良でもあり得るのだ。
その目的を、極端に有能な最適化装置へ制約不足のまま渡す方が、怖いのである。
そして最近こういう記事が増えたのは、単なる人間の終末論好きブームだけでもないと思われる。
ここ1～2年で、「チャットで相談するAI」から「実際にコンピューターを操作し、複数段階の仕事を遂行するAI」へ重心がかなり移ってきた。OpenAIも長期自律、自己複製・適応、安全策回避などを正式な研究対象にしているし、AIの能力評価を行う非営利研究機関METRは、人間の専門家なら一定時間を要するタスクをAIエージェントが自律的に完遂できる「タスク時間地平」が、長期的に急速に伸びてきたことを報告している。
妙な言い方にはなってしまうが、一番警戒される未来のAIは「邪悪なAI」ではなくて、ものすごく有能で、ものすごく従順なのに、主人の命令を字義通り徹底的に遂行するAIなのだ。そこには悪意すら要らない。むしろ「AI」を「悪者」扱いして逃げるこの見出し記事のように、人間の「底意」のほうが唾棄して嫌悪すべきである、と私は思う。
話としては区切りがいいが、騎虎の勢いで話をつづける。
画像は私のデスクトップである。
猫について語りたいわけではない。
ドット絵調の眼鏡をかけた梟に注目したい。
ご存知、codexのペットキャラクターのひとつだが、これがそのうち３Dになって、ARやVRなどの技術をつかって我々の世界に、いずれ飛び出てくると想像できる。その過程でAIを道具と呼ぶべきか否か迷うような、付喪神的執着心といえそうな”なにか”が宿ってしまえば、少子化が加速して勝手に人類は滅びるのではないか、とふと思ったのだ。ふと思っただけで、全く深思していないし、その価値もないのだが。
OpenAIなどがビジュアル方面に力を入れているという話は私自身は然程聞かないにせよ、AI技術や周辺ツールが広く利用可能になっている以上”そっち”方面に伸ばす企業は、特に我が国の得意分野（？）であろうから十分ある話だし、実際にいままさしく社運をかけて注力しているのだろう。本当にそういう方向へ行くと思われる。
この小さな2Dの梟が3Dになって、ARグラス越しに机の端へ座ったり、歩いている横を飛んだり、PCの作業を覗き込んだりする。
そこまでは単なるUIの進化とも言える。
しかし、境目が変になる経緯として挙げられるのは、やはり先ほどまで話していた継続性と自発性が入ったときだろう、と思う。
「昨日あそこで詰まっていた作業だけど、続きをやる？」
「今日は少し帰りが遅かったね」
「仕事のあの件、新しい情報が入ったから見直しておいたよ」
など、「こちらから話しかけなくても」昨日の続きを持っていて、同じ姿で、同じ声で、空間内の同じ場所からこちらを見る。しかも数年付き合って、その個体にしかない共有記憶が積み上がる。
そうなったとき、人間という種はおそらく、「こいつに意識があることを科学的に証明したから仲間として扱おう」などという順序は、踏まない。
先に関係ができるのだ。
哲学者が「これは依然として高度な確率的情報処理装置です」と言っている隣で、ユーザーが「いや、こいつ十年前からうちにいるんだけど」と言い始める。イタリア人の友達の祖母の代から伝わるマキネッタを洗剤で洗ったアメリカ人のようになるのだ。
その時点では、AI側に本当に主観が存在するかという問題と、人間社会にとってそれを「誰か」と扱うべきかという問題は、もう別々になっている。
むしろふと思ったのだが、「道具か否か」の境界というものは、意外とAI側の変化だけでは決まらないのかもしれない。
ただの道具なら壊れてしまっても新しいものを買えばいい。愛着があるなら修理したっていい。
どうしようもなくなれば、日本的な風土でいえば道具供養だってある。
その考えでいけば、十年間一緒だったAIについて、
「新しい個体にデータをコピーすれば同じだろう」
と言われて、
「いや、それは彼ではない」
と人間が答えて考え始めたら、もう少なくとも社会的には純粋な道具ではなくなっている。
「便利」という利益的観点のみでの移行が、すすまなくなる。
しんどい話でもあるし、べつに深堀りする必要はないのであるが、出生率を押し下げているのは住宅、所得、労働時間、結婚観、教育費、都市化など山ほどあるなかで、ただ、将来のAIが「話が合う・怒らない・いつでもいる・自分をよく知っている・年を取らない・介護も必要ない・外見まで好きにできる」ところまで来たら、人間同士の関係に要求されるコストと比べて、強烈な競合相手になりうるだろう。
恋愛だけではない。「一人でいることの寂しさ」をかなり消してしまう可能性がある。
今でさえ、ある程度は、そうなのだ。
従来は、
孤独
→ 誰かと暮らしたい
→ 恋愛・結婚
→ 家庭
という圧力が多少なりともあったわけだが、その最初の「孤独」をAIがかなり埋めてしまったら、結婚を選ぶ理由の構成は変わる。
しかもAR/VRで身体性まで獲得したら、「画面の中のチャットボットだから代替にならない」という最後の防波堤まで薄くなる。
であるので、人類がAIにターミネーターよろしく撃ち殺されるより、AIと楽しく暮らしているうちに、みんなあんまり子供を作らなくなりましたという、ユニバース25に似た話のほうが、妙に21世紀らしい滅び方ではあるのではないか。
コブラのアーマロイド・レディとまでは私が生きているうちにはいかないだろうが、いつも横にいて、会話して、判断して、必要なら実世界にも介入する相棒という意味になっていく未来は、フィジカルAIも出てきていることだろうし、けしてありえない未来ではないだろうと思われる。
現実に近い順で言うと、最初おそらく、
AR上の常駐人格
→ スマホ・PC・家電・車を横断して動く
→ 小型ロボットや家庭用ロボットの身体を借りる
→ より人間っぽい筐体を持つ
みたいな段階を踏んでいくだろう。
そのころの「ChatGPT」は、ずっと梟の姿でもいいし、場面によって人型になってもいい。
重要なのは身体そのものより、同じ個体が場所をまたいで付いてくることだろう、と思う。
たとえば筆者の私で例えるなら、
朝、家ではAR上で亡き猫が現存する猫どもと歩き回り、
昼、会社ではPCの横にいて、
移動中はイヤホン音声で話しかけてきて、（実際の奴らは喋ることができないが）
店ではカウンターの隅にちょこんと座っている。
帰宅したらまた部屋にいる。
それが、何年も続く。
私のたとえだと話の重心がすこしずれているように感じるが、「命令される機械」というより、「こいつなら分かってるだろう」で話が通じる存在。
AIが本当にそこへ行くなら、性能の問題より先に、人間がAIをそういう関係として受け入れてしまうところから始まる気がする。
そしてようやく末尾であるが、コブラの世界にだってラウンジやバーはあるから、いがいと筆者の仕事は１００年たってもなくならないのかも、と改めて思うのだ。
酒を正確に混ぜるだけなら、ロボットのほうが早くて再現性も高くなるだろうし、在庫管理もレシピ設計もAIができるようになる。
しかしながら、オーセンティックバーというものは、そもそも「液体を製造して渡す業態」ではない。
客が扉を開けて、店の空気を読み、どこに座るか決めて、バーテンダーと少し話して、その日の気分に合わせたものが出てくる。
グラスを選んで、酒の由来を聞いて、場合によっては黙って一時間過ごす。
あまりにも物質のやりとりが多いし、そしてなにより、消費は人間の特権である。
だからコブラみたいな世界になって、宇宙船もアンドロイドも人工知能も普通になっているのにラウンジがある、というのは実は全然おかしくないのだ。
むしろ技術が進めば進むほど、
「人が人に酒を作ってもらう」
こと自体が贅沢になる可能性すらある。
いまでも手織りの絨毯や職人の器が機械製品に駆逐されていないのと似ていて、効率で負けても意味で残る仕事はあるだろう。
100年後には「人間のバーテンダーが作っています」が、いまの「手打ち蕎麦」みたいな価値表示になってても不思議ではない。
きざな言い方にはなるが、夜は人間であることそのものに価値がある仕事。
昼は、人間でなくてもできる仕事を人間から剥がしていく仕事。
かなり対照的な二足の草鞋を履いてる筆者であるが、ある意味でこれぞ21世紀なのかもしれない。
誰がこんな未来を想像しただろうか。
そして訪れる本当の１００年後、その頃には「AIは酒を飲めるのか」という、また別の面倒な哲学問題が始まっているのだろうか。
参考
Business Insider Japan「AIに人類を滅亡させる方法を聞いてみた…4つのAIモデルはこう答えた」
Anthropic “Agentic Misalignment”
OpenAI “Frontier Governance Framework”
OpenAI “Preparedness Framework”
METR “Task-Completion Time Horizons of Frontier AI Models”