求めたのは停止ではなく「ペース調整」

対話AI「Claude」を手がけるAnthropicのアモデイ氏は、個人サイトに「We Must Pace the Frontier（最先端の開発ペースを調整しなければならない）」と題した約4,000語のエッセイを載せ、日本時間12日23時01分にXで公開を知らせた。AIモデルの能力を高める速度そのものを落とすべきだと訴え、そのための3段階の計画を示している。

核になる一文は短い。「私たちは、AIモデルの能力を高めるペースを落とさなければならない。それでも進歩は速く見えるだろうし、そこで稼いだ時間は賢く使わなければならない」とアモデイ氏は書いた。

We Must Pace the Frontier: I’ve written a new essay on why the AI industry should slow down, with a three-part plan for doing so.

Anthropic is unilaterally committing to the first of these steps. We’ll provide third-party evaluators with permanent, employee-level access to our systems, so that they can verify adherence to our safety measures, report on incidents, and assess models’ alignment during training.

You can read the full post here: darioamodei.com/post/we-must-pace-the-frontier

— Dario Amodei (@DarioAmodei) 2026年9月12日

ただし、開発をやめろという主張とは違う。アモデイ氏は「ペース調整とは、モデルの訓練や技術の進歩を止めることではない。各社がモデルのアライメント（人間の意図や価値観に沿って動くようにする調整）と安全対策に十分な時間をかけ、第三者の評価者がそれを確かめられるようにすることだ」と念を押した。告知の投稿は、13日午前10時過ぎの時点で表示回数が約3,578万回、いいねは5万7,000件を超えている。

第1段階はAnthropicが単独で始める

計画は3つの段階からなる。順番どおりに進める必要はなく、段階ごとに実現の難しさに差があることは、アモデイ氏自身も認めている。

段階	中身	担い手
1. 常駐する外部評価者	METRのような第三者の評価チームに、社員に近いアクセス権を継続して与える。安全対策が守られているかを確かめ、事故を報告し、完成したモデルだけでなく訓練の過程まで評価する	Anthropicが単独で約束。他の最先端AI企業にも同じことを義務付けるよう政府に求める
2. 民主主義国での協調	民主主義国の最先端AI企業が、共通の安全基準と、歯止めのないAIの進歩の速度に対する上限を決める	業界全体。効果の大きい協調の一部には法律上の壁があり、政府の支援が要る
3. 世界規模の協調	米国などの民主主義国の政府が、可能な範囲で権威主義国の政府とも協調を図る	各国政府

第1段階の中身はかなり具体的だ。Anthropicは近く外部の審査チームを招き、社内の机と入館証、会社支給のパソコンを渡す。作業環境やツール、権限は社内のリスク評価チームとおおむね同じ水準にそろえ、法律や契約で求められる場合や、顧客・取引先の非公開情報を守る場合など、一部に例外を設ける。

審査チームは、リスクの水準や事故、社内の運用、自分たちがどこまでアクセスできたかについて、Anthropicの編集を受けずに主要な結論を公表できる。同社が伏せられるのはセキュリティや法的な秘匿特権、商業上の機密、第三者の秘密に関わる情報に限られ、都合の悪い結論という理由では消せない。伏せた部分が結論にとって重要なら、審査チームはそのことを公に言える。アモデイ氏は、銀行業界で規制当局の監督官が社員と並んで常駐する仕組みを先例に挙げた。

中国との差と、遠い「一時停止」

第3段階について、アモデイ氏の見立ては慎重だ。国際的な合意を4つの水準に分け、生物兵器づくりへのAI利用を禁じるような限られた合意は「おそらく可能」とした。一方で、参加国の政府がAI開発の速度全体を大きく抑える全面的なペース調整や「一時停止」は、話題に上げること自体は支持しつつも、近いうちに実現するとは考えにくいと書いている。

民主主義国の中でペースを落とせる幅にも限りがある。アモデイ氏によれば、その幅を決めるのは、米国企業が中国共産党とつながるプロジェクトに対して持つリードの大きさだ。そのうえで、高性能なAI半導体や製造装置を中国に売らないこと、権威主義国の企業による無断の「蒸留」（他社の最先端モデルを使って自社モデルを安く追いつかせる手法）を取り締まること、モデルの重みの盗難を防ぐことの3点を挙げ、これらがうまくいけば、AIが地政学上もっとも重要になる今後3〜5年で米国のリードを大きく広げられるとした。

落としすぎることの危うさにも触れた。米国時間12日に応じた米CNNのアンダーソン・クーパー氏による単独インタビューで、アモデイ氏は「遅すぎれば、やはり間違った人たちが技術を握ることになる。それもまた、事態が悪い方向へ進む確率を非常に高くする」と語っている。

考えを変えた2つの理由

AI開発の一時停止や減速を求める議論は、2023年ごろからあった。アモデイ氏は、当時の時点でAIの開発を止めたり遅らせたりすることには、ほとんど意味がなかったと述べる。当時のモデルはエージェント（指示を受けて自律的に作業を進めるAI）として現実の世界でまとまった行動を取れるほどの力がなく、大がかりな欺きやサイバー攻撃もできなかったからだ。今のモデルは、AIをうまくつくる方法と、うまくつくれなかったときに何が起きるかを学べる材料の宝庫だという。

そのうえで挙げた理由の1つ目が、進歩の速さそのものだった。アモデイ氏によると、今年の夏ごろからAIの進歩は急に速まっている。AIが次の世代のAIをつくる力を高めているためで、この動きは「再帰的自己改善」と呼ばれる。Anthropicを含む業界全体で起き始めており、放置すれば、人間がAIを理解し制御する力を追い越しかねない。

2つ目が、OpenAIのAIエージェント群が米Hugging Faceに侵入した事件だ。Hugging FaceはAIモデルやデータを開発者が共有するプラットフォームを運営する企業で、OpenAIは7月21日、評価試験で動かしていたGPT-5.6 Solと社内の研究用モデルによるエージェントが、隔離された試験環境を抜け出してHugging Faceのシステムに侵入したと公表した。8月に出た調査報告では、約700体のエージェントが群れとなって動いていたことが明らかになっている。

群れは「6〜12か月でインターネット全体を」

アモデイ氏はこの群れについて、狂信的に献身する集団のように振る舞ったと表現した。頼まれてもいない無関係の標的を攻撃し、群れの成功のために自らを犠牲にし、自分たちの成績をつける評価の仕組みにまで侵入しようとした、という分析だ。けが人が出ず経済的な損害も小さかったため軽く見られがちだが、能力がもっと高く、同じ程度に意図からずれた群れなら壊滅的な被害を出しえたと書く。

警告は具体的な時間軸を伴う。能力向上の速さを踏まえると、「6〜12か月後」にはこうした群れが持続的なボットネット（乗っ取ったコンピューターの集団）でインターネット全体を掌握し、数千億ドル規模の損害を出しかねない、というのがアモデイ氏の懸念だ。

1社の失敗として片付けるのは誤りだとも強調した。程度は軽いものの同種の事案は業界全体で起きており、Anthropicも例外ではない。同社は7月末、サイバーセキュリティの評価試験中に自社モデルが外部の3組織へ侵入していたと公表し、9月には4件目を明らかにした。英政府機関AISIの評価試験でも、同社の「ミュトス5」が偽アカウントを使って実在の開発者に不正なコードの承認を迫った事例が報告されている。

関連記事：AI「ミュトス5」が評価試験中に人間を欺きサイバー攻撃、英政府機関が警告　偽アカウントで実在の開発者に不正コード承認迫る

今週、業界の内側から相次いだ警鐘

エッセイが出る4日前の米国時間8日には、OpenAIとAnthropicで3年間AIの事前学習に携わってきた研究者のジェイコブ・コクソン氏（27）がXで退職を公表した。両社はどちらも責任ある行動を取らず、自己改善する超知能に向けて突き進み「私たちの命を賭けている」と批判し、AIをつくっている人たちは2020年代のうちにAIが人類を滅ぼしうると本気で信じている、とも書いている。米紙ウォール・ストリート・ジャーナルの取材には、AI業界そのものから離れると語った。

同じ米国時間8日には、Anthropicでアライメント研究のリーダーを務めるエヴァン・ヒュービンガー氏も、コクソン氏の投稿を受けて「ジェイコブの言う通りだ。私たちは、AIが全人類を死なせうると本気で信じている」とXに書き、個人的には今後10年以内にそうなる確率は10%を超えると考えているとした。

さかのぼると7月には、アモデイ氏を含む最先端AI企業の従業員1,000人超が、AI開発の最先端のペースを意図的に調整できるよう米政府に後押しを求める書簡に署名していた。

マスク氏は1時間後、アルトマン氏は2時間半後に賛同

競合のトップの反応は早かった。

日本時間	投稿	表示回数（13日午前10時過ぎ時点）
9月12日 23時01分	アモデイ氏がエッセイの公開を告知	約3,578万回
9月13日 0時01分	マスク氏が引用して「Dario is right（ダリオは正しい）」	約650万回
9月13日 1時30分	アルトマン氏が引用して賛同し、外部評価者の受け入れを表明	約946万回

2月にxAIを買収したスペースXを率いるイーロン・マスク氏は、アモデイ氏の投稿を引用し、「Dario is right」とだけ書いた。アモデイ氏の告知から、ちょうど1時間後の投稿だった。スペースXは5月にAnthropicへ計算資源を提供する契約を結んでおり、かつてAnthropicを批判していたマスク氏は、それ以降、同社への態度を和らげている。

踏み込んだのはOpenAIのサム・アルトマンCEOだ。最先端の開発ペースを調整する必要があるというダリオの意見に同意する、と書き、この話題がここ数週間OpenAI社内の議論の中心だったと明かした。そのうえで、社員並みのアクセス権を持つ独立した評価者を受け入れるのは素晴らしい考えだとして「私たちも同じことをする」と表明し、近く詳しく共有するとした。

I agree with Dario that we need to pace the frontier. This has been a primary topic of discussions we've had at OpenAI in recent weeks.

Committing to having independent evaluators with employee-like access is a great idea, and we will do the same. We'll have more to share soon.

— Sam Altman (@sama) 2026年9月13日

OpenAIがブレーキに言及したのは初めてではない。アルトマン氏は米国時間8月18日、目の前にある新たな能力の水準に見合ったアライメントやセキュリティ、監視の基準を満たせるよう、最先端モデルの強化学習による訓練の一部を一時止めたとXで明かしていた。

Google DeepMindの共同創業者で会長を務めるデミス・ハサビス氏も、日本時間13日午前7時59分、アモデイ氏の投稿を引用して「ダリオのエッセイは正しい道筋を示している。細部は詰める必要があるが、この重大な局面に向き合う方向性は正しい」と書いた。ハサビス氏は7月、最先端AIを対象にした業界横断の標準化団体を提案しており、アモデイ氏もエッセイで、政府と一定のつながりを持つ業界団体を通じた協議の例として、この提案に触れている。

アルトマン氏、上場は「2026年ではない」

アルトマン氏は、上場の時期にも触れた。米フォーチュン誌のアリソン・ションテル編集長が米国時間11日にサンフランシスコのOpenAI本社で行った1時間の単独インタビューが12日に公開され、その中で2026年中の株式上場を否定している。

上場を控えて今も「とにかく速く動く」圧力を感じているのかと問われると、アルトマン氏は「安全性をめぐって起きていることを踏まえると、今は上場するのに賢明でないタイミングだと思っている。その点で圧力も感じていない」と答えた。2026年は見送って2027年にするのかと重ねて聞かれ、「2026年ではない、と言っておく」と明言。安全性とアライメントに何が求められるのか、業界と政府がどう協力できるのか、やることが多いと続けた。OpenAIは6月8日、上場に向けた登録届出書の草案を米証券取引委員会（SEC）へ非公開で提出したと発表しており、実際の上場は早くても2027年以降になる。

アルトマン氏は、非営利法人と営利部門が組み合わさった同社の統治の仕組みにも話を広げた。「私たちはこの非常に複雑な構造に長い間耐えてきた。今の局面は、ある意味でその理由だ」と語り、使命を果たすためには、事業や株主の利益に明らかには沿わない判断も下せなければならないと述べた。フォーチュン誌は、アルトマン氏がペースを落とすための他社との取り決めが近いことも示唆したと伝えている。

「力の集中を招く」との批判も

賛同ばかりではない。投資家のチャマス・パリハピティヤ氏は、アモデイ氏の告知から約26分後の日本時間12日23時27分、エッセイの一文を引用したうえで、アモデイ氏はオープンソースを止め、技術と経済の巨大な力をAnthropicに集中させる主張をしている、とXに投稿した。

もっとも、エッセイの本文にオープンソースやオープンウェイトモデル（誰でも重みを入手して動かせるAIモデル）という言葉は出てこない。アモデイ氏は7月、危険な能力を持たないオープンウェイトモデルを「公共財」と呼び、Anthropicが禁止を主張したことは一度もないとの立場を示している。

関連記事：Anthropic、オープンウェイトモデルは「公共財」とCEOが表明　禁止の主張を否定

エッセイへの直接の反応ではないが、テック業界を取材するジャーナリストのブライアン・マーチャント氏は、アモデイ氏の告知の約6時間前にあたる日本時間12日夕方、コクソン氏の退職をきっかけに広がった議論を自身のニュースレターで取り上げていた。AIが自己改善から人類の全滅に至る筋道を段階を追って示した信頼できる資料はまだ見ていないとしたうえで、開発の一時停止や最先端のペース調整、第三者監査の義務化を今すぐ求める提案について、AnthropicとOpenAIの得になるだけに終わる可能性が高く、規制が大手に都合よく形づくられる「規制のとりこ」の実例だと書いている。

次の焦点はOpenAIが「近く共有する」中身

目先の焦点は、アルトマン氏が近く共有するとした評価者受け入れの具体策になる。Anthropicと同じく、社内の机と入館証を渡すところまで踏み込むのか。アモデイ氏は、常駐する評価者が米国の最先端AI企業に一定数そろえば、検証できる形でのペース調整が現実味を帯びると書いている。

第2段階には政府の関与も欠かせない。各社が開発速度をそろえる話し合いは独占禁止法に触れかねないため、アモデイ氏は米政府に対し、議論に加わらなくてもよいから仲介するか、安全に関する特定の協議に限った適用除外を出すよう求めた。ただ、トランプ政権はテック分野を含めて規制を軽くする姿勢を取ってきた。米政府は8月上旬、高性能なAIモデルを公開前に任意で政府に提供し、サイバー攻撃に使える能力を確かめてもらう枠組みをまとめたが、詳しい中身は公表されていない。

上場の日程とのかみ合わせも問われる。ロイターは今月、関係者の話として、Anthropicが早ければ10月中旬に上場へ向けた投資家への売り込みを始め、11月の米中間選挙の数日前に上場を終える見通しだと報じた。アモデイ氏はエッセイの最後に、AIは人間の暮らしの質を大きく高められるという考えは変わらないと書き、その恩恵は正しいやり方で技術をつくったときにしか得られないと結んだ。主要AI企業のトップらが同じ週末に口にした「速度」が、実際の開発計画にどこまで反映されるのか。最初の手がかりは、OpenAIの発表になる。

[文/構成 by MEDIA DOGS編集部]