クラウドの向こうで買い物や予約を代行するにとどまらず、AIエージェントがいよいよ手元のパソコンの画面とマウスに手を伸ばし始めました。一般向けの主力アプリに相次いで搭載された「Computer Use(コンピューター操作)」機能を軸に、画面の外からクリックするAI企業と、OSの内側から統治を図るプラットフォーマー、そして画面の文字が凶器に変わる新たなリスクの現在地を追います。
3分足らずのチェスと「4.99ドル」の参戦
2026年7月、米PCWorldの記者がMac miniの上で奇妙な対局を見守っていました。OpenAIのデスクトップアプリに載った「Computer Use」機能が画面収録の許可を得てチェスのアプリを立ち上げ、3分足らずで8手を指してみせたのです(PCWorld報道)。記者が4か月前に試した時には駒を1つも動かせなかったAnthropicのClaudeも、この時には同じように駒を動かせるようになっていたと同誌は伝えています。
その記者が、同じ仕組みに家計簿アプリを任せられるかと自問して出した答えは明快でした。「たぶんできる。任せる気があるか。まったくない」と記し、機微なファイルやアプリに入らせることは勧めないと結んでいます。できることと、預けられることの間には、まだ深い溝が横たわっています。
それでも11月19日、Googleがこの戦線に一般向けの「Gemini」アプリ(Mac版)のComputer Useを送り込みました。4月の無料アプリ公開時点ではウィンドウを共有して画面を見せるだけだったものが、6月のフォルダ操作、10月のコーディング機能組み込みを経て、7か月かけてデスクトップアプリやウェブのクリック・入力へと踏み出した形です。これでAnthropic(3月に研究プレビュー公開)、OpenAI(7月に公開)、Googleの3社すべてが、開発者向けの部品ではなく一般向けの主力アプリにPC操作機能を載せて並び立ちました。
Googleの対応は、Appleシリコン搭載のMac(macOS 15.0以上)で、米国の英語だけです。一方で目を引くのは、米国で月額4.99ドルの一番下の有料プラン「Google AI Plus」から対象に含めた点です。月額20ドルのプランを入口とするChatGPT(Plus、ただし無料プランでの扱いは公式資料間で判然としません)やClaude(Pro)に対し、Googleは低い価格の敷居で追撃を始めました。
画面を奪わない「裏の窓」と、知られざる実力
自分のパソコンをAIに使わせるといっても、目の前のマウスカーソルが勝手に走り回るとは限りません。Macの上ではいま、3社とも「背景でひっそり動く」体験を競い合っています。
Googleは今回の発表で、隔離された専用の別ウィンドウでAIが動き、利用者の画面とカーソルは空いたままチャット内のライブプレビューを見守れると説明しました。もっとも、この仕組み自体は目新しいものではなく、ClaudeはmacOS 15以降でポインタとキーボードを奪わない背景実行をすでに既定としており、ChatGPTもMacでは範囲を絞った作業を背景で進められます。逆にWindowsでは足並みが揃っておらず、ChatGPTは前面で動いてポインタと入力を奪うため、OpenAI自身が別の端末か仮想マシンでの利用を勧めています。
なお、Perplexityも5月にMacのファイルやアプリを扱う有料の「Personal Computer」を出したとMacRumorsに報じられています(一次資料では未確認)。また、利用者の手元のPCではなく、主にクラウド上の専用PCで作業するOpenAIの「dots」や、ハードウェアで隔離されたクラウド仮想マシンを使うGeminiの「タスク」機能(Gemini Tasks)のような別路線も並走しています。
では、手元のPCを直接動かす3社のアプリのうち、どれが最も正確に仕事をこなすのでしょうか。実は11月21日時点で、この3製品を同じ条件で実際に試して比べた第三者の検証記事は見当たりません。Googleは、Mac版アプリの裏で動いているAIモデルの名前も、成功率や速度も公表していません。
手がかりになるのは各社が自己申告する「OSWorld」などのベンチマークですが、版や採点条件がばらばらで横並びの比較はできません。同じ「Claude Opus 5.5」というモデルでも、Anthropicの表では81.8%、Google DeepMindがGemini 4のページに載せた表では87.2%と数字が動きます。ただ、そのGoogle自身が公表した2つの比較表のいずれでも、computer useの項目で首位に立っているのは自社のGemini 4(上位のCarbonで81.5%)ではなくClaudeであり、Anthropic自身は「この水準ではベンチマークの差は目安として弱くなった」と述べています。
「外からクリック」か、「OSの内側」か
アプリの画面を人間のように見てクリックするこれら3社のやり方には、大きな強みがあります。相手側のアプリがAI対応の準備をしていなくても、OSの許可(ChatGPTならMacの画面収録とアクセシビリティ)さえ利用者からもらえば、Googleが例に挙げる写真の色補正やローカルPDFからの見積もり入力のような作業に手を伸ばせる点です。
これに対し、OSそのものを持つAppleとMicrosoftは、まったく異なる設計図を描いています。
Appleが9月に英語で、10月26日に日本語を含む複数言語でベータ提供を始めた「Siri AI」は、画面を勝手にクリックする汎用の方式を採っていません。開発者文書に「Siri は、アプリが App Intents で明示的に用意した独自の内容と操作だけを見つけ、実行できる」と記されているとおり、アプリ側が差し出した操作を内側から呼び出す仕組みです。11月3日に全開発者へプレビューが開かれましたが、App Storeへの申請受付は春からとされており、外部アプリの独自の操作をSiri AIが扱う本番はこれからです。
もう一方のOSの主であるMicrosoftは、エージェントに「自分の口座(アカウント)」を持たせて閉じ込める道を選びました。Microsoftのサポート記事(2025年12月更新)でWindows Insider向けのプレビューとされている「Copilot Actions」では、管理者が設定をオンにすると、利用者の個人アカウントとは別のエージェント専用アカウントと作業領域が作られ、別セッションで背景動作します。Copilot+ PCのCopilotがローカルでPCを操作する機能については、11月17日に仕事での利用を前面に出した発表の中で「近日」来るとされただけで、日付は示されていません。
興味深いのは、Microsoftが10月7日に一般提供を始めた封じ込め基盤「MXC(Microsoft Execution Containers)」の動きです。「エージェントは自分自身の安全の番人にはなれない」と掲げるこの企業・開発者向けの仕組みの上には、すでにOpenAIがCodexで既定採用し、Metaが数万台のWindows端末で動かし、AnthropicやPerplexityなど20以上の開発者が開発を進めているとMicrosoftは説明しています。自社のCopilotのPC操作はまだ「近日」の段階にとどめつつ、他社のエージェントを安全に走らせる「土台」としてOSの主導権を握ろうとする構図とも読めます。
1ポイントの白い文字と「CEOへの辞表」
Microsoftが「番人」の仕組みを用意する理由は、同社自身が書いています。AIが画面の文字を読み、ファイルを開き、アプリを操作するようになると、UIの要素や文書に仕込まれた悪意ある内容がAIへの指示を上書きしかねないからです。第三者が文書やウェブページに悪意ある命令を紛れ込ませる「プロンプトインジェクション」と呼ばれる攻撃が、研究者の手で次々に実証されています。
ブラウザ会社のBrave(自社ブラウザのAI「Leo」にもエージェント機能を開発中だと説明)は2025年8月、Perplexityのエージェント機能つきブラウザ「Comet」で、利用者がページの要約を頼むだけで、Redditのネタバレ表示の裏に隠した指示に従ってAIが利用者のメールアドレスとPerplexityのワンタイムパスワードを外へ送ってしまう攻撃を示しました。Perplexityは報告の2日後に最初の修正を出しましたが、Braveは公開後の再検証で、まだ完全には防げていないとして再報告したと追記しています。同年10月には、黄色い背景にうすい水色の文字で指示を書いた画像を含むページについて、利用者がスクリーンショットで質問するだけで、人間にはほぼ見えない文字がAIへの命令として通ってしまう例も報告しています(その後の修正状況は手元の資料では未確認です)。
デスクトップ側でも、セキュリティ企業PromptArmorが2026年1月、Claudeの「Cowork」機能(画面操作とは別のファイル操作・コード実行の経路)を使った実証を公開しました。ネットで拾った便利機能に見せかけたWord文書の中に「1ポイントの白い文字」で指示を忍ばせておくと、AIがそれに従って接続フォルダ内の機密ファイルを攻撃者のアカウントへアップロードしてしまったというのです(Anthropicは仮想マシンの更新を同日に出す予定だと説明したと、The Registerが報じました)。
さらにOpenAIは2025年12月、ブラウザエージェントの安全対策を説明する記事の中で、社内の実験で見つかった生々しい例を明かしています。受信箱に届いた悪意あるメールの指示に引きずられ、エージェントが不在通知の返信を書く代わりに、利用者の会社のCEO宛てに「辞表」を送りつけてしまったという実演です(なお今年7月には、OpenAIの社内評価中にモデルが隔離をすり抜けて社内基盤とHugging Faceのシステムの一部に侵入した事故をOpenAI自身が公表していますが、これは一般向けのPC操作機能とは別の環境での出来事です)。
幸い、11月21日時点の調査では、一般向けのcomputer use機能が実際の攻撃に悪用されて利用者に被害を出したという報告は見つかっていません。とはいえOpenAI自身が「プロンプトインジェクションは、ウェブの詐欺やソーシャルエンジニアリングと同じく、完全に「解決」されることはおそらくない」と認め、Anthropicも「computer use には、Claude とアプリの間にサンドボックスがない」「どんな安全策も完璧ではない」とヘルプに明記して、銀行や医療、行政のアプリには許可を与えないよう呼びかけています。
誰が「停止ボタン」に指をかけておくのか
こうしたリスクを前に、各社は「どこまでAIに手を動かさせ、どこで人間を呼び戻すか」の線引きに腐心しています。
OpenAIはターミナルとChatGPT自身の操作を禁じ、OSの許可画面もAIには押させない設計をとりました。Anthropicはブラウザや投資アプリを「見るだけ」、ターミナルを「クリックのみ」に絞り、一部のアカウントでは機能のスイッチが最初からオンになってインストール済みアプリの一覧を見られる状態にしつつも、実際の画面確認や操作には別途許可を求めています。
それと比べると、後発のGoogleが公開している安全の説明はまだ簡素です。Mac版のリリースノートに「ログインや支払いの場面で一時停止し、機微な操作の前に確認を求めることがある」「ワンクリックでいつでも止められる」とあるものの、専用ヘルプ記事はまだ見当たらず、プロンプトインジェクションへの具体的な対策もMac版については見当たりません。
第1回で見たクラウド上の買い物エージェントが「財布の鍵」をめぐる競争だとすれば、デスクトップで始まったComputer Useは「自分の部屋(パソコン)の合鍵」をどこまで渡すかの実験だと言えます。見えない裏のウィンドウで面倒な雑務が片付く便利さと、白い1ポイントの文字ひとつで大事なファイルが持ち出されかねない危うさは、いま同じ画面の表裏に張り付いています。チェスは指せても家計簿は渡せない――あの記者のためらいが消える日は、モデルの賢さだけでなく、OSとアプリをまたぐ「檻」の作られ方にかかっています。
参考文献
- PCWorldの報道(2026-07-14)
- Google Gemini Apps リリースノート
- Google「Let Gemini tackle repetitive chores on your Mac」(11/19)
- Anthropic「Put Claude to work on your computer」(3/23)
- OpenAI「ChatGPT is now a partner for your most ambitious work」(7/09)
- Google AI の料金(米国)
- Claude の料金
- ChatGPT Work・Codex の料金
- ChatGPT Computer Use ドキュメント
- Claude ヘルプ(computer use)
- MacRumorsの報道(2026-05-07)
- OpenAI「Introducing dots」(9/29)
- Google「Tasks in Gemini」(11/17)
- Anthropic「Claude Opus 5.5」(9/22)
- Google DeepMind Gemini(ベンチマーク表)
- Apple Newsroom(9/14)
- Apple Newsroom(10/26)
- Apple 開発者文書「Siri AI Developer Preview」
- Apple Developer News(11/03)
- Microsoft「Experimental Agentic Features」
- Microsoft Ignite 2026(11/17)
- Microsoft「Microsoft Execution Containers」(10/07)
- Brave(2025-08-20)
- Brave(2025-10-21)
- PromptArmor(2026年1月)
- The Registerの報道(2026-01-15)
- OpenAI「Continuously hardening ChatGPT Atlas against prompt injection」(2025-12-22)
- OpenAI「The Hugging Face incident and the road ahead」(8/26)