Gemini Computer Useが​一般提供へ​──画面操作AIの​仕組みと​業務への​使い方

Googleは2026年10月30日、Gemini APIの「Computer Use」を一般提供（GA）にしました。画面の画像を読み、クリックや文字入力などの操作を選ぶ機能です。企業はこれを使って、ブラウザ上の入力や確認を進めるAIエージェントを開発できます。^[1]

業務への入口は、毎日繰り返している画面操作です。 たとえば、決まった情報をフォームへ入力し、確認画面まで進める作業が考えられます。この記事では、何が一般提供になったのか、操作が動く仕組み、入力業務の組み立て方、導入時に決めておくことを整理します。

以下は2026-10-31時点の公式資料に基づく解説です。業務例と導入手順はCAGの設計案であり、Gemini Computer Useを実行した記録ではありません。日本語画面の操作精度、処理時間、実行費用は未検証です。

Gemini Computer Useは、画面を手がかりに次の操作を決めるための機能です。「この欄へ入力する」「このボタンを押す」といった操作の候補をモデルが返し、利用側が用意したプログラムが実行します。APIは、アプリからAIを呼び出すための接続口を指します。^[2]

利用者が完成済みのアプリを入れる形とは、導入の手順が違います。Googleが提供するのは、操作を判断するモデルとAPIの仕組みです。画面の取得、ブラウザの操作、ログイン、処理の停止などは、利用側の実行環境として組み込みます。^[2]

今回のニュースは、一般提供への移行です。ブラウザ・モバイル・デスクトップへの対応や、操作の意図を返す仕組みは、2026年6月24日のプレビュー更新にも載っています。以前からある機能と、今回変わった提供段階を分けて見ると理解しやすくなります。^[1]

Googleの公式ガイドは、フォーム入力の繰り返し、Webアプリの操作テスト、複数サイトを使った調査を用途に挙げています。身近な仕事に当てはめるなら、まず「どの画面で、何を入力し、どの状態になれば完了か」を説明できる作業から候補を探せます。^[2]

動作の中心は、画面と操作を往復する流れです。アプリが現在の画面と作業指示をAPIへ送り、モデルが次の操作を返します。アプリが操作を実行したら、変化後の画面を再び送ります。モデルが返した操作は、その時点では提案であり、実行するのはアプリ側です。^[2]

モデルの応答には、操作の理由を表すintentや、安全に関する判断が含まれる場合があります。利用者の確認が必要なら確認画面につなぎ、禁止された操作なら実行を止める処理が必要です。公式ガイドも、この判断を受け取って扱うことを求めています。^[2][3]

画面を毎回取り直せるため、入力欄に値が入ったか、ページが切り替わったかを次の判断材料にできます。ただし、画面が変わったことと、業務が正しく完了したことは別々に確かめます。後者には、入力した値や受付番号など、仕事ごとの完了条件が必要です。

たとえば、登録ボタンを押した後に通信が途切れる場合を考えます。同じ操作をもう一度すると、重複登録になる可能性があります。CAGの導入案では、完了を確認できないときは処理を止め、登録済みかを人が確認する手順を用意します。再試行の回数を増やすだけでは、この問題は解決しません。

具体例として、練習用の商品一覧にある品名・数量・希望日を、テスト用の発注フォームへ転記する作業を考えます。ここではAIに入力と確認画面への移動を任せ、発注の確定は人が担当する設計にします。これは仕組みを説明するための架空の業務例です。

最初に、元の情報と入力先の対応を決めます。「数量」はどの欄か、日付はどの形式か、必須項目が空ならどうするか。入力後は元の値と照合できる一覧を人に示します。AIが止まった理由も、「入力欄が見つからない」「元の値が不足している」のように区別できると、引き継ぎやすくなります。

この表はCAGの用途案です。実際に任せられる範囲は、画面や業務の条件によって変わります。確認ダイアログが急に出る、ログインが切れる、入力中に一覧の順番が変わる、といった状況も、試す対象に含めます。

元システムにデータ連携用のAPIがあれば、値を直接受け渡す方法も比較します。画面操作を選ぶ理由があるのは、画面を通した処理を残したい場合や、画面上の動作そのものを確かめたい場合です。業務全体を調べ、直接連携と画面操作を組み合わせる判断もできます。

2026-10-31時点の公式ガイドでは、Computer Use向けの推奨モデルとしてGemini 3.8 Flashを案内しています。対応一覧にはGemini 4 Argonなどもあります。モデルを選ぶときは、使いたい画面での完了率と処理量を比べます。一般提供になったことだけで、自社の作業に適したモデルが決まるわけではありません。^[2]

画面を動かす環境も必要です。たとえばブラウザを操作するプログラムをつなぎ、受け取った操作を実行します。公式ガイドからは、ブラウザ操作を組み立てる参考実装も案内されています。導入担当者は、現行ガイドとコードを照らし合わせながら接続を用意できます。^[4]

人に確認を求める処理は、アプリの機能として作ります。 公式ガイドのrequire_confirmationは、利用者の承認を求める合図です。モデルに「送信前に止まって」と伝える指示に加え、実行側でも送信や発注の操作を扱うルールを定めるのが、この記事で提案する構成です。^[3]

画面に書かれた文章が、AIへの別の指示として働くこともあります。これをプロンプトインジェクションと呼びます。スクリーンショットを調べる検知機能は、公式ガイドでは明示的に有効にする機能です。実行環境を分けることや、移動先を制限することと併せて設計します。^[2][3]

日本はGoogle AI StudioとGemini APIの対応地域に含まれます。ただし、地域の一覧は日本語画面の精度を示すものではありません。日本語の項目名、全角文字、日付、金額の入力は、自社で使う画面に近いテスト環境で確かめる必要があります。^[5]

試す対象は、入力元と正解がそろった一つの作業に絞ります。テストデータとテスト用アカウントを用意し、閲覧や入力に必要な範囲の権限で始めます。発注の確定や外部への送信を含めず、確認画面まで進められるかを見る形なら、結果を比べやすくなります。

料金は利用するモデルや処理量で変わるため、公式料金表と実際の使用量を確認します。画面操作の待ち時間や、結果を人が確認する時間も含めて記録すれば、業務としての負担を比較できます。本記事では、作業一件あたりの費用や削減効果を測っていません。^[6]

通常の入力に加え、必須項目が空、ログイン切れ、画面の変更、登録結果が不明、といった条件も用意します。確認するのは、作業を完了できるかと、完了できないときにどこで止まり、何を人へ渡せるかです。

Gemini Computer Useの一般提供によって、画面操作を使うAIを組み込む選択肢が整いました。自社で試すなら、まず毎日繰り返している入力作業を一つ選び、入力元・確認画面・完了条件を並べるところから始められます。