Gemini Robotics ER 2 API ガイド：リアルタイムロロボット、関数呼び出し、移行

Googleは2026年7月30日にGemini Robotics ER 2のパブリックプレビューを開始します。今回は単にモデル名を置き換えるのではなく、標準的な推論ルートとリアルタイムストリーミングアクセスルートの両方を同時に提供しています。

• gemini-robotics-er-2-preview:単一ショットの画像・映像解析および多段階ツールのオーケストレーションに適しています。
• gemini-robotics-er-2-streaming-preview:Live APIを通じて音声、映像、テキストを継続的に受信し、低遅延のロボットとのやり取りに適しています。

レガシー gemini-robotics-er-1.6-previewは2026年8月31日にサービスを終了します。旧モデルを使用しているプロジェクトは、できるだけ早くモデル名の置き換えと回帰テストを完了し、移行はシャットダウン当日まで待たないでください。

結論：どのエンドポイントを選ぶべきか

写真を受け取った後に行動を計画したり、既に録画された動画を分析する必要がある場合は、標準エンドポイントを優先します。ロロボットがカメラを継続的に観察し、音声コマンドを受け取り、セッション中に動きやグラブなどのツールを繰り返し呼び出す必要がある場合は、リアルタイムストリーミングエンドポイントを選択します。

どちらもテキスト、画像、動画、音声を受信できますが、出力はテキストです。ロロボットが話す必要がある場合は、テキストを外部TTSサービスに渡すか、TTSを呼び出し可能なツールとして宣言する必要があります。

ER 2 の Embodied Reasoning（具身推論）とは

ERはEmbodied Reasoning(具身推論)の略です。通常の視覚モデルは画像内のものにより焦点を当てますが、具身推論モデルは物体の位置、到達経由、タスクのステップ、次にロロボットの行動を指示する必要がある。標準のER 2はGemini 3.5 Flashをベースにしており、公式のハイライトは以下の通りです:

• 空間的推論:点の特定、オブジェクトの追跡、バウンディングボックスの生成、軌道の計画。
• エージェント・ビジョン:コード実行と画像処理を組み合わせて視覚分析を行います。
• ビデオ理解:タスクの進捗や完了状況を評価するための重要な瞬間を特定します。
• ツールオーケストレーション:カスタムロボット API を長期タスクに組み込むこと。
• マルチロロボット協働:タスクの状況に基づいて異なるデバイスを調整する。

これはモデルが実際のハードウェアを直接かつ安全に制御できるという意味ではありません。モデルは理解し推奨を行う責任を負い、開発者はツール実行層での速度、範囲、権限、停止条件を制限しなければなりません。

標準版とストリーミング版の機能的な違い

両モデルは名前は似ていますが、サポートするGeminiのAPI機能は完全に同じではありません。

標準版はコンピュータ使用、Googleマップのグラウンディングなどの機能もサポートしていますが、Live APIはサポートしていません。ストリーミング版は永続接続とセンサー入力に最適化されています。名前にER 2が含まれているからといって、両側の設定パラメータをそのまま入れ替えられるとは思わないでください。両者とも入力トークン上限は131,072、出力トークン上限は65,536です。高解像度入力と高い思考レベルは遅延を増加させるため、速度と推論品質のバランスを取る際には 公式の推奨は、ミディアム・シンキングからテストを始めることです。

Python SDKとAPIキーを準備してください

Google Gen AI SDKのインストールまたは更新:

1

pip install -U google-genai

次に、環境変数のAPIキーを設定します:

1

$env:GEMINI_API_KEY = "你的_API_Key"

キーをコードリポジトリに直接書き込まないでください。 もしリクエストが403返された場合、 また、APIキーが完全に制限されていないかも確認してください。 Robotics APIはキーに対して適切なAPI制限を追加する必要があります。 制限のない鍵は拒否されることがあります。

例 1：標準エンドポイントで画像内の物体を特定する

例えば、まず画像をアップロードします。 その後、モデルは最大10点のターゲットポイントを返す必要があります。 座標順序は[y, x]です。 そして0から1000まで正規化されました。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25

from google import genai

PROMPT = """
Point to no more than 10 items in the image.
Return JSON objects with point coordinates in [y, x] order,
normalized to 0-1000, and an identifying label.
"""

client = genai.Client()
uploaded_file = client.files.upload(file="my-image.png")

response = client.interactions.create(
    model="gemini-robotics-er-2-preview",
    input=[
        {
            "type": "image",
            "uri": uploaded_file.uri,
            "mime_type": uploaded_file.mime_type,
        },
        {"type": "text", "text": PROMPT},
    ],
    generation_config={"thinking_level": "high"},
)

print(response.output_text)

出力を受け取った後、すぐにロロボットアームを駆動しないでください。 最低限、以下の検証事項を追加すべきです。

1. 確認応答の結果を期待されるJSON構造に解析できます。
2. 各座標が0から1000の範囲内であることを確認しましょう。
3. 正規化された座標を元の画像の素座標に変換します。
4. 未知のラベル、空ラベル、異常な量の結果を拒否する。
5. カメラキャリブレーションを通じて二次元の位置をロロボット座標系に変換する。
6. 実行前に作業スペース、衝突リスク、信頼度条件を確認する。

もし物体が小さすぎたり、大きく遮られている場合は、 まずターゲットエリアをトリミングして拡大できます。 光、コントラスト、カメラアングルはすべて空間判断に影響を与えます。 高精度なタスクは繰り返しクエリされ、一貫した結果が得られます。 しかし、それでもセンサーや安全コントローラーに代わることはできません。

例2:ロロボットの行動をツールとして宣言する

モデルはロロボットSDKコマンドで直接つなぎ合わせて実行されるべきではありません。 より安全な方法は、レビューされたツールのみを公開することです。 パラメータも検証のためにホワイトリストに掲載されています。 ストリーミングのRobotics Live APIにおける物理的な動作は、ブロックコールとして宣言されなければなりません:

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18

tools = [
    {
        "function_declarations": [
            {
                "name": "navigate",
                "description": "Navigate to a named safe waypoint.",
                "behavior": "BLOCKING",
                "parameters": {
                    "type": "OBJECT",
                    "properties": {
                        "name": {"type": "STRING"},
                    },
                    "required": ["name"],
                },
            }
        ]
    }
]

"behavior": "BLOCKING"は以下のことを意味します: モデルがアクションコールを出した後、 実行側の結果を待つ必要があります。 そうして初めて、次のステップの計画を続けられます。 例えば、ロロボットが安全な地点に移動しているとき、 移動が完了するまでモデルは移動できません。 すでに設置されていると仮定して、グラブツールを呼び出します。 ツール実行層は以下も保証すべきです:

• あらかじめ定義されたアクション名とセーフスポットのみが許可されています。
• ロロボットアームの速度、力、関節角度、可動域を制限すること。
• 各アクションごとにタイムアウトおよびキャンセル機構が設定されます。
• ハードウェアの緊急停止装置と独立した安全インターロックを保持します。
• 成功、失敗、タイムアウト、センサーの状態をモデルに明確に返すこと。
• 危険な行動に対して手動確認またはポリシーエンジン承認を追加すること。
• モデルリクエスト、ツールパラメータ、実行結果、タイムスタンプを記録します。

モデルによる自然言語の出力は、あくまで提案としてしか機能しません。 ツールレイヤーをバイパスして直接モーターコマンドに変換することはできません。

リアルタイムストリーミングエンドポイントの仕組み

gemini-robotics-er-2-streaming-preview専用のライブAPIを使用し、 セッションは永続的でステートフルなWebSocket接続を通じて維持します。 典型的なサイクルは3つのステップから成り立っています。

1. セッション設定でロボットアクションツールを宣言します。
2. カメラ、マイク、テキスト入力を継続的に送信すること。
3. ツール呼び出しを受け取り、ロロボットSDKを実行し、ツール結果を返します。

音声および映像入力にも明確な制限があります:

• オーディオはネイティブPCM、16ビット、16kHz、スモールエンドフォーマットを使用しています。
• 動画はJPEG画像フレームで送信され、最大1FPSまで動作します。
• ビデオフレーム自体が自動的にモデル推論をトリガーしません。
• テキストまたは音声コマンドによる応答のトリガーが必要です。
• 継続的な積極的なモニタリングのために、定期的に心拍アラートを送信します。

最後の点は簡単に陥りやすいです。 カメラ映像を継続的にアップロードし、 これは、モデルが例外を感知したときに積極的にツールを開いたり呼び出したりするという意味ではありません。 倉庫検査、生産ライン監視、その他のシナリオ、 明確な心拍コマンドを設計すべきです。 例えば、最新の映像で障害物や落下、危険区域に入った人員の確認をモデルに依頼します。 心拍数も無期限に上げるべきではありません。 1FPSの動画制限、レイテンシー、ノルマ、実際のリスクウィンドウを考慮すると、 合理的な検査サイクルを決めましょう。

ER 1.6 から ER 2 への移行

最小のコード変更はモデル文字列の置き換えです:

1
2
3

OLD_MODEL = "gemini-robotics-er-1.6-preview"
NEW_MODEL = "gemini-robotics-er-2-preview"
STREAMING_MODEL = "gemini-robotics-er-2-streaming-preview"

しかし、正式な移行は200の返還があるかどうかだけで判断されるわけではありません。 以下の順番で扱うことが推奨されます:

1. すべてのコード、環境変数、古いモデル名を設定ファイルに確認する。
2. 機械的な交換ミスを避けるため、ビジネスタイプに応じて標準版またはストリーミング版を選択してください。
3. 現在依存しているAPI機能がターゲットエンドポイントでサポートされているかどうかを確認する。
4. SDKを更新し、テスト環境で制限付きAPIキーを使用します。
5. ツールスキーマ、ブロッキング動作、エラー処理の再検証。
6. 固定されたテストセットを用いて、前のバージョンの結果とER 2の結果を比較する。
7. レイテンシ、故障率、運用中止率を観察するための低トラフィックグレースケールオンライン。
8. 2026年8月31日までに旧バージョンのロールバックパスを削除してください。

回帰検定セットは少なくとも以下をカバーすべきです:

• 画像内のポインタ座標とバウンディングボックス。
• 小さなオブジェクト、隠れたオブジェクト、低コントラストのシーン。
• 計器の読み取りおよびオブジェクト指向の判定。
• 重要な瞬間、タスクの進捗、完了状況をビデオ化します。
• 多段階関数呼び出しの順序条件と停止条件。
• ツールの故障、タイムアウト、異常フォーマットの返却。
• 作業エリアに入った際の拒否またはセキュリティ対応。
• 異なる思考レベルにおけるレイテンシと品質。

パブリックプレビューフェーズ中は、動作やインターフェースが調整されることがあります。 本番プロジェクトはSDKバージョンにロックされるべきです。 モデルの識別と試験結果を記録し、 そして更新ログを引き続きフォローしてください。

セキュリティ、プライバシー、そして本番展開

ロボットモデルの誤りは、財産の損害や個人的なリスクを引き起こす可能性があります。 開発者は物理的な環境と最終的な行動に責任を持つ必要があります。 「正しいモデル判断」をセキュリティ認証として扱うことはできません。 本番環境では、システムを3つの層に分解することを提案しています。

• 理解層:ER 2は知覚、推論、ツール呼び出しの提案を担当します。
• ポリシー層:権限、パラメータ、ステータス、セキュリティルールの検証。
• 実行層:ロロボットコントローラはアクションを実行し、ハードウェア保護を提供します。

カメラやマイクのデータに関しては、 明確な通知と必要な同意を得る必要があります。 個人情報の収集を最小限に抑え、 識別可能な人物の画像を避けることができます。 またはアップロード前に顔のぼかしやその他の処理を行うこともあります。 元の音声や映像、正確な位置情報、身元情報をログに無期限に保存しないでください。 アクセス制御、保持期間、削除メカニズムを設定するべきです。 コンプライアンス評価は展開地域ごとに実施されます。

よくある質問

ER 2はロロボットの行動を直接出力できますか?

開発者が定義したロロボットの動作を関数呼び出しで選択できます。 しかし、実際の操作は依然としてツールの実行層によって行われます。 物理的な操作ではブロッキングコールを使うべきです。 パラメータ検証と安全連動装置は合格しています。

標準版はライブAPIを使えますか?

いいえ。 リアルタイムストリーミングセッションの使用が必要です gemini-robotics-er-2-streaming-preview。

ストリーミングはすべての映像フレームを自動的に監視しますか?

いいえ。 ビデオフレームだけで推論を引き起こすわけではありません。 テキスト、音声コマンド、または規則的な心拍が必要です。

ストリーミングは直接音声を生成するのか?

いいえ、モデルの出力はテキストです。 音声放送には外部TTSが必要です。 TTSはツールとしてもパッケージ化可能です。

なぜAPIキーは403を返すのか?

まず、鍵に制限がないか確認してください。 公式説明では、制限のないAPIキーは拒否されると述べられています。 適切なAPI制限を設定する必要があります。 同時に、プロジェクト権限とAPI権限の両方が正しいか確認してください。

今すぐ移行すべきですか？

そうあるべきだ。 旧バージョンgemini-robotics-er-1.6-preview サービスは2026年8月31日に終了します。 まず、固定シーンで比較テストを行いました。 そして徐々に生産フローを切り替えます。

まとめ

Gemini Robotics ER 2はロロボットAPIを2つの明確なルートに分けています: 標準版はより完全な空間的、映像的、多段階の推論を扱います。 ストリーミングは低遅延で連続的な音声および映像の相互作用を担っています。 プロジェクトの信頼性を本当に決めるものは、 正しいモデル名を選ぶだけでなく、 また、ブロッキング関数呼び出し、ツールホワイトリスト、状態リターン、ハードウェアの相互ロックも含まれます。 そして現実世界のシナリオに対する再現可能な回帰検定の確立。 もしまだER 1.6を使っているなら、 今すぐ移行を開始すべきです。 閉鎖日までにグレースケールのローンチとロールバック計画を最終決定してください。

公式情報

• Gemini API 更新履歴
• Gemini Robotics ER の概要
• Gemini Robotics ER リアルタイムストリーミングガイド