gatewayにload_test_mode設定を追加
CHANGELOG 原文(英語)
Added an opt-in load_test_mode block to the Claude apps gateway config: requests are built and signed but not sent upstream, and clients get a canned reply, so a deployment can be load tested 公式の変更履歴を開く ↗ 日本語での補足
Claude appsゲートウェイ設定にオプトインのload_test_modeブロックを追加。リクエストは構築・署名されるが上流には送信されず、クライアントには決まった応答が返るため、デプロイの負荷テストが可能になる。
ドキュメント
ドキュメントの抜粋(参考訳)
load_test_mode
load_test_mode ブロックを使うと、モデルプロバイダーを呼び出さずにゲートウェイの負荷テストを実行できます。オンになっている間、ゲートウェイは通常どおり各プロバイダーへのリクエストを作成して署名しますが、実際に送信する代わりに破棄し、通常のレスポンス経路を通じて缶詰めの応答(canned reply)をストリーミングで返します。この応答は、それが缶詰めの応答であることを示す一文で始まる埋め草のテキストです。
ゲートウェイサーバーには Claude Code v2.1.282 以降が必要です。それより古いゲートウェイは、このキーを見つけると起動を拒否します。このブロックを追加する前にすべてのレプリカをアップグレードし、以前のバージョンへロールバックする前にはこのブロックを削除してください。
以下の例では、既定値のままモードをオンにしています。1回の缶詰めの応答はおよそ 750 トークンのテキストで、約 10 秒かけてストリーミングされます。
load_test_mode:
enabled: true
reply_tokens: 750 # roughly how many tokens of text each canned reply carries
reply_seconds: 9.5 # how long a streamed reply takes
| フィールド | 必須 | 説明 |
|---|---|---|
enabled |
はい | true を指定するとモードがオンになります。false を指定すると、他の数値をファイルに残したままモードをオフにできます。このキーがなくこのブロックが存在する場合、ゲートウェイは起動を拒否します。 |
reply_tokens |
いいえ | 既定値は 750。1回の缶詰めの応答が持つおおよそのトークン数で、1から 100000 までの整数です。 |
reply_seconds |
いいえ | 既定値は 9.5。ストリーミングされる応答にかかる時間で、0から 600 までです。0 を指定すると応答全体を一度に送信します。非ストリーミングのリクエストへの応答は、常に一度に返されます。 |
このモードでの負荷テストは、ゲートウェイ、利用している Postgres、およびゲートウェイより手前にあるすべてを対象にします。プロバイダーの利用上限、速度、通信経路、および各レプリカの同時アップストリームリクエスト数の上限での待機は対象になりません。レプリカは、開いているリクエスト数がその上限を超えると、本番のリクエストが待たされ始める時点を示す client requests are open 警告を、このモードでも通常どおりログに記録します。
プロバイダーへモデルリクエストが送信されないため、リクエストあたりのレプリカの CPU 使用量は推定値であり、プロバイダーへの通信を暗号化する本番環境よりも低く表示されます。実際のプロバイダーに対する小規模なパイロットで、レプリカ数を確認してください。v2.1.283 より前は、この推定値がさらに大幅に低く表示されていました。
モードがオンの間、リクエストは最大7桁の整数を保持する x-load-test-user ヘッダーを持つことができます。ゲートウェイはこの番号ごとに別々の開発者として数え、そのリクエストに付随するトークンの開発者のメールアドレスとグループを使用します。
負荷テスト用のデプロイには専用の空のデータベースを用意してください。すでにいずれかの開発者が利用した記録があるデータベースに対しては、モードがオンの状態でゲートウェイは起動を拒否します。
[!WARNING]
開発者が使用しているゲートウェイでは、このモードを絶対にオンにしないでください。すべてのリクエストが缶詰めの応答を受け取り、モデルは一切呼び出されません。ゲートウェイは起動時に
load_test_mode is onという警告をログに記録し、モードがオンの間は各inference監査イベント にload_test: trueを付けます。
取得日 · 2026-11-20