OpenAIは​ChatGPTの​遅延を​Codexで​どう​調べるか​──Performance Factoryの​仕組み

OpenAIは、ChatGPTの性能低下をCodexで調査し、人が修正をレビューした後に回復を確かめています。Performance Factoryの流れを、架空のECサイトの商品一覧で図解します。

甲斐ショウジ甲斐ショウジ
CAG主宰/合同会社ATK CAIO(最高AI責任者)
技術5分で読めます
技術OpenAIはChatGPTの遅延をCodexでどう調べるか──Performance Factoryの仕組み

OpenAIは2026年11月19日、ChatGPTなどの性能低下を調べる社内システム「Performance Factory」を紹介しました。応答の遅れを検知すると、Codexが原因を調べ、修正案を出します。エンジニアが変更をレビューし、反映後はエージェントが同じ指標を見て回復を確かめます。[1]

「最近このページが遅い」と言われても、いつ、誰に、どこで遅れが出たかが分からないと調査は進みません。OpenAIの事例をもとに、架空のECサイトの商品一覧を例にして、遅延の発見から復旧の確認までを一つのチケットで追う方法を見ます。

遅延のグラフを見ながら調査する担当者の机
システムの応答時間を調査するイメージ。AI生成画像。

01 Performance Factoryは​調査の​状態を​一つの​チケットに​残す

一つのチケットで調査を引き継ぐアラート調査を開始Codex根拠と修正案担当者レビューと反映Codex回復を確認一つのチケットで調査を引き継ぐアラート調査を開始Codex根拠と修正案担当者レビューと反映Codex回復を確認
担当が変わっても、調査の状態と証拠を同じチケットで参照できます。

遅延などを知らせるアラートが発生すると、Performance Factoryの最初のワークフロー「Regression Workflow」が調査チケットを作ります。ここでいう性能低下は、それまで正常だった応答時間などが悪化することです。チケットには、調査の状態、観測した事実、原因の候補、変更案を残します。後から別のエージェントや担当者が作業を引き継げます。[1]

仕組み 担当すること
タスク管理 調査の進捗と根拠を保存。どの段階で人の判断が必要かを定義する
作業の割り当て 次の工程に進めるチケットを見つけて、Codexに担当を割り当てる
クラウド環境 調査用の権限で、コードや必要な計測データにアクセスする
イベントの購読 レビュー結果やテスト失敗などが届いたら、待機中の仕事を再開できるようにする

OpenAIは2026年11月19日の記事で、このワークフローが3か月強で1,700件超の調査を追跡し、600件超で原因を特定したと報告しました。調査を追跡した件数と原因を特定した件数は、それぞれ別の指標です。[1]

02 同じ​種類の​リクエストを​比べて​原因を​絞る

リクエストを分けて変化を探す応答時間絞り込みあり通常の一覧変更を反映時間 →リクエストを分けて変化を探す応答時間絞り込みあり通常の一覧変更を反映時間 →
架空の概念図。絞り込みを使った一覧に絞って、変更と遅延の関係を調べます。

OpenAIの調査手順では、どの指標が悪化したか、いつ悪化したか、どのリクエストに影響が出たかを先に調べます。例えばChatGPTでは、応答の最初の文字列が出始めるまでの時間が指標の一つです。アラートの通知時刻から遡り、変化が始まった時点と、その変更が利用者に届いた時点を突き合わせます。[1]

架空のECサイトで、商品一覧の応答が遅くなったとします。アクセス全体だけを見ると、単に時間がかかる検索の利用が増えただけでも、遅くなったように見えます。まず通常の一覧と絞り込みを使った一覧を分けます。そのうえで、同じ条件のリクエストを変更適用前後で比べます。

順番 商品一覧の調査例
影響範囲を絞る 通常の一覧は変わらず、絞り込みを使った一覧だけが遅くなった
発生時刻を比べる 絞り込みを変更した版が、対象の利用者に届いた時刻と重なる
処理の内訳を確かめる トレースで、一覧の中で商品ごとに在庫を問い合わせる処理が増えているかを見る
別の説明を試す 同じ条件で旧版を使うリクエストや、絞り込み以外の処理と比較する

トレースは、一回のアクセスを処理する間に、どの処理でどれだけ待ったかを追う記録です。「デプロイしたら遅くなった」だけでは原因を選べません。OpenAIは別のCodexセッションに元の説明を見直させ、変更を受けなかったリクエストの挙動や、変更を戻したときの結果も確かめます。同社が原因候補100件を人手で見直した例では、正確と評価したのは70%でした。これは同社が確認した原因候補についての数字です。[1]

03 修正は​人が​レビューし、​反映後に​もう​一度​測る

反映の前後を同じ指標で測る商品一覧のp95(架空の値)通常時0.42秒遅延時0.96秒修正後0.44秒反映の前後を同じ指標で測る商品一覧のp95(架空の値)通常時0.42秒遅延時0.96秒修正後0.44秒
架空のp95。同じ種類のリクエストで比べ、エラー率も確認します。

商品一覧で在庫照会が重複していたなら、Codexは必要な在庫をまとめて問い合わせる修正案を作れます。エンジニアは、一覧の商品や在庫表示が従来どおり正しいかをテストと差分で確認し、反映するかを判断します。OpenAIの事例でも、Codexが修正案をプルリクエストにまとめ、エンジニアがレビューしてマージを判断します。[1]

反映後は、同じ条件の一覧で応答時間とエラー率を確認します。例えばp95は、リクエストを速い順に並べたときに95%が収まる時間です。遅いアクセスの悪化も見やすくなります。指標が改善していても、エラー率が上がっていれば、成功したアクセスだけを見ている可能性があります。計測条件と観測期間をチケットに残し、回復が確認できたら完了にします。[1][2]

図の時間は架空の数値です。商品一覧の改修も説明用の設計例で、CAGでの実装や計測の結果は含みません。

ECの商品一覧と反映後の指標を見比べる画面
商品一覧と計測画面を見て、変更の結果を確かめるイメージ。AI生成画像。

04 自社では​画面​一つと​指標​一つから​始める

小さく導入する三つの手順対象画面条件と指標を決めるレビュー根拠と差分を見る回復確認同じ条件で測る小さく導入する三つの手順対象画面条件と指標を決めるレビュー根拠と差分を見る回復確認同じ条件で測る
画面一つの調査から始め、レビューと回復の記録を残します。

毎週問い合わせが来る商品一覧、検索、予約フォームなどから、まず一つ選びます。同じ種類のアクセスを追えるようにし、いつ何を反映したかも記録します。指標が悪化したら、AIへ渡すのは、影響した画面の条件、変化の時刻、関連するコードとメトリクスです。原因の候補と、それを支える観測を分けて返すよう指示します。[2]

  • 調査を始めるとき。対象画面、測る指標、通常の範囲、影響を受けた利用者を記録する。
  • 変更を決めるとき。原因の説明、コードの差分、壊れやすい既存の動作を人が確認する。
  • 反映したあと。同条件のアクセスで回復を判定する。小さな範囲から出せるなら、その範囲と比較対象を決める。[3]

AIに原因調査を頼むところから始めても、発生時刻・計測条件・採用した修正・回復の証拠を一つに残せます。次に同じ遅延が起きたとき、その記録から調査を始められます。

出典

  1. OpenAI「How OpenAI’s Performance Factory keeps ChatGPT fast」(2026-11-19)。社内システム、調査手順、エンジニアによるレビュー、同社報告の実績。
  2. Google SRE Book「Monitoring Distributed Systems」(2026-11-21確認)。遅延の分布とエラーを含む監視指標。
  3. Google SRE Workbook「Canarying Releases」(2026-11-21確認)。少数の利用者へ先に出す方法と比較条件。

言語化できるものは、全て作る。

あなたの「作りたい」を、定価とスピードで形に。まずは無料の相談から。

制作事例を見る