AIに請求書を読ませたら、合計金額、振込先、支払期日など、後工程で使う項目が一枚ずつそろっているかを見ます。同じ内容を別の聞き方で尋ねて、判定が揺れないかも確認できます。
Artificial Analysisが2026年11月8日に発表したDecision Index v2には、この二つを考える手がかりがあります。書類を丸ごと採点するAA-Paperclipと、質問の表現を変えて判定の一貫性を測るAA-Symmetryです。架空の請求書1枚を例に、自社での検証にどう落とし込めるかを整理します。評価仕様は2026年11月9日時点です。[1]

01 Decision Index v2で何が変わったか
Decision Index v2は、文書の読み取りや条件の判定など、AIが答えを選ぶ仕事を対象にした総合評価です。文書からの抽出、外部ツールを呼ぶ判断、知識問題など、六つの評価を組み合わせています。[2]
そのうち五つで使うDecision Scoreは、選んだ答えが合っているかと、モデルがその答えに付けた確率を合わせて採点します。正解したときは確信度が高いほど点が上がり、不正解のときは高い確信度を示すほど点が下がります。残るAA-Symmetryには、言い換え前後の一貫性を測る専用の点数があります。[2]
確信度の数字を運用に使うなら、同じ程度の確信度を示した案件を集め、実際にどれくらい正解したかを確かめます。たとえば「90%」前後と出した案件がたまったら、その集団で本当に9割ほど合っているかを見る、という考え方です。個々の請求書で90%と出ても、支払期日が合っているかは原本と照らすまで分かりません。
02 請求書は必要な項目が全部合うかで見る
AA-Paperclipは、履歴書、領収書と請求書、AI・機械学習の論文を合わせた1,500件を使う評価です。1件ごとに五つの判断と十の情報抽出を求め、十五問すべてに正解した書類の割合を公表しています。文書単位のDecision Scoreにも、全問正解かどうかが使われます。[3]
たとえば、税込110,000円、支払期日が2026年11月30日という架空の請求書を考えます。この例では、請求元、請求書番号、税込合計、振込先、支払期日の五つを登録対象にします。
| 確認する項目 | 原本で確かめるもの | 読み違えると |
|---|---|---|
| 請求元と請求書番号 | 発行元の名称と書類の番号 | 照合先や重複チェックがずれる |
| 税込合計 | 税込みで支払う総額 | 支払予定額がずれる |
| 振込先 | 支払先として指定された口座 | 振込先の照合が必要になる |
| 支払期日 | 支払条件として記載された日付 | 支払予定日がずれる |
金額など四つが合っていても、支払期日を発行日と取り違えたら、項目単位では5つ中4つ正解、書類単位では全項目正解に数えません。どちらも記録すると、読み取りやすい項目と、手直しなしで次へ回せる書類の割合を分けて把握できます。この請求書と回答は説明用に作った例です。
03 同じ質問を聞き方を変えて試す
AA-Symmetryは、同じ意味の問いで選択肢の順番やラベルを変えたり、はい・いいえの向きが逆になる形で尋ねたりして、回答の意味と確率の一貫性を測ります。一貫性と正解率は別々に確認します。同じ読み間違いを繰り返すこともあるためです。[4]
架空の請求書で、支払期日を三つの形で確かめます。下表の「期待する判定」は原本から決めた答えです。
| 試し方 | 質問と選択肢 | 期待する判定 |
|---|---|---|
| 基準の聞き方 | 支払期日は11月30日ですか? A はい/B いいえ | A。支払期日は11月30日 |
| 言い換えと並べ替え | 11月30日が支払いの締切ですか? A いいえ/B はい | B。支払期日は11月30日 |
| 逆向きに聞く | 支払期日は11月30日以外ですか? A はい/B いいえ | B。支払期日は11月30日 |
三つとも、原本にある支払期日について同じ事実を確かめています。比較するときはAやBを「11月30日が支払期日」という回答の意味に置き換えて照合します。確率を取得できる場合は、同じ意味の選択肢に付いた値を比べます。
実務の試験には、「記載なし」や「判読できない」も加えます。日付を読めなかった状態を「11月30日以外だ」と扱うと、質問を逆にしただけで処理先が変わりかねません。空欄の原本と、別の日付が明記された原本をそれぞれ用意すると、判断を保留できるかまで確認できます。
04 自社の請求書でどこまで任せられるかを測る
手元で試すときは、経理担当者が正解を付けた請求書を用意し、同じ書類を使って候補のAIや設定を比べます。読みやすい書類に加え、期日が空欄、複数の日付が並ぶ、文字がかすれている、といった人が迷いやすい書類も含めます。
最初は実際の支払いと切り離し、台帳の入力候補を作るところまでで試せます。担当者が結果を原本と照らし、入力候補に回した書類と確認に回した書類を記録します。見る指標は次の三つです。
| 見る指標 | 数え方 | 分かること |
|---|---|---|
| 全項目正解率 | 全項目が合った書類数 ÷ 試した書類数 | 一枚分の入力がそろうか |
| 言い換え一致率 | 全パターンで判定の意味が一致した組数 ÷ 言い換えを試した組数 | 聞き方への揺れがどれくらいあるか |
| 誤通過件数と自動処理の対象数 | 誤りを含んだまま入力候補に回った件数と、入力候補に回した総数を並べる | 確認の負担と見逃しを一緒に見られる |
人へ回す条件は、モデルの確信度だけに頼らず、原本の状態からも決めます。期日が空欄、どの日付が支払期限か判別できない、金額や振込先の照合が取れない場合は確認へ。自動処理へ進める条件は、その運用でどんな誤りが起きたかを記録してから調整します。
Decision Index v2は、正しさ、確信度、一貫性を切り分ける手がかりになります。ここで示した請求書と集計方法はCAGの設計例です。モデルを実行した結果や、日本語の請求書で測った精度は含みません。

出典・確認範囲
- Artificial Analysis「Introducing the Artificial Analysis Decision Index v2」(2026年11月8日)。
- Artificial Analysis「Artificial Analysis Decision Index Benchmarking Methodology」。総合指標の構成とDecision Score。
- Artificial Analysis「AA-Paperclip Benchmark」。文書の内訳と全問正解率。
- Artificial Analysis「AA-Symmetry Benchmark」。質問の変形と採点方法。









