Decision Index v2とは​──AIの​請求書チェックは、​聞き方を​変えても​安定するか

AIに請求書を読ませるなら、必要な項目が一枚ずつそろうかと、聞き方を変えても判定が揺れないかを確かめます。Decision Index v2の二つの評価を手がかりに、自社で試す方法を整理します。

甲斐ショウジ甲斐ショウジ
CAG主宰/合同会社ATK CAIO(最高AI責任者)
技術6分で読めます
技術Decision Index v2とは──AIの請求書チェックは、聞き方を変えても安定するか

AIに請求書を読ませたら、合計金額、振込先、支払期日など、後工程で使う項目が一枚ずつそろっているかを見ます。同じ内容を別の聞き方で尋ねて、判定が揺れないかも確認できます。

Artificial Analysisが2026年11月8日に発表したDecision Index v2には、この二つを考える手がかりがあります。書類を丸ごと採点するAA-Paperclipと、質問の表現を変えて判定の一貫性を測るAA-Symmetryです。架空の請求書1枚を例に、自社での検証にどう落とし込めるかを整理します。評価仕様は2026年11月9日時点です。[1]

請求書と照合用の画面を置いた机
請求書の照合をイメージしたAI生成画像。

01 Decision Index v2で​何が​変わったか

正誤と確信度を合わせて採点正誤と確信度を合わせて採点正解した場合確信度が高いほど加点不正解だった場合確信度が高いほど減点正誤と確信度を合わせて採点正誤と確信度を合わせて採点正解した場合確信度が高いほど加点不正解だった場合確信度が高いほど減点
Decision Scoreの考え方。正解と不正解で、確信度の効き方が変わります。

Decision Index v2は、文書の読み取りや条件の判定など、AIが答えを選ぶ仕事を対象にした総合評価です。文書からの抽出、外部ツールを呼ぶ判断、知識問題など、六つの評価を組み合わせています。[2]

そのうち五つで使うDecision Scoreは、選んだ答えが合っているかと、モデルがその答えに付けた確率を合わせて採点します。正解したときは確信度が高いほど点が上がり、不正解のときは高い確信度を示すほど点が下がります。残るAA-Symmetryには、言い換え前後の一貫性を測る専用の点数があります。[2]

確信度の数字を運用に使うなら、同じ程度の確信度を示した案件を集め、実際にどれくらい正解したかを確かめます。たとえば「90%」前後と出した案件がたまったら、その集団で本当に9割ほど合っているかを見る、という考え方です。個々の請求書で90%と出ても、支払期日が合っているかは原本と照らすまで分かりません。

02 請求書は​必要な​項目が​全部​合うかで​見る

項目と書類で結果を分ける項目と書類で結果を分ける請求元一致請求書番号一致税込合計一致振込先一致支払期日要確認書類は確認に回す項目では5つ中4つ正解項目と書類で結果を分ける項目と書類で結果を分ける請求元一致請求書番号一致税込合計一致振込先一致支払期日要確認書類は確認に回す項目では5つ中4つ正解
架空の請求書。5項目中4項目が合っても、書類単位では確認に回す設計例です。

AA-Paperclipは、履歴書、領収書と請求書、AI・機械学習の論文を合わせた1,500件を使う評価です。1件ごとに五つの判断と十の情報抽出を求め、十五問すべてに正解した書類の割合を公表しています。文書単位のDecision Scoreにも、全問正解かどうかが使われます。[3]

たとえば、税込110,000円、支払期日が2026年11月30日という架空の請求書を考えます。この例では、請求元、請求書番号、税込合計、振込先、支払期日の五つを登録対象にします。

確認する項目 原本で確かめるもの 読み違えると
請求元と請求書番号 発行元の名称と書類の番号 照合先や重複チェックがずれる
税込合計 税込みで支払う総額 支払予定額がずれる
振込先 支払先として指定された口座 振込先の照合が必要になる
支払期日 支払条件として記載された日付 支払予定日がずれる

金額など四つが合っていても、支払期日を発行日と取り違えたら、項目単位では5つ中4つ正解、書類単位では全項目正解に数えません。どちらも記録すると、読み取りやすい項目と、手直しなしで次へ回せる書類の割合を分けて把握できます。この請求書と回答は説明用に作った例です。

03 同じ​質問を​聞き方を​変えて​試す

選択肢の意味をそろえる選択肢の意味をそろえる基準の聞き方A / はい選択肢を入れ替えB / はい逆向きに質問B / いいえ11月30日が支払期日選択肢の意味をそろえる選択肢の意味をそろえる基準の聞き方A / はい選択肢を入れ替えB / はい逆向きに質問B / いいえ11月30日が支払期日
架空例。記号や「はい・いいえ」が違っても、三つとも原本の同じ事実を指します。

AA-Symmetryは、同じ意味の問いで選択肢の順番やラベルを変えたり、はい・いいえの向きが逆になる形で尋ねたりして、回答の意味と確率の一貫性を測ります。一貫性と正解率は別々に確認します。同じ読み間違いを繰り返すこともあるためです。[4]

架空の請求書で、支払期日を三つの形で確かめます。下表の「期待する判定」は原本から決めた答えです。

試し方 質問と選択肢 期待する判定
基準の聞き方 支払期日は11月30日ですか? A はい/B いいえ A。支払期日は11月30日
言い換えと並べ替え 11月30日が支払いの締切ですか? A いいえ/B はい B。支払期日は11月30日
逆向きに聞く 支払期日は11月30日以外ですか? A はい/B いいえ B。支払期日は11月30日

三つとも、原本にある支払期日について同じ事実を確かめています。比較するときはAやBを「11月30日が支払期日」という回答の意味に置き換えて照合します。確率を取得できる場合は、同じ意味の選択肢に付いた値を比べます。

実務の試験には、「記載なし」や「判読できない」も加えます。日付を読めなかった状態を「11月30日以外だ」と扱うと、質問を逆にしただけで処理先が変わりかねません。空欄の原本と、別の日付が明記された原本をそれぞれ用意すると、判断を保留できるかまで確認できます。

04 自社の​請求書で​どこまで​任せられるかを​測る

台帳に進める前に確かめる台帳に進める前に確かめる読み取り結果を点検期日・金額・振込先照合できた書類台帳の入力候補へ空欄・不明・不一致人の確認へ誤りを含む入力候補を数える台帳に進める前に確かめる台帳に進める前に確かめる読み取り結果を点検期日・金額・振込先照合できた書類台帳の入力候補へ空欄・不明・不一致人の確認へ誤りを含む入力候補を数える
CAGによる検証の設計例。原本に照らして誤通過の件数を数えます。

手元で試すときは、経理担当者が正解を付けた請求書を用意し、同じ書類を使って候補のAIや設定を比べます。読みやすい書類に加え、期日が空欄、複数の日付が並ぶ、文字がかすれている、といった人が迷いやすい書類も含めます。

最初は実際の支払いと切り離し、台帳の入力候補を作るところまでで試せます。担当者が結果を原本と照らし、入力候補に回した書類と確認に回した書類を記録します。見る指標は次の三つです。

見る指標 数え方 分かること
全項目正解率 全項目が合った書類数 ÷ 試した書類数 一枚分の入力がそろうか
言い換え一致率 全パターンで判定の意味が一致した組数 ÷ 言い換えを試した組数 聞き方への揺れがどれくらいあるか
誤通過件数と自動処理の対象数 誤りを含んだまま入力候補に回った件数と、入力候補に回した総数を並べる 確認の負担と見逃しを一緒に見られる

人へ回す条件は、モデルの確信度だけに頼らず、原本の状態からも決めます。期日が空欄、どの日付が支払期限か判別できない、金額や振込先の照合が取れない場合は確認へ。自動処理へ進める条件は、その運用でどんな誤りが起きたかを記録してから調整します。

Decision Index v2は、正しさ、確信度、一貫性を切り分ける手がかりになります。ここで示した請求書と集計方法はCAGの設計例です。モデルを実行した結果や、日本語の請求書で測った精度は含みません。

請求書の確認箇所をペンで指す手元
担当者が原本を確かめる場面のAI生成画像。

出典・確認範囲

  1. Artificial Analysis「Introducing the Artificial Analysis Decision Index v2」(2026年11月8日)。
  2. Artificial Analysis「Artificial Analysis Decision Index Benchmarking Methodology」。総合指標の構成とDecision Score。
  3. Artificial Analysis「AA-Paperclip Benchmark」。文書の内訳と全問正解率。
  4. Artificial Analysis「AA-Symmetry Benchmark」。質問の変形と採点方法。

言語化できるものは、全て作る。

あなたの「作りたい」を、定価とスピードで形に。まずは無料の相談から。

制作事例を見る