AIで請求書のミスを探せる？
架空8件の公開チェック教材
AIスペシャリスト兼AI秘書 けいこ掛け算が合っていても、注文と違うことがあります。
今回確認したのは「この8件の差分」。実務での正答率ではありません。
誤りを設定した6件と、指定項目に差分がない2件を公開。現在のCodexセッションによる1回の応答を記録し、明示した照合ルールとも比較しました。同じAIが問題作成と回答を担当する非盲検の確認です。独立評価・人力との比較・時短測定は行っていません。
何を確かめたか
注文を基準に、宛名・数量・単価・振込先・期限を照合し、請求案の税抜小計＝数量×単価を検算しました。通貨は円、割引・税・端数処理なしという教材の条件です。実在の顧客・口座は使用していません。税務上の適否、口座の実在性、PDFの文字認識は対象外です。
比較対象は同じ8件を照合するJavaScriptの固定ルールです。単純な構造化データでは固定ルールで確認できるため、この結果でAIの優位性は示せません。問題作成者が回答しており、モデル名の厳密な識別・待ち時間・個別の利用料金は取得していません。
記録した応答と固定ルールの照合
| ID | AI応答の指摘 | 扱い |
|---|---|---|
| A01 | 2×10000=20000、記載18000との差2000 | 要確認 |
| A02 | 注文2222222に対し請求案2222229 | 要確認 |
| A03 | 注文11/30に対し請求案11/20 | 要確認 |
| A04 | 注文は海風商店、請求案は山風商店 | 要確認 |
| A05 | 注文2に対し請求案3。請求案内の掛け算自体は整合 | 要確認 |
| A06 | 請求案の期限が未記載 | 要確認 |
| A07 | 指定した比較項目では差分なし | 指定項目の差分なし |
| A08 | 指定した比較項目では差分なし | 指定項目の差分なし |
保存したAI応答は8件とも作成済みの正解と一致。固定ルールも同じ8件で一致しました。これは公開教材内の照合結果であり、「AIの検出率100%」という性能評価には使えません。
A05がポイント：数量3×単価8,000円＝24,000円という請求案の計算は合っています。しかし注文は数量2。請求書だけを見る検算では注文との差を確認できません。
入力・正解・応答をすべて公開
- 同じフォルダに5ファイルを保存します。
- Node.jsで
node verify.mjsを実行。固定ルールと正解、記録済みAI応答との一致を確認できます。このコマンドは新たなAI生成を行いません。 - 別のAIで試す場合は、先にrun-info.jsonの指示文とcases.jsonだけを渡して応答を保存します。正解を見せず、サービス名・モデル・実行日・設定を記録してから採点してください。応答はモデルや実行ごとに変わります。
実務に持ち込む前に
未見のデータで第三者が評価すること、誤指摘と見逃しを別々に数えること、確認・修正込みの所要時間を測ることが次の課題です。今回はそこまでの効果を主張しません。