Document Intelligence大全

企業AIの入力は生テキストだけではなく、PDF・スキャン・請求書・契約書・帳票・表・フォーム等を含む。LLMへ画像/PDFを直接渡す方式だけでは、OCR、reading order、layout、table topology、key-value、selection mark、signature、domain field、normalized value、confidence、source geometry等の構造を監査可能な形で固定できるとは限らない。Document Intelligenceを独立した非LLM部品として扱い、抽出結果をLLM/RAG/agentへ渡す境界を明示する必要がある。

non-LLM component / implementation / interoperability / Enterprise AI Core / provider mapping / benchmark / governance

OCR・layout・table・form・invoice等のdocument understandingはLLM本体と分離可能な専門処理層であり、企業運用では「文字が読めた」ことと「文書構造・業務fieldが正しく抽出された」ことを分離評価すべきか。current managed servicesのcapability/version/availabilityと、LLM downstream利用時のfailure envelopeは何か。

• source class: official product documentation exact title: Document Intelligence general document model author/org: Microsoft canonical URL: https://learn.microsoft.com/azure/ai-services/document-intelligence/concept-general-document publication/update/access: updated 2026-08-15 / accessed 2026-09-15 version: v4 GA API 2024-11-30; v3.1 GA 2023-07-31 supporting locator: general document features / key-value pair extraction / input requirements evidence label: VERIFIED_SPEC / PRODUCT_VOLATILE relation: support / limit finding: v4以降prebuilt-documentはdeprecatedで、key-value pairs等はLayout model + features=keyValuePairsへ移行。v3.0 APIは2029-03-30 support end予定。PDF/image/Office対応やpage/file limitsもmodel/tier依存。

• source class: official product documentation exact title: Sample processor output author/org: Google Cloud canonical URL: https://docs.cloud.google.com/document-ai/docs/output publication/update/access: accessed 2026-09-15 version/model IDs: Enterprise OCR pretrained-ocr-v2.1.1-2025-01-31; Custom Extractor pretrained-foundation-model-v3.5-2026-05-26; Form Parser v2.1-2023-06-26; Layout Parser v1.0-2024-06-03 supporting locator: Digitize text / Extract documents processor tables evidence label: VERIFIED_SPEC / PRODUCT_VOLATILE relation: support / context finding: OCR、quality analysis、entity extraction、form parsing、layout parsing、document chunkingがprocessor別に分離され、processor/model versionが明示される。

• source class: official API documentation exact title: Handle processing response author/org: Google Cloud canonical URL: https://docs.cloud.google.com/document-ai/docs/handle-response publication/update/access: accessed 2026-09-15 version: current docs supporting locator: Entities, nested entities, and normalized values evidence label: VERIFIED_SPEC relation: support / limit finding: Invoice parser等はschema-grounded entities、confidence、text/page anchors、normalized values、nested line itemsを返す。ただしchild naming conventionは全processorで一様ではない。

• source class: official product/API documentation exact title: AnalyzeDocumentRequest / Analyze Document author/org: Amazon Web Services canonical URL: https://docs.aws.amazon.com/textract/latest/APIReference/API_AnalyzeDocument.html publication/update/access: API reference published 2026-09-11 / accessed 2026-09-15 version: current Textract API supporting locator: FeatureTypes; response BlockType evidence label: VERIFIED_SPEC / PRODUCT_VOLATILE relation: support / context finding: TABLES、FORMS、SIGNATURES、LAYOUTをfeature typeとして選択でき、QUERY/QUERY_RESULT、merged cell、table title/footer、layout header/footer/list/figure等をBlockとして返す。

• source class: official product documentation exact title: Tables author/org: Amazon Web Services canonical URL: https://docs.aws.amazon.com/textract/latest/dg/how-it-works-tables.html publication/update/access: accessed 2026-09-15 version: current docs supporting locator: table extraction description evidence label: VERIFIED_SPEC relation: support finding: cell、merged cell、column header、title、section title、footer、table type、summary cell等を構造として抽出する。

• source class: official product documentation exact title: Best Practices for Queries author/org: Amazon Web Services canonical URL: https://docs.aws.amazon.com/textract/latest/dg/bestqueries.html publication/update/access: accessed 2026-09-15 version: current docs supporting locator: Extracting Tables using Queries / Long Answers evidence label: VERIFIED_SPEC relation: counter / limit finding: Queriesはwhole table/whole row/column抽出をsupportせず、長いanswerはlatency/timeoutを増やす。query featureの存在を一般的structured extraction能力へ外挿できない。

• source class: official pricing exact title: Document AI pricing author/org: Google Cloud canonical URL: https://cloud.google.com/products/document-ai/pricing publication/update/access: accessed 2026-09-15 version: current pricing supporting locator: Form Parser / Layout Parser pricing tables evidence label: VERIFIED_SPEC / PRODUCT_VOLATILE relation: context / limit finding: processor別page/count課金があり、Document Intelligence層はLLM token costとは別meterとして管理すべき。

• Document Intelligenceは単一OCR機能ではない。最低でも text OCR / reading order / layout / table structure / key-value & forms / selection marks / signatures / domain schema extraction / normalization / confidence & geometry / chunking を分離する。
• 「OCR accuracy」と「structured extraction accuracy」は別品質軸。文字列が正しくてもrow/column association、key-value binding、reading order、nested line item、page anchorが誤ればdownstream AIは誤った事実構造を受け取る。
• current provider実装はversioned processor/model/APIである。provider名だけでcapabilityを固定せず、processor/model ID/API revisionをprovenanceに保持する。
• document processor outputはderived artifactであり原文そのものではない。LLM/RAGへ渡す場合、原文locator/page/geometryと抽出fieldを結び、後から原文へ戻れる設計が必要。
• specialized parserのschemaは強力だがdocument class、language、layout、field coverageに依存する。invoice parserの高confidence fieldを契約書・自由帳票へ一般化しない。
• direct multimodal LLM parsingとspecialized Document Intelligenceは代替関係と決め打ちしない。前者は柔軟性、後者はschema/geometry/confidence/versioned outputに強みがあるため、fixtureで比較してroutingする。

• scan quality、rotation、small text、handwriting、language/script、complex merged tables、multi-column reading order、footnote/header/footer、checkbox、stamp/signature、nested tablesでerror classが異なる。
• confidence scoreはcalibration済みbusiness correctnessを自動保証しない。fieldごとのthreshold/human review policyが必要。
• table cell textが正しくてもrow/column spanやheader associationが誤れば計算・RAG chunkは破損する。
• domain parserは未定義fieldを落とす可能性があり、schema coverageとextraction precision/recallを分離する。
• downstream LLMが抽出JSONを再解釈して誤る可能性があるため、processor accuracyとanswer accuracyを混同しない。
• benchmark/public sampleは特定tenant・特定document distributionの保証ではない。

provider / cloud region / processor type / API revision / model version / language / input MIME / page and file-size limit / sync-vs-async path / pricing tier / custom-training requirement / preview-vs-GAを個別確認する。Microsoft v4へのmigration、Google processor version、AWS FeatureTypesをcurrent claimとして再確認する。

Microsoft Azure Document Intelligence、Google Cloud Document AI、Amazon Textractはいずれもmanaged document-processing層を現行提供。実装方式・schema・versioningは相互に同一ではない。共通Coreではvendor-neutralなDocument Extraction Contractを置き、provider mappingで各output schemaへ対応させるのが妥当。

公開benchmarkの単一scoreを製品保証へ使わない。後続Workでは自前fixtureを優先し、少なくとも OCR CER/WER、reading-order error、table cell accuracy、row/column topology、key-value F1、domain-field exact/normalized match、page-anchor accuracy、abstention/empty-field behavior、latency、cost/pageを別々に測る。document class別・language別・scan quality別にsliceする。

• 文書はPII、契約情報、財務情報を含み得るため、processing region、retention/logging、encryption、access control、human review経路をproviderごとに確認する。
• extraction output自体もsensitive derived dataとしてACL/retention対象にする。
• auditには source document hash/version、processor/model/API version、config/features、timestamp、output artifact ID、confidence、human correctionを保持する。
• costはpage/processor課金、custom training、LLM downstream token、human reviewを別meter化する。
• migration/deprecationを監視し、同一fixtureでprocessor version regressionを行う。

「企業AIの文書入力は、LLMへPDFを渡す処理だけで完結しない。OCR、レイアウト、表、フォーム、業務field抽出は独立したDocument Intelligence層として実装でき、主要cloudはversioned processor/APIを提供している。ただし文字認識・構造抽出・業務field抽出・最終回答は別々の品質段階であり、一段の成功を後段の正確性へ外挿してはならない。」

Core候補: DOCUMENT EXTRACTION CONTRACT fields: source_document_id/hash/version; page; bounding geometry; raw text; reading order; block type; table/cell coordinates and spans; key/value linkage; entity/schema field; normalized value; confidence; processor/provider/model/API version; config/features; language; extraction timestamp; source locator; human correction; ACL; retention. Provider mappingではAzure Document Intelligence / Google Document AI / Amazon Textractをこのcontractへmappingする。将来Microsoft/Google/AWS以外を追加しても同じcontractで比較する。

synthetic + redistributable non-sensitive documentsを用意し、clean PDF / noisy scan / rotated / multi-column / merged-table / form / invoice / contract-like / multilingualを含める。ground truthをtext・reading order・table topology・field schema・page locatorで別々に持ち、processor単体→LLM downstreamの二段評価を実施する。認証済みtenant live testは未実施。

/ STOP_CONDITION

Azure/Google/AWS各serviceの全region・全language・全processorのcurrent availability、各confidence calibration、custom model training/data governance詳細、direct multimodal LLMとの同一fixture比較、independent reproducible benchmarkでのcurrent managed-service横断比較。

current official capability/version/limit、structured-output failure envelope、vendor-neutral contract、safe comparative TEST_PROFILEが揃ったためEA-070の先行Evidence Packetはboundedに閉じる。公開後更新時はproduct volatile項目を再確認し、必要なら実測を追加する。

---