# Document Intelligence大全 CURRENT_STATUS: UNKNOWN OBSERVATION: SPEC_ONLY FRESHNESS: UNKNOWN PAGE_TYPE: reference CANONICAL_URL: /tools/ea-070-document-intelligence CLAIM_IDS: none EVIDENCE_IDS: EVD-EA-070-URL-E19DD0B74880, EVD-EA-070-URL-08A0DBA4343E, EVD-EA-070-URL-4A7D14F99EFD, EVD-EA-070-URL-93BBCEAD3AA9, EVD-EA-070-URL-B5AF494A227B, EVD-EA-070-URL-C0B92483BA50, EVD-EA-070-URL-94365E0A85D6, EA-070-R11-RESEARCH, EA-070-R11-WEB-READBACK UNKNOWN_IDS: EA-070-UNKNOWN-01, EA-070-UNKNOWN-02, EA-070-UNKNOWN-CURRENTNESS OPS_IDS: none ## Summary 「企業AIの文書入力は、LLMへPDFを渡す処理だけで完結しない。OCR、レイアウト、表、フォーム、業務field抽出は独立したDocument Intelligence層として実装でき、主要cloudはversioned processor/APIを提供している。ただし文字認識・構造抽出・業務field抽出・最終回答は別々の品質段階であり、一段の成功を後段の正確性へ外挿してはならない。」 ## Current judgment 1. Document Intelligenceは単一OCR機能ではない。最低でも text OCR / reading order / layout / table structure / key-value & forms / selection marks / signatures / domain schema extraction / normalization / confidence & geometry / chunking を分離する。 2. 「OCR accuracy」と「structured extraction accuracy」は別品質軸。文字列が正しくてもrow/column association、key-value binding、reading order、nested line item、page anchorが誤ればdownstream AIは誤った事実構造を受け取る。 3. current provider実装はversioned processor/model/APIである。provider名だけでcapabilityを固定せず、processor/model ID/API revisionをprovenanceに保持する。 4. document processor outputはderived artifactであり原文そのものではない。LLM/RAGへ渡す場合、原文locator/page/geometryと抽出fieldを結び、後から原文へ戻れる設計が必要。 5. specialized parserのschemaは強力だがdocument class、language、layout、field coverageに依存する。invoice parserの高confidence fieldを契約書・自由帳票へ一般化しない。 6. direct multimodal LLM parsingとspecialized Document Intelligenceは代替関係と決め打ちしない。前者は柔軟性、後者はschema/geometry/confidence/versioned outputに強みがあるため、fixtureで比較してroutingする。 ## Scope non-LLM component / implementation / interoperability / Enterprise AI Core / provider mapping / benchmark / governance ## Confirmed - Document Intelligenceは単一OCR機能ではない。最低でも text OCR / reading order / layout / table structure / key-value & forms / selection marks / signatures / domain schema extraction / normalization / confidence & geometry / chunking を分離する。 - 「OCR accuracy」と「structured extraction accuracy」は別品質軸。文字列が正しくてもrow/column association、key-value binding、reading order、nested line item、page anchorが誤ればdownstream AIは誤った事実構造を受け取る。 - current provider実装はversioned processor/model/APIである。provider名だけでcapabilityを固定せず、processor/model ID/API revisionをprovenanceに保持する。 - document processor outputはderived artifactであり原文そのものではない。LLM/RAGへ渡す場合、原文locator/page/geometryと抽出fieldを結び、後から原文へ戻れる設計が必要。 - specialized parserのschemaは強力だがdocument class、language、layout、field coverageに依存する。invoice parserの高confidence fieldを契約書・自由帳票へ一般化しない。 - direct multimodal LLM parsingとspecialized Document Intelligenceは代替関係と決め打ちしない。前者は柔軟性、後者はschema/geometry/confidence/versioned outputに強みがあるため、fixtureで比較してroutingする。 ## UNKNOWN - EA-070-UNKNOWN-01: / STOP_CONDITION - EA-070-UNKNOWN-02: Azure/Google/AWS各serviceの全region・全language・全processorのcurrent availability、各confidence calibration、custom model training/data governance詳細、direct multimodal LLMとの同一fixture比較、independent reproducible benchmarkでのcurrent managed-service横断比較。 - EA-070-UNKNOWN-CURRENTNESS: 外部根拠の再確認日がcanonical body/control-planeで確定していないため、currentnessはUNKNOWNとして保持する。日付を推測補完しない。 ## Evidence - EVD-EA-070-URL-E19DD0B74880 (RESEARCH): author/org: Microsoft — https://learn.microsoft.com/azure/ai-services/document-intelligence/concept-general-document - EVD-EA-070-URL-08A0DBA4343E (RESEARCH): author/org: Google Cloud — https://docs.cloud.google.com/document-ai/docs/output - EVD-EA-070-URL-4A7D14F99EFD (RESEARCH): author/org: Google Cloud — https://docs.cloud.google.com/document-ai/docs/handle-response - EVD-EA-070-URL-93BBCEAD3AA9 (RESEARCH): author/org: Amazon Web Services — https://docs.aws.amazon.com/textract/latest/APIReference/API_AnalyzeDocument.html - EVD-EA-070-URL-B5AF494A227B (RESEARCH): author/org: Amazon Web Services — https://docs.aws.amazon.com/textract/latest/dg/how-it-works-tables.html - EVD-EA-070-URL-C0B92483BA50 (RESEARCH): author/org: Amazon Web Services — https://docs.aws.amazon.com/textract/latest/dg/bestqueries.html - EVD-EA-070-URL-94365E0A85D6 (RESEARCH): author/org: Google Cloud — https://cloud.google.com/products/document-ai/pricing - EA-070-R11-RESEARCH (RESEARCH): EA-070 監査済みresearch / canonical revision binding - EA-070-R11-WEB-READBACK (IMPL): EA-070 Web body identity / canonical readback ## Failure / limits scan quality、rotation、small text、handwriting、language/script、complex merged tables、multi-column reading order、footnote/header/footer、checkbox、stamp/signature、nested tablesでerror classが異なる。 ## Failure / limits confidence scoreはcalibration済みbusiness correctnessを自動保証しない。fieldごとのthreshold/human review policyが必要。 ## Failure / limits table cell textが正しくてもrow/column spanやheader associationが誤れば計算・RAG chunkは破損する。 ## Failure / limits domain parserは未定義fieldを落とす可能性があり、schema coverageとextraction precision/recallを分離する。 ## Failure / limits downstream LLMが抽出JSONを再解釈して誤る可能性があるため、processor accuracyとanswer accuracyを混同しない。 ## Failure / limits benchmark/public sampleは特定tenant・特定document distributionの保証ではない。 ## Failure / limits current official capability/version/limit、structured-output failure envelope、vendor-neutral contract、safe comparative TEST_PROFILEが揃ったためEA-070の先行Evidence Packetはboundedに閉じる。公開後更新時はproduct volatile項目を再確認し、必要なら実測を追加する。 --- ## Practice provider / cloud region / processor type / API revision / model version / language / input MIME / page and file-size limit / sync-vs-async path / pricing tier / custom-training requirement / preview-vs-GAを個別確認する。Microsoft v4へのmigration、Google processor version、AWS FeatureTypesをcurrent claimとして再確認する。 ## Practice Microsoft Azure Document Intelligence、Google Cloud Document AI、Amazon Textractはいずれもmanaged document-processing層を現行提供。実装方式・schema・versioningは相互に同一ではない。共通Coreではvendor-neutralなDocument Extraction Contractを置き、provider mappingで各output schemaへ対応させるのが妥当。 ## Practice 公開benchmarkの単一scoreを製品保証へ使わない。後続Workでは自前fixtureを優先し、少なくとも OCR CER/WER、reading-order error、table cell accuracy、row/column topology、key-value F1、domain-field exact/normalized match、page-anchor accuracy、abstention/empty-field behavior、latency、cost/pageを別々に測る。document class別・language別・scan quality別にsliceする。 ## Practice 文書はPII、契約情報、財務情報を含み得るため、processing region、retention/logging、encryption、access control、human review経路をproviderごとに確認する。 ## Practice extraction output自体もsensitive derived dataとしてACL/retention対象にする。 ## Practice auditには source document hash/version、processor/model/API version、config/features、timestamp、output artifact ID、confidence、human correctionを保持する。 ## Practice costはpage/processor課金、custom training、LLM downstream token、human reviewを別meter化する。 ## Practice migration/deprecationを監視し、同一fixtureでprocessor version regressionを行う。 ## Practice Core候補: DOCUMENT EXTRACTION CONTRACT fields: source_document_id/hash/version; page; bounding geometry; raw text; reading order; block type; table/cell coordinates and spans; key/value linkage; entity/schema field; normalized value; confidence; processor/provider/model/API version; config/features; language; extraction timestamp; source locator; human correction; ACL; retention. Provider mappingではAzure Document Intelligence / Google Document AI / Amazon Textractをこのcontractへmappingする。将来Microsoft/Google/AWS以外を追加しても同じcontractで比較する。 ## Practice synthetic + redistributable non-sensitive documentsを用意し、clean PDF / noisy scan / rotated / multi-column / merged-table / form / invoice / contract-like / multilingualを含める。ground truthをtext・reading order・table topology・field schema・page locatorで別々に持ち、processor単体→LLM downstreamの二段評価を実施する。認証済みtenant live testは未実施。 ## WHY_THIS_MATTERS_TO_UPDATE 企業AIの入力は生テキストだけではなく、PDF・スキャン・請求書・契約書・帳票・表・フォーム等を含む。LLMへ画像/PDFを直接渡す方式だけでは、OCR、reading order、layout、table topology、key-value、selection mark、signature、domain field、normalized value、confidence、source geometry等の構造を監査可能な形で固定できるとは限らない。Document Intelligenceを独立した非LLM部品として扱い、抽出結果をLLM/RAG/agentへ渡す境界を明示する必要がある。 ## SCOPE_ROUTING non-LLM component / implementation / interoperability / Enterprise AI Core / provider mapping / benchmark / governance ## CLAIM_OR_RESEARCH_QUESTION OCR・layout・table・form・invoice等のdocument understandingはLLM本体と分離可能な専門処理層であり、企業運用では「文字が読めた」ことと「文書構造・業務fieldが正しく抽出された」ことを分離評価すべきか。current managed servicesのcapability/version/availabilityと、LLM downstream利用時のfailure envelopeは何か。 ## EVIDENCE TABLE 1) source class: official product documentation exact title: Document Intelligence general document model author/org: Microsoft canonical URL: https://learn.microsoft.com/azure/ai-services/document-intelligence/concept-general-document publication/update/access: updated 2026-08-15 / accessed 2026-09-15 version: v4 GA API 2024-11-30; v3.1 GA 2023-07-31 supporting locator: general document features / key-value pair extraction / input requirements evidence label: VERIFIED_SPEC / PRODUCT_VOLATILE relation: support / limit finding: v4以降prebuilt-documentはdeprecatedで、key-value pairs等はLayout model + features=keyValuePairsへ移行。v3.0 APIは2029-03-30 support end予定。PDF/image/Office対応やpage/file limitsもmodel/tier依存。 2) source class: official product documentation exact title: Sample processor output author/org: Google Cloud canonical URL: https://docs.cloud.google.com/document-ai/docs/output publication/update/access: accessed 2026-09-15 version/model IDs: Enterprise OCR pretrained-ocr-v2.1.1-2025-01-31; Custom Extractor pretrained-foundation-model-v3.5-2026-05-26; Form Parser v2.1-2023-06-26; Layout Parser v1.0-2024-06-03 supporting locator: Digitize text / Extract documents processor tables evidence label: VERIFIED_SPEC / PRODUCT_VOLATILE relation: support / context finding: OCR、quality analysis、entity extraction、form parsing、layout parsing、document chunkingがprocessor別に分離され、processor/model versionが明示される。 3) source class: official API documentation exact title: Handle processing response author/org: Google Cloud canonical URL: https://docs.cloud.google.com/document-ai/docs/handle-response publication/update/access: accessed 2026-09-15 version: current docs supporting locator: Entities, nested entities, and normalized values evidence label: VERIFIED_SPEC relation: support / limit finding: Invoice parser等はschema-grounded entities、confidence、text/page anchors、normalized values、nested line itemsを返す。ただしchild naming conventionは全processorで一様ではない。 4) source class: official product/API documentation exact title: AnalyzeDocumentRequest / Analyze Document author/org: Amazon Web Services canonical URL: https://docs.aws.amazon.com/textract/latest/APIReference/API_AnalyzeDocument.html publication/update/access: API reference published 2026-09-11 / accessed 2026-09-15 version: current Textract API supporting locator: FeatureTypes; response BlockType evidence label: VERIFIED_SPEC / PRODUCT_VOLATILE relation: support / context finding: TABLES、FORMS、SIGNATURES、LAYOUTをfeature typeとして選択でき、QUERY/QUERY_RESULT、merged cell、table title/footer、layout header/footer/list/figure等をBlockとして返す。 5) source class: official product documentation exact title: Tables author/org: Amazon Web Services canonical URL: https://docs.aws.amazon.com/textract/latest/dg/how-it-works-tables.html publication/update/access: accessed 2026-09-15 version: current docs supporting locator: table extraction description evidence label: VERIFIED_SPEC relation: support finding: cell、merged cell、column header、title、section title、footer、table type、summary cell等を構造として抽出する。 6) source class: official product documentation exact title: Best Practices for Queries author/org: Amazon Web Services canonical URL: https://docs.aws.amazon.com/textract/latest/dg/bestqueries.html publication/update/access: accessed 2026-09-15 version: current docs supporting locator: Extracting Tables using Queries / Long Answers evidence label: VERIFIED_SPEC relation: counter / limit finding: Queriesはwhole table/whole row/column抽出をsupportせず、長いanswerはlatency/timeoutを増やす。query featureの存在を一般的structured extraction能力へ外挿できない。 7) source class: official pricing exact title: Document AI pricing author/org: Google Cloud canonical URL: https://cloud.google.com/products/document-ai/pricing publication/update/access: accessed 2026-09-15 version: current pricing supporting locator: Form Parser / Layout Parser pricing tables evidence label: VERIFIED_SPEC / PRODUCT_VOLATILE relation: context / limit finding: processor別page/count課金があり、Document Intelligence層はLLM token costとは別meterとして管理すべき。 ## FINDINGS 1. Document Intelligenceは単一OCR機能ではない。最低でも text OCR / reading order / layout / table structure / key-value & forms / selection marks / signatures / domain schema extraction / normalization / confidence & geometry / chunking を分離する。 2. 「OCR accuracy」と「structured extraction accuracy」は別品質軸。文字列が正しくてもrow/column association、key-value binding、reading order、nested line item、page anchorが誤ればdownstream AIは誤った事実構造を受け取る。 3. current provider実装はversioned processor/model/APIである。provider名だけでcapabilityを固定せず、processor/model ID/API revisionをprovenanceに保持する。 4. document processor outputはderived artifactであり原文そのものではない。LLM/RAGへ渡す場合、原文locator/page/geometryと抽出fieldを結び、後から原文へ戻れる設計が必要。 5. specialized parserのschemaは強力だがdocument class、language、layout、field coverageに依存する。invoice parserの高confidence fieldを契約書・自由帳票へ一般化しない。 6. direct multimodal LLM parsingとspecialized Document Intelligenceは代替関係と決め打ちしない。前者は柔軟性、後者はschema/geometry/confidence/versioned outputに強みがあるため、fixtureで比較してroutingする。 ## LIMITS / COUNTEREVIDENCE / FAILURE ENVELOPE - scan quality、rotation、small text、handwriting、language/script、complex merged tables、multi-column reading order、footnote/header/footer、checkbox、stamp/signature、nested tablesでerror classが異なる。 - confidence scoreはcalibration済みbusiness correctnessを自動保証しない。fieldごとのthreshold/human review policyが必要。 - table cell textが正しくてもrow/column spanやheader associationが誤れば計算・RAG chunkは破損する。 - domain parserは未定義fieldを落とす可能性があり、schema coverageとextraction precision/recallを分離する。 - downstream LLMが抽出JSONを再解釈して誤る可能性があるため、processor accuracyとanswer accuracyを混同しない。 - benchmark/public sampleは特定tenant・特定document distributionの保証ではない。 ## AVAILABILITY_GATES provider / cloud region / processor type / API revision / model version / language / input MIME / page and file-size limit / sync-vs-async path / pricing tier / custom-training requirement / preview-vs-GAを個別確認する。Microsoft v4へのmigration、Google processor version、AWS FeatureTypesをcurrent claimとして再確認する。 ## IMPLEMENTATION_STATE Microsoft Azure Document Intelligence、Google Cloud Document AI、Amazon Textractはいずれもmanaged document-processing層を現行提供。実装方式・schema・versioningは相互に同一ではない。共通Coreではvendor-neutralなDocument Extraction Contractを置き、provider mappingで各output schemaへ対応させるのが妥当。 ## BENCHMARK_OR_EVAL 公開benchmarkの単一scoreを製品保証へ使わない。後続Workでは自前fixtureを優先し、少なくとも OCR CER/WER、reading-order error、table cell accuracy、row/column topology、key-value F1、domain-field exact/normalized match、page-anchor accuracy、abstention/empty-field behavior、latency、cost/pageを別々に測る。document class別・language別・scan quality別にsliceする。 ## SECURITY / PRIVACY / AUDIT / COST / OPERABILITY - 文書はPII、契約情報、財務情報を含み得るため、processing region、retention/logging、encryption、access control、human review経路をproviderごとに確認する。 - extraction output自体もsensitive derived dataとしてACL/retention対象にする。 - auditには source document hash/version、processor/model/API version、config/features、timestamp、output artifact ID、confidence、human correctionを保持する。 - costはpage/processor課金、custom training、LLM downstream token、human reviewを別meter化する。 - migration/deprecationを監視し、同一fixtureでprocessor version regressionを行う。 ## SAFE_WORDING_FOR_FUTURE_BOOK 「企業AIの文書入力は、LLMへPDFを渡す処理だけで完結しない。OCR、レイアウト、表、フォーム、業務field抽出は独立したDocument Intelligence層として実装でき、主要cloudはversioned processor/APIを提供している。ただし文字認識・構造抽出・業務field抽出・最終回答は別々の品質段階であり、一段の成功を後段の正確性へ外挿してはならない。」 ## UPDATE_WORK_HANDOFF Core候補: DOCUMENT EXTRACTION CONTRACT fields: source_document_id/hash/version; page; bounding geometry; raw text; reading order; block type; table/cell coordinates and spans; key/value linkage; entity/schema field; normalized value; confidence; processor/provider/model/API version; config/features; language; extraction timestamp; source locator; human correction; ACL; retention. Provider mappingではAzure Document Intelligence / Google Document AI / Amazon Textractをこのcontractへmappingする。将来Microsoft/Google/AWS以外を追加しても同じcontractで比較する。 ## TEST_PROFILE synthetic + redistributable non-sensitive documentsを用意し、clean PDF / noisy scan / rotated / multi-column / merged-table / form / invoice / contract-like / multilingualを含める。ground truthをtext・reading order・table topology・field schema・page locatorで別々に持ち、processor単体→LLM downstreamの二段評価を実施する。認証済みtenant live testは未実施。 ## OPEN_UNKNOWN / STOP_CONDITION ## OPEN_UNKNOWN Azure/Google/AWS各serviceの全region・全language・全processorのcurrent availability、各confidence calibration、custom model training/data governance詳細、direct multimodal LLMとの同一fixture比較、independent reproducible benchmarkでのcurrent managed-service横断比較。 ## STOP_CONDITION current official capability/version/limit、structured-output failure envelope、vendor-neutral contract、safe comparative TEST_PROFILEが揃ったためEA-070の先行Evidence Packetはboundedに閉じる。公開後更新時はproduct volatile項目を再確認し、必要なら実測を追加する。 --- NEXT: /agent/start.json STOP: This is a knowledge projection, not an execution order.