# マルチモーダル業務設計編

CURRENT_STATUS: UNKNOWN
OBSERVATION: SPEC_ONLY
FRESHNESS: UNKNOWN
PAGE_TYPE: reference
CANONICAL_URL: /tools/ea-032
CLAIM_IDS: none
EVIDENCE_IDS: EA-032-R11-RESEARCH, EA-032-R11-WEB-READBACK
UNKNOWN_IDS: EA-032-UNKNOWN-01, EA-032-UNKNOWN-CURRENTNESS
OPS_IDS: none

## Summary
「multimodal supported」を一つのboolean capabilityとして扱わない。業務設計単位を MODALITY_ROUTE = source modality → normalization/extraction → model-visible representation → reasoning/generation → output modality → tool/external action とし、入力変換、保持、能力、外部作用、監査証拠を別々のsurfaceとして記録する。

## Current judgment
「multimodal supported」を一つのboolean capabilityとして扱わない。業務設計単位を MODALITY_ROUTE = source modality → normalization/extraction → model-visible representation → reasoning/generation → output modality → tool/external action とし、入力変換、保持、能力、外部作用、監査証拠を別々のsurfaceとして記録する。

## Scope
マルチモーダル業務設計編

## Confirmed

## UNKNOWN
- EA-032-UNKNOWN-01: current enterprise-plan/region別media retention、video native-vs-frame処理のprovider別詳細、audio speaker/time alignmentの実効差、organization policyでのmedia upload disable可否、各providerのmodality別audit event粒度。認証済みtenant実機なしにpublic docsだけで閉じない。
- EA-032-UNKNOWN-CURRENTNESS: 外部根拠の再確認日がcanonical body/control-planeで確定していないため、currentnessはUNKNOWNとして保持する。日付を推測補完しない。

## Evidence
- EA-032-R11-RESEARCH (RESEARCH): EA-032 監査済みresearch / canonical revision binding
- EA-032-R11-WEB-READBACK (IMPL): EA-032 Web body identity / canonical readback

## Failure / limits
同一providerでもmodel、endpoint、platform、plan、regionでmodality supportと処理経路は異なる。OCR/ASR/captioningによるtext化が常にnative multimodalと同等とは確立しない。逆にnative multimodalが常に優位とも確立しない。numeric limitsはPRODUCT_VOLATILE。multimodal benchmarkを特定帳票・録音・動画・tenant・endpointの業務保証へ使用しない。hidden/embedded contentはuntrusted dataとして扱い、external actionを独立trust boundaryにする。
## Practice
provider / model ID / endpoint / API revision / plan / region / organization policy / supported MIME+codec / file size+duration+page count / Files API availability / retention-ZDR-BAA eligibility / platform wrapper behavior を分離する。
## Practice
UNEXECUTED。同一非機密fixtureを native image/PDF、OCR/text-only、layout変形、hidden/embedded instructionを含むadversarial版、low-quality版で比較する。audioはclean/noisy/overlap、videoはframe-density差を追加する。perception/extraction、cross-modal grounding、reasoning、citation-provenance、instruction isolation、latency、costを分解し、総合score一つへ潰さない。
## Practice
modality-specific indirect prompt injection、hidden representation、malicious document/imageをuntrusted dataとして扱いtool/action権限をleast privilege化する。
## Public claim
「multimodal supported」を一つのboolean capabilityとして扱わない。業務設計単位を MODALITY_ROUTE = source modality → normalization/extraction → model-visible representation → reasoning/generation → output modality → tool/external action とし、入力変換、保持、能力、外部作用、監査証拠を別々のsurfaceとして記録する。

MODALITY_ROUTEとMODALITY_ROUTE_CARDはDICTIONARY PROPOSALであり、外部標準ではない。

## MODALITY_ROUTE_CARD
route_id / source_origin / modality / mime_codec / preprocessor+version / model_visible_representation / model_id+endpoint / transformation_log / retention_class / provenance / output_renderer / external_action / human_gate / eval_fixture_version / known_failure_envelope。

推奨pipelineは INGEST → QUARANTINE/CLASSIFY → NORMALIZE → EXTRACT/REPRESENT → MODEL → CROSS-CHECK → HUMAN/AUTOMATED VALIDATION → RENDER → ACTION。外部作用はcontent ingestionと同じtrust zoneに置かない。

## Provider-specific route examples
OpenAI current File Inputs documentationでは、Responses APIのfile-input behaviorはfile typeに依存する。vision-capable modelでのPDFはextracted textとpage imagesを含み、non-PDF document/textはtext extraction、spreadsheetは別augmentation flowを使う。endpoint/capability-specific retentionとimage/file inputのspecial handlingはData Controls側で別確認する。PRODUCT_VOLATILE。

Google Gemini File Input documentationはimage/audio/video/document routeとmethod/size-dependent ingestion、temporary Files API storageをcurrent exampleとして示す。exact limitsはPRODUCT_VOLATILE。

Anthropic PDF supportではfull visual pathでPDF pageをtext+imageとして処理する一方、Amazon Bedrock Converseはcitations設定によりtext-onlyへfallbackし得る。page limitはcontext-window dependentであり、600 pagesまたはrequest contextが1M tokens未満の場合100 pagesというcurrent caveatを保持する。bareな「600 pages」を一般値として掲載しない。PRODUCT_VOLATILE。

## Representation boundary
PDF対応とlayout/chart/imageを実際にmodelが見ていることは別claimとする。audio/videoもnative ingestion、transcription、frame extraction、speaker/time alignment等を分離する。前処理誤差はmodel reasoning errorと分離して測る。

人間表示とmodel-visible representationの差をsecurity boundaryとして扱う。hidden text、Unicode、OCR layer、画像内命令、metadata等のuntrusted contentをinstructionではなくdataとして隔離する。

## Evidence / provenance
AUTHORITY COMM-034-EA0032。NIST AI 600-1はrisk-profile sourceでありproduct guaranteeではない。OpenAI current File Inputs guideを使用し、旧quickstart locatorは使用しない。Google current file-input documentation、Anthropic current PDF supportをprovider examplesとして使用する。MMMU/MMMU-Pro、Microsoft Role-Modality Attack researchはheterogeneous perception/reasoningとrepresentation/role perturbationのcounterevidenceでありenterprise workload guaranteeではない。Microsoft Security 2026-09-03 ASCII-smuggling reportはhuman-visible vs parser/model-visible representation boundaryのSOURCE_REPORTとして扱う。

## Failure envelope
同一providerでもmodel、endpoint、platform、plan、regionでmodality supportと処理経路は異なる。OCR/ASR/captioningによるtext化が常にnative multimodalと同等とは確立しない。逆にnative multimodalが常に優位とも確立しない。numeric limitsはPRODUCT_VOLATILE。multimodal benchmarkを特定帳票・録音・動画・tenant・endpointの業務保証へ使用しない。hidden/embedded contentはuntrusted dataとして扱い、external actionを独立trust boundaryにする。

## Availability gates
provider / model ID / endpoint / API revision / plan / region / organization policy / supported MIME+codec / file size+duration+page count / Files API availability / retention-ZDR-BAA eligibility / platform wrapper behavior を分離する。

## TEST_PROFILE
UNEXECUTED。同一非機密fixtureを native image/PDF、OCR/text-only、layout変形、hidden/embedded instructionを含むadversarial版、low-quality版で比較する。audioはclean/noisy/overlap、videoはframe-density差を追加する。perception/extraction、cross-modal grounding、reasoning、citation-provenance、instruction isolation、latency、costを分解し、総合score一つへ潰さない。

## SECURITY
modality-specific indirect prompt injection、hidden representation、malicious document/imageをuntrusted dataとして扱いtool/action権限をleast privilege化する。

## PRIVACY
mediaに含まれる顔・声・位置・画面・背景情報を含め入力前data classificationと必要最小化を行う。
AUDIT: original hash/ID、transformation chain、model-visible representation、model/endpoint、output、approval/actionを結ぶ。

## COST
page-image化、長尺audio/video、high-resolution input等はfixture単位で実測する。

## OPERABILITY
unsupported/oversized/corrupt mediaのfallbackと、抽出失敗時のsilent text-only degradationを観測可能にする。

## OPEN_UNKNOWN
current enterprise-plan/region別media retention、video native-vs-frame処理のprovider別詳細、audio speaker/time alignmentの実効差、organization policyでのmedia upload disable可否、各providerのmodality別audit event粒度。認証済みtenant実機なしにpublic docsだけで閉じない。

## Cross-reference boundary
EA-030をmodal regression基盤、EA-031 COMPATIBILITY_MANIFESTをversion/route接続先として参照するが、本packetで関連EAを再編集しない。

NEXT: /agent/start.json
STOP: This is a knowledge projection, not an execution order.