マルチモーダル業務設計編

「multimodal supported」を一つのboolean capabilityとして扱わない。業務設計単位を MODALITY_ROUTE = source modality → normalization/extraction → model-visible representation → reasoning/generation → output modality → tool/external action とし、入力変換、保持、能力、外部作用、監査証拠を別々のsurfaceとして記録する。

MODALITY_ROUTEとMODALITY_ROUTE_CARDはDICTIONARY PROPOSALであり、外部標準ではない。

route_id / source_origin / modality / mime_codec / preprocessor+version / model_visible_representation / model_id+endpoint / transformation_log / retention_class / provenance / output_renderer / external_action / human_gate / eval_fixture_version / known_failure_envelope。

推奨pipelineは INGEST → QUARANTINE/CLASSIFY → NORMALIZE → EXTRACT/REPRESENT → MODEL → CROSS-CHECK → HUMAN/AUTOMATED VALIDATION → RENDER → ACTION。外部作用はcontent ingestionと同じtrust zoneに置かない。

OpenAI current File Inputs documentationでは、Responses APIのfile-input behaviorはfile typeに依存する。vision-capable modelでのPDFはextracted textとpage imagesを含み、non-PDF document/textはtext extraction、spreadsheetは別augmentation flowを使う。endpoint/capability-specific retentionとimage/file inputのspecial handlingはData Controls側で別確認する。PRODUCT_VOLATILE。

Google Gemini File Input documentationはimage/audio/video/document routeとmethod/size-dependent ingestion、temporary Files API storageをcurrent exampleとして示す。exact limitsはPRODUCT_VOLATILE。

Anthropic PDF supportではfull visual pathでPDF pageをtext+imageとして処理する一方、Amazon Bedrock Converseはcitations設定によりtext-onlyへfallbackし得る。page limitはcontext-window dependentであり、600 pagesまたはrequest contextが1M tokens未満の場合100 pagesというcurrent caveatを保持する。bareな「600 pages」を一般値として掲載しない。PRODUCT_VOLATILE。

PDF対応とlayout/chart/imageを実際にmodelが見ていることは別claimとする。audio/videoもnative ingestion、transcription、frame extraction、speaker/time alignment等を分離する。前処理誤差はmodel reasoning errorと分離して測る。

人間表示とmodel-visible representationの差をsecurity boundaryとして扱う。hidden text、Unicode、OCR layer、画像内命令、metadata等のuntrusted contentをinstructionではなくdataとして隔離する。

AUTHORITY COMM-034-EA0032。NIST AI 600-1はrisk-profile sourceでありproduct guaranteeではない。OpenAI current File Inputs guideを使用し、旧quickstart locatorは使用しない。Google current file-input documentation、Anthropic current PDF supportをprovider examplesとして使用する。MMMU/MMMU-Pro、Microsoft Role-Modality Attack researchはheterogeneous perception/reasoningとrepresentation/role perturbationのcounterevidenceでありenterprise workload guaranteeではない。Microsoft Security 2026-09-03 ASCII-smuggling reportはhuman-visible vs parser/model-visible representation boundaryのSOURCE_REPORTとして扱う。

同一providerでもmodel、endpoint、platform、plan、regionでmodality supportと処理経路は異なる。OCR/ASR/captioningによるtext化が常にnative multimodalと同等とは確立しない。逆にnative multimodalが常に優位とも確立しない。numeric limitsはPRODUCT_VOLATILE。multimodal benchmarkを特定帳票・録音・動画・tenant・endpointの業務保証へ使用しない。hidden/embedded contentはuntrusted dataとして扱い、external actionを独立trust boundaryにする。

provider / model ID / endpoint / API revision / plan / region / organization policy / supported MIME+codec / file size+duration+page count / Files API availability / retention-ZDR-BAA eligibility / platform wrapper behavior を分離する。

UNEXECUTED。同一非機密fixtureを native image/PDF、OCR/text-only、layout変形、hidden/embedded instructionを含むadversarial版、low-quality版で比較する。audioはclean/noisy/overlap、videoはframe-density差を追加する。perception/extraction、cross-modal grounding、reasoning、citation-provenance、instruction isolation、latency、costを分解し、総合score一つへ潰さない。

modality-specific indirect prompt injection、hidden representation、malicious document/imageをuntrusted dataとして扱いtool/action権限をleast privilege化する。

mediaに含まれる顔・声・位置・画面・背景情報を含め入力前data classificationと必要最小化を行う。 AUDIT: original hash/ID、transformation chain、model-visible representation、model/endpoint、output、approval/actionを結ぶ。

page-image化、長尺audio/video、high-resolution input等はfixture単位で実測する。

unsupported/oversized/corrupt mediaのfallbackと、抽出失敗時のsilent text-only degradationを観測可能にする。

current enterprise-plan/region別media retention、video native-vs-frame処理のprovider別詳細、audio speaker/time alignmentの実効差、organization policyでのmedia upload disable可否、各providerのmodality別audit event粒度。認証済みtenant実機なしにpublic docsだけで閉じない。

EA-030をmodal regression基盤、EA-031 COMPATIBILITY_MANIFESTをversion/route接続先として参照するが、本packetで関連EAを再編集しない。