Edge AI／完全オフライン運用編 — on-device / edge / local / offline / air-gapped を分離し、端末推論から完全オフライン運用までの成立条件を定義する

EA-009でセルフホストを扱っても、モデルを自前で動かすことと、端末・工場・現場・閉域環境でネットワーク無しに業務系全体が成立することは別問題である。Edge AIは推論配置を示しても、モデル取得、runtime、accelerator driver、license/entitlement、update、telemetry、identity、外部tool/APIがオンライン依存なら「完全オフライン」ではない。更新版では、低遅延・privacy・可用性を期待してedge化したシステムにhidden online dependencyが残る失敗を防ぐ必要がある。

• Enterprise AI Core: deployment topology / availability / failure envelope / lifecycle / observability
• implementation: on-device runtime、AOT/export、accelerator/backend、artifact packaging
• non-LLM component: CV/ASR/TTS/classic ML/GenAIを含むedge inference全般
• security/governance: egress、supply chain、offline update、device custody、audit
• benchmark: latency / memory / energy / quality / sustained thermal behavior

Q1. on-device inferenceが成立しても、完全オフライン運用が成立したとは言えないのではないか。 Q2. edge / local / offline / air-gappedをどの運用境界で分離すべきか。 Q3. 完全オフラインを証明するにはmodelだけでなく、runtime・driver・application・licensing・update・telemetry・external serviceまで何を試験すべきか。 Q4. edge accelerator最適化は移植性・精度・電力・thermal・更新性にどのような追加gateを作るか。

[E10-01] source class: official implementation documentation exact title: Welcome to the ExecuTorch Documentation / How ExecuTorch Works author/org: PyTorch / Linux Foundation ecosystem canonical URL: https://docs.pytorch.org/executorch/stable/ publication/update/access: ExecuTorch 1.3 docs / accessed 2026-09-11 version/release: documentation 1.3 supporting locator: edge devices; export -> compile to ExecuTorch Program -> execute on target; CPU/GPU/NPU/DSP backends; mobile/embedded/microcontroller support label: VERIFIED_SPEC / OSS_PRACTICE relation: support/context establishes: edge inferenceはmodel weights単体ではなく、事前export/compile、target-specific backend、runtimeというdeployment chainを持つ。 does_not_establish: ExecuTorch採用システムがネットワーク非依存、air-gapped、安全であること。

[E10-02] source class: official implementation documentation exact title: LiteRT: High-Performance On-Device Machine Learning Framework author/org: Google canonical URL: https://developers.google.com/edge/litert publication/update/access: last updated 2026-07-17 UTC / accessed 2026-09-11 version/release: current LiteRT docs as-of 2026-09-11 supporting locator: lines 123-125 on-device framework; 160-179 obtain/optimize/run; 182-205 mobile-to-IoT and CPU/GPU/NPU-oriented paths label: VERIFIED_SPEC / PRODUCT_VOLATILE relation: support/context establishes: on-device frameworkはmodel conversion/optimization、runtime、accelerator選択を含み、edge deployment自体は複数platform/hardware経路を持つ。 does_not_establish: model取得、初期provision、update、telemetry等までofflineであること。

[E10-03] source class: official implementation documentation exact title: ONNX Runtime for Inferencing / Get started with ONNX Runtime Mobile author/org: Microsoft / ONNX Runtime project canonical URL: https://onnxruntime.ai/inference publication/update/access: current docs / accessed 2026-09-11 version/release: current documentation as-of 2026-09-11 supporting locator: cloud/edge/mobile/browser support; Mobile runs inference on Android/iOS; execution providers expose device-specific acceleration label: VERIFIED_SPEC / OSS_PRACTICE relation: support/context establishes: 共通runtime APIでも、device acceleratorはExecution Providerやplatform package等の追加dependencyを持つ。 does_not_establish: 全operator/modelが全EPで同一挙動・性能になること、完全offline成立。

[E10-04] source class: official product/platform documentation exact title: NVIDIA JetPack / JetPack SDK Downloads and Notes author/org: NVIDIA canonical URL: https://developer.nvidia.com/embedded/jetpack publication/update/access: accessed 2026-09-11; downloads page current JetPack 7.2.1 / Jetson Linux 39.2.1 version/release: JetPack 7 series; downloads page lists 7.2.1, CUDA 13.2.1, TensorRT 10.16.2 supporting locator: JetPack is official software stack for Jetson; OS/kernel/drivers/AI compute stack are part of the edge platform label: VERIFIED_SPEC / PRODUCT_VOLATILE relation: support/context establishes: edge applianceはmodel runtimeだけでなくBSP/kernel/driver/CUDA/TensorRT等のversioned stackとして管理すべきである。 does_not_establish: Jetsonがデフォルトでair-gapped、またはonline dependencyを一切持たないこと。

[E10-05] source class: official terminology / security glossary exact title: air gap - Glossary | CSRC author/org: NIST CSRC; source CNSSI 4009-2022 / IETF RFC 4949 Ver 2 canonical URL: https://csrc.nist.gov/glossary/term/air_gap publication/update/access: source CNSSI 4009-2022 / accessed 2026-09-11 version/release: glossary definition current as-of access supporting locator: systems are not connected physically and logical connection is not automated; transfer is manual under human control label: VERIFIED_SPEC relation: boundary/counter establishes: 「offline」と「air-gapped」は同義ではない。air gapは接続関係そのものに強い条件を置く。 does_not_establish: air gapだけでendpoint/supply-chain/insider riskが消えること。

[E10-06] source class: benchmark specification/results exact title: Benchmark MLPerf Inference: Tiny author/org: MLCommons canonical URL: https://mlcommons.org/benchmarks/inference-tiny/ publication/update/access: accessed 2026-09-11 version/release: page lists latest suite version v1.3 supporting locator: single-stream latency; task-specific quality thresholds; optional energy benchmarking label: RESEARCH / VERIFIED_SPEC relation: support/limit establishes: constrained edge評価ではlatencyだけでなくqualityを維持し、energyも独立計測軸にできる。 does_not_establish: MLPerf Tiny結果がLLM/GenAIや特定企業端末の実性能を保証すること。

• 用語境界を固定する。
• ON-DEVICE: inference executionが対象端末上で行われる。network dependencyの有無は含意しない。
• EDGE: centralized cloud/data centerより利用地点・sensor/actuatorに近い計算配置。on-deviceを含み得るが、gateway/edge serverやcloud control planeと併用し得る。
• LOCAL: 組織/利用者が管理する近傍runtimeで処理するという運用語。物理配置・network isolationの強さは別途記録する。
• OFFLINE-CAPABLE: 特定の運用期間・機能についてWAN/Internet無しで成立する。初期provisionやupdateがonlineでもよい場合があるためscopeを明記する。
• FULLY OFFLINE: 必要artifactが事前配置された後、対象業務のruntime pathがnetworkに依存せず成立することを実測で確認した状態。どこまでをsystem boundaryに含めたか必須。
• AIR-GAPPED: NIST/CNSSI系定義に沿い、物理接続なし・自動logical connectionなし、移送が人手管理される強い分離。単なるfirewall/egress deny/offline modeをair-gapと呼ばない。

• 完全オフラインは「モデル特性」ではなくend-to-end system propertyである。最低でも以下をdependency graph化する。 model artifact / tokenizer・pre/post processor / inference runtime / accelerator backend・driver・firmware / application assets / config・policy / identity・license・entitlement / secrets・certificates・clock / data store / external tool・API / telemetry・crash reporting / update・rollback / package repository。

• ExecuTorch、LiteRT、ONNX Runtimeはいずれもon-device/edge inferenceを成立させる実装だが、backend/delegate/Execution Providerやplatform packageによりhardware dependencyが変わる。よって「runtime名」だけでは可搬性を表現できない。MODEL + RUNTIME + BACKEND/EP + DRIVER/FIRMWARE + DEVICE/OSをversion tupleとして保存する。

• NVIDIA JetPackのようなedge stackではBSP/kernel/driver/CUDA/TensorRTまで連鎖する。edge applianceの再現性・rollbackはmodel versionだけでなくplatform stackのpinningが必要である。

• Edge化の典型的利点（低latency、network loss時の可用性、raw dataを外へ出さない設計余地）は、ネットワークを使わないという事実から自動的にsecurity/privacy保証へ昇格しない。端末盗難、local privilege、malicious media、model/runtime supply chain、物理port、removable media、operator errorは残る。

• edge性能評価はpeak benchmarkだけで閉じない。品質、TTFT/latency、throughput、memory、storage、energyに加え、長時間運転時のtemperature / clock / throttling / battery・power stateを記録する。MLPerf Tinyはlatency+quality+optional energyという測定分離の参考になるが、GenAIの業務保証には外挿しない。

• local inference成功だけではoffline証明にならない。初回model download、license check、SSO/token refresh、remote config、DNS、certificate validation、NTP/time、package fetch、telemetry/crash upload、RAG/DB/API/tool call、update checkerが隠れたonline dependencyになり得る。
• 「egressをfirewallで遮断して動いた」はair-gap証明ではない。
• offline化によりcloud-side central logging/patching/policy distributionが弱くなり、端末ごとのconfiguration drift、未更新脆弱性、audit回収遅延が増える可能性がある。
• accelerator delegate/EPのunsupported op fallbackにより、想定NPU/GPUではなくCPUへ落ちてlatency・power・thermalが崩れる場合がある。対応表だけで実端末性能を保証しない。
• quantization/optimizationでmemoryと速度を改善してもquality regressionの可能性がある。EA-009同様、元modelとの差分受入試験が必要。
• removable mediaでair gapを越える場合、その媒体が更新・data exfiltration・malware侵入のcontrol pointになる。

hardware: CPU/GPU/NPU/DSP capability、RAM/VRAM/shared memory、storage、thermal design、power budget。 software: OS/BSP、driver/firmware、runtime version、delegate/EP/operator support、compiler/export toolchain。 artifact: model size/license、tokenizer/preprocessor、quantization format、signature/hash。 network/offline: required online activation、model/package download、identity/token refresh、external API/RAG、telemetry/update endpointの有無。 operations: offline mirror、signed media、time/certificate policy、patch window、rollback artifact、log回収経路。 physical: device custody、ports、removable media、debug interfaces。air-gapを主張する場合はnetwork topology自体を別監査する。

• ExecuTorch 1.3: maintained edge runtime/documentation。mobile/embeddedからaccelerator backendまでproduction-oriented implementationあり。
• LiteRT: Googleのcurrent on-device ML/GenAI framework。TFLite系譜を継承し、mobile/desktop/web/embedded、CPU/GPU/NPU向け経路を提供。
• ONNX Runtime Mobile: maintained mobile/edge inference runtime。Execution Providerでplatform accelerationを分離。
• NVIDIA JetPack/TensorRT: Jetson edge platformのversioned OS/driver/accelerated inference stack。
• air gap: deployment mode/security architectureでありAI runtimeの機能ではない。

将来本文では「edgeが速い」ではなく最低限以下を同時に記録する。 - task quality: accuracy/F1/WER/CER/Recall@kまたは業務golden-set score - cold start / warm start latency、GenAIならTTFT/TPOT - sustained throughput and p95/p99 - peak / steady memory、storage footprint - energy per inference / average power（測定可能時） - thermal steady state / throttle onset / clock degradation - accelerator placementとCPU fallback率 - network attempts count under blocked egress - offline functional completion rate MLPerf Tiny v1.3はquality threshold、single-stream latency、optional energyの分離を示す参考規格としてのみ使い、LLM/製品保証へ外挿しない。

egress削減とattack surface削減を同一視しない。artifact signature/hash、SBOM/provenance、secure boot/OS patch、device encryption、least privilege、port/media controlを別管理する。

raw dataをdevice外へ送らない構成はdata minimizationに有利だが、local logs/cache/model prompt historyのretentionと端末紛失時保護が必要。 AUDIT: offline期間中のappend-only local audit、clock source、log integrity、後日のcontrolled exportを設計する。中央監査への即時送信が無いことを明示する。

cloud token/API feeだけでなくdevice acquisition、accelerator、storage、電力、fleet patching、交換、現地保守をTCOへ含める。

golden image、artifact manifest、offline package mirror、signed update bundle、rollback bundle、health check、capacity/thermal monitoringを運用単位にする。

「オンデバイス推論は完全オフライン運用の必要条件になり得るが、十分条件ではない。完全オフラインは、モデル、runtime、accelerator/driver、アプリケーション、認証・ライセンス、更新、telemetry、外部サービスまで含む対象system boundaryにruntime network dependencyがないことを実測して初めて主張できる。air-gappedはさらに強く、単なるoffline modeやegress遮断と同義ではない。」

• EDGE_DEPLOYMENT_MANIFESTを新設候補とする: MODEL_ID/HASH, TOKENIZER, RUNTIME, BACKEND_OR_EP, DRIVER/FIRMWARE, DEVICE, OS/BSP, QUANTIZATION, APP_VERSION, REQUIRED_ARTIFACTS, ONLINE_DEPENDENCIES, UPDATE_ROUTE, LOG_EXPORT_ROUTE。
• provider/runtime比較表は「edge対応○×」ではなく、supported platform、accelerator、offline inference、initial download、runtime package、custom op、fallback、update、telemetry、license/activationを列にする。
• TEST_PROFILE-OFFLINE-01: 全artifact事前配置→再起動→DNS sinkhole +全egress deny→対象業務をcold startから完走。packet capture/firewall logで外向きattemptを記録し、機能依存と単なるbest-effort telemetryを分離する。未実施。
• TEST_PROFILE-OFFLINE-02: model/runtime/application cacheを意図的に消した状態でoffline起動し、何がprestage必須か確定する。未実施。
• TEST_PROFILE-PROVISION-01: 新規端末をnetwork無しでprovision可能かをruntime offlineと別に測る。online provisioningが必要なら「offline-capable after provisioning」と書く。未実施。
• TEST_PROFILE-TIME-01: clock skew / expired certificate / token expiryを安全なtest environmentで再現し、hidden identity/time dependencyを検出。未実施。
• TEST_PROFILE-THERMAL-01: 定常負荷を十分長く継続し、quality、latency、throughput、power、temperature、clock、OOMを時系列収集。未実施。
• TEST_PROFILE-AIRGAP-01: air-gap対象のみ、physical/logical topology、removable-media transfer、update/signature verification、audit exportをnetwork testとは別監査する。未実施。
• 公開直前にExecuTorch/LiteRT/ONNX Runtime/JetPackのcurrent release/support matrixを再採集する。PRODUCT_VOLATILE。

/ STOP_CONDITION

• runtimeごとのtelemetry/update endpointや初回network requirementはplatform/package/buildによって異なるため、一律には閉じない。
• edge acceleratorのoperator fallback・精度・thermal挙動は具体device/model/runtime tupleなしでは確定しない。
• 「完全オフライン」のsystem boundaryは業務ごとに異なる。identity、RAG、logging、updateを境界外へ追い出して見かけ上offlineとする記述は禁止。

• on-device/edge/offline/air-gapの境界が定義され、主要runtime/platformの実装chainとhidden dependencyの検査項目、benchmark/eval軸、security/operability、未実施TEST_PROFILEが後続Workへ渡せる粒度に達したためEA-010をBOUNDED_CLOSEとする。

RUN_STATUS: BOUNDED_CLOSE

• Current edge/on-device runtimes reinforce the canonical distinction between “inference can run offline” and “the complete application/operation is air-gapped.”
• Apple Core ML states that once a model is on-device, inference can run without a network connection, while separate documentation supports downloading/compiling models after installation; acquisition/update can remain an online dependency.
• Apple's Core AI supports entirely on-device inference and can bundle or download model artifacts, separating inference locality from artifact-distribution dependency.
• Google LiteRT runs inference on-device across multiple platforms and its offline showcase demonstrates local execution, while runtime/toolchain/accelerator compatibility remains a separate dependency.
• ONNX Runtime's edge guidance lists offline operation as a benefit but also calls out model-size and hardware limitations.
• “Edge”, “on-device”, “local”, “offline”, and “air-gapped” remain non-equivalent deployment claims.

• https://developer.apple.com/documentation/coreml
• https://developer.apple.com/documentation/coreml/downloading-and-compiling-a-model-on-the-user-s-device
• https://developer.apple.com/documentation/CoreAI/integrating-on-device-ai-models-in-your-app-with-core-ai
• https://developers.google.com/edge/litert/overview
• https://developers.google.com/edge/litert-lm/overview
• https://onnxruntime.ai/docs/tutorials/iot-edge/

• Local inference does not prove offline model acquisition, license/entitlement validation, update, telemetry, identity, tool/API access, or recovery.
• An application that downloads its model or required runtime at first launch is not ready for a sealed air-gapped environment without pre-provisioning.
• Hardware acceleration depends on device/runtime/driver/toolchain compatibility and may fall back or fail.
• Offline operation requires local observability, artifact verification, clock/identity strategy, rollback media, and incident/recovery procedures.
• No air-gapped hardware lab test was performed in this rescue.

Describe edge/on-device as placement properties. Claim “offline” only for the bounded functions verified without network, and claim “air-gapped operation” only after model/runtime artifacts, entitlement, identity, tools, updates, telemetry, logging, rollback, and recovery are proven to work inside the closed environment.

• device-specific accelerator fallback and performance;
• offline entitlement/license validation for specific products;
• pre-provisioning and update procedures for organization-specific air-gapped estates;
• failure/recovery behavior when external dependencies are unavailable for long periods.

PASS_FOR_BOUNDED_BASE_REVISION.

• target: content/staging/EA-010.md
• base repository commit: 97d3d104ae0b16a95e7dffddc3a8cb327795a796
• path precondition: ABSENT
• candidate: V21-CANDIDATE-EA010-BASE-20261011-C1
• READY: NOT_CREATED
• AUDIT_PASS: NOT_CLAIMED
• GIT_WRITE: NOT_PERFORMED