GPU health diagnostics→自動quarantine/drain/remediation

GPU障害対応は、監視アラートから直接rebootやnode交換へ飛ばさず、detect → classify → quarantine/cordon → drain → remediation → re-diagnosis → recovery の状態遷移として管理する。NVIDIA NVSentinelはKubernetes向けGPU fault detection/remediation systemとして、GPU health・system log・cloud maintenance eventを監視し、faulty nodeのcordon、workload drain、break-fix workflowを自動実行する。GPU health monitorはDCGMを利用してthermal issue、ECC error、XID event等を扱い、syslog health monitorはXID/SXID、GPU fell off the bus等を扱う。citeturn0search0turn0search4

GPU Operator/device plugin側でも、critical XIDを検知したGPUをunhealthyとしてAllocatableから外す挙動がある。これは「device単位の割当停止」と「node全体のquarantine/drain/remediation」が別レイヤーであることを意味する。GPU単体をunhealthyにしただけで、既存workload退避やnode修復まで完了したと扱わない。citeturn0search8

自動化の最大の危険は、単一のhealth signalを即時の破壊的remediationへ直結することである。誤検知、driver/service側の共通障害、cluster-wide event、監視系自身の障害で多数nodeを同時cordon/drainすると、GPU故障そのものより大きなavailability incidentを作り得る。NVSentinelのfault-quarantineには、一定割合を超えるmass cordonを抑止するcircuit breakerが用意されている。citeturn0search16

drainも必ず成功するわけではない。PodDisruptionBudgetやstuck pod等でdrain-failedになり得て、その場合は自動remediationへ進まずmanual interventionが必要になる。remediation-failedもterminal stateとして扱われる。したがって「cordonしたので復旧処理まで進んだ」と推定せず、state readbackを要求する。citeturn0search2

逆方向では、復旧後にhealth checkが通ったことを確認せずuncordonすると、同じfaulty GPUへworkloadを戻す危険がある。NVSentinel runbookはhealth checkがpassした場合のautomatic uncordonを前提としており、recoveryはremediation action実行ではなく再診断成功まで含めて閉じる。citeturn0search2

• health eventを正規化する event_id, node, gpu_uuid, source, check_name, error_code, severity/is_fatal, recommended_action, first_seen, last_seen, evidence_locatorを保存する。XID、ECC、thermal、NVLink、driver/system failureを同一のboolean healthへ潰さない。

• quarantine policyをsignalから分離する health monitorは事実をevent化し、cordon/taintは別policyで決める。fatality、error code、再発回数、node role、maintenance state等を条件にし、例外とdry-runを持たせる。NVSentinelもplatform connectorとfault-quarantineを別責務にしている。citeturn0search17

• mass-failure circuit breakerを必須化する 同時quarantine数またはcluster比率に上限を設け、閾値超過時は自動cordonを停止してhuman escalationへ切り替える。cluster-wide driver regressionやmonitor false positiveを個別GPU故障として処理しない。citeturn0search16

• drain policyをworkload class別にする 即時evict、completion待ち、timeout後delete等をnamespace/workload classで分ける。分散trainingやcheckpoint可能jobでは、blind evictionではなくscheduler/job-controllerとの協調を選ぶ。NVSentinel node-drainerはImmediate、AllowCompletion、DeleteAfterTimeoutを提供し、custom drain pluginも許容する。citeturn0search6turn0search11

• remediation actionを段階化する reset eligibleなfaultではGPU reset、node-level faultではreboot、hardware replacementが必要ならbreak-fixへ送る。NVSentinelはrecoverable GPU faultに個別GPU resetを利用できる。action実行前にdrain completionをreadbackする。citeturn0search0

• re-diagnosisをrelease gateにする remediation後はDCGM/NVML/XID、必要ならinterconnect preflightを再実行し、passしたnodeだけをuncordonする。NVSentinel Preflightはpod admission時にdiagnostic init containerを注入し、NCCL等でinterconnect pathも検査できる。citeturn0search10

• 監査可能な状態遷移を残す detected_at → quarantined_at → drain_started → drain_succeeded/failed → remediation_started → remediation_succeeded/failed → health_recheck → uncordonedをevent IDと結び、各transitionのactor、policy version、readbackを保存する。

NVSentinelはNVIDIA GPUを使うKubernetes cluster向けの具体的実装であり、すべてのGPU scheduler/cluster managerへ同じCRDやlabelを適用できるわけではない。ただし、monitoring、quarantine、drain、remediation、recoveryを責務分離する設計原則は他のGPU fleet managementにも移植できる。

DCGM Exporterのhealth statusはPASS/WARN/FAILとhealth watch/error metadataを公開できるが、Prometheus metric単独を破壊的remediationの唯一のtriggerにする必要はない。metricsは観測、quarantine policyはaction decisionとして分離する。citeturn0search15

NVIDIA DRA DriverのNVMLDeviceHealthCheckはXIDを用いたGPU/MIG health monitoringを提供するが、GPU Operator 25.10文書ではalpha featureでdefault disabledである。環境のdriver/operator/DRA versionを確認せず、同機能が利用可能と仮定しない。citeturn0search3

XIDは重要なdiagnostic signalだが、すべてのXIDが同じseverity・remediationを意味するわけではない。critical XIDでdevice pluginがGPUをunhealthyにする例は確認できるが、error mappingと推奨actionはversion・hardware・driverで変わり得る。XID番号だけを固定ルール化せず、current mappingとvendor guidanceをversioned evidenceとして扱う。citeturn0search8

自動drainはavailabilityを守る一方、checkpoint前のtraining jobやstateful workloadを中断する可能性がある。逆にcompletion待ちを長くし過ぎるとfaulty hardware上で計算を続け、silent corruptionや追加failureのriskがある。workload criticalityとfault severityの組合せでpolicyを分ける必要がある。

また、health-monitoring infrastructure自体が壊れた場合、event absenceはhealthyの証拠にならない。monitor daemon、platform connector、data store、Kubernetes API、remediation controllerのlivenessを別に監視し、観測不能状態をhealthyへ畳み込まない。

• XID/ECC/NVLink fault種別ごとのreset/reboot/replace判定を、現行GPU SKU・driver versionでどこまで自動化できるか。
• MIG環境でGPU instance単位のfault containmentとnode-level quarantineをどう使い分けるか。
• distributed training schedulerとdrain pluginを接続した際のcheckpoint/eviction ordering。
• cluster-wide driver regressionと独立hardware faultを自動識別するための最小cross-node evidence。
• false-positive quarantine率とmissed-failure率の実測SLO。

「GPU health automationは、診断signalを直接rebootへ結び付けず、detect・classify・quarantine・drain・remediation・再診断・recoveryを明示的な状態遷移として管理する。critical GPU faultでは新規割当停止に加えて既存workloadの安全な退避を検討し、mass quarantine用circuit breaker、drain/remediation失敗時のhuman escalation、復旧前のhealth readbackを設ける。」

• NVIDIA NVSentinel Overview, v1.26.0 / latest documentation, accessed 2026-10-20.
• NVIDIA NVSentinel Data Flow, GPU/Syslog health monitor and platform connector flow, accessed 2026-10-20.
• NVIDIA NVSentinel Fault Quarantine, circuit breaker and rule-based quarantine, accessed 2026-10-20.
• NVIDIA NVSentinel Node Drainer / Drain Plugin documentation, accessed 2026-10-20.
• NVIDIA NVSentinel Cordoned Nodes runbook, terminal drain/remediation failure states and recovery behavior, accessed 2026-10-20.
• NVIDIA NVSentinel Preflight documentation, accessed 2026-10-20.
• NVIDIA GPU Operator 25.10 Troubleshooting, XID critical error/device unhealthy behavior, accessed 2026-10-20.
• NVIDIA DRA Driver for GPUs 25.10, NVMLDeviceHealthCheck, accessed 2026-10-20.
• NVIDIA DCGM Exporter Metrics, GPU health status fields, accessed 2026-10-20.