# HELM — Enterprise AI運用での評価・再現性境界

CURRENT_STATUS: CURRENT
OBSERVATION: SPEC_ONLY
FRESHNESS: CURRENT
PAGE_TYPE: reference
CANONICAL_URL: /tools/ea-179-helm-enterprise-ai
CLAIM_IDS: none
EVIDENCE_IDS: EA-179-CURRENT-APPROVAL, EA-179-CURRENT-BODY-READBACK
UNKNOWN_IDS: EA-179-UNKNOWN-01
OPS_IDS: none

## Summary
HELMはStanford CRFMのfoundation-model評価frameworkで、scenario・model interface・metric・artifactを標準化し複数leaderboardを再現可能に扱います。ただし単一の普遍的HELM scoreはなく、結果はsuite・scenario・dataset revision・model/provider ID・prompt/adaptation・metric・HELM versionに依存します。Stanford CRFMは2026年6月1日からHELMをmaintenance modeとしているため、実運用ではversion pinとadapter互換性を確認します。

## Current judgment
HELMはStanford CRFMのfoundation-model評価frameworkで、scenario・model interface・metric・artifactを標準化し複数leaderboardを再現可能に扱います。ただし単一の普遍的HELM scoreはなく、結果はsuite・scenario・dataset revision・model/provider ID・prompt/adaptation・metric・HELM versionに依存します。Stanford CRFMは2026年6月1日からHELMをmaintenance modeとしているため、実運用ではversion pinとadapter互換性を確認します。

## Scope
HELM — Enterprise AI運用での評価・再現性境界

## Confirmed

## UNKNOWN
- EA-179-UNKNOWN-01: - historical prior locator
- maintenance policy本文のexact guarantees
- v0.5.16 exact source commit/release notes
- maintenance移行後のprovider別adapter compatibility
- benchmark contamination status
- independent comparative effectiveness

## Evidence
- EA-179-CURRENT-APPROVAL (RESEARCH): 現行本文の監査・revision対応
- EA-179-CURRENT-BODY-READBACK (IMPL): 現行本文の収録照合

## Failure / limits
公開benchmarkはmodel developerに既知である可能性があり、contaminationを排除できません。hosted modelは同一名称でも挙動がdriftし得ます。aggregate meanはscenario単位の弱点やmetric差を隠し得ます。benchmark passはproduction SLO、security、compliance、retrieval correctness、business-process correctnessを保証しません。

judge-based metricとdeterministic metricは異なるevidence classとして扱います。cost/latencyはprovider、時点、regionに依存します。maintenance modeではadapter/API currentnessの確認が特に重要です。
## Practice
benchmark実行でdataset内容が外部model APIへ送信される場合があります。公開・synthetic dataを優先し、confidential promptを公開artifactへ出さないようにします。provider側のdata-use／retention policyはHELMとは別に確認します。

run spec、source revision、raw response、metric output、error、environment metadataをversioned snapshotとして保存します。full suiteは高コストになり得るため、partial runを行った場合はcoverage縮小を明示します。
## 要点
HELMはStanford CRFMのfoundation-model評価frameworkであり、scenario、model interface、metric、artifactを標準化して複数のbenchmark／leaderboardを扱うための基盤です。単一の普遍的な「HELM score」が存在するわけではなく、結果はsuite、scenario、dataset revision、model/provider ID、prompt/adaptation、metric、HELM versionに依存します。

Stanford CRFMは2026年6月1日からHELMをmaintenance modeとしているため、Enterprise運用では評価結果だけでなくframework lifecycleとadapter互換性を別に管理する必要があります。

## 運用上の境界
評価結果を再現・監査する場合は、HELM package/tag/commit、suite/version、scenario/run entry、dataset revision/hash、model/provider/API revision、prompt/adaptation、decoding/token limits、metric/scorer/judge、subset/max instances、timestamp、raw requests/responses、summary、failure、cost/latency算定方法を保持します。

異なるsuite revisionのaggregateを正規化なしに直接比較しません。Long Contextで入力長を受理できることは長文能力の実証と同義ではなく、domain leaderboardの結果も言語・業界・workflowを越えて一般化しません。

## Failure envelope
公開benchmarkはmodel developerに既知である可能性があり、contaminationを排除できません。hosted modelは同一名称でも挙動がdriftし得ます。aggregate meanはscenario単位の弱点やmetric差を隠し得ます。benchmark passはproduction SLO、security、compliance、retrieval correctness、business-process correctnessを保証しません。

judge-based metricとdeterministic metricは異なるevidence classとして扱います。cost/latencyはprovider、時点、regionに依存します。maintenance modeではadapter/API currentnessの確認が特に重要です。

## Security / Privacy / Audit / Cost
benchmark実行でdataset内容が外部model APIへ送信される場合があります。公開・synthetic dataを優先し、confidential promptを公開artifactへ出さないようにします。provider側のdata-use／retention policyはHELMとは別に確認します。

run spec、source revision、raw response、metric output、error、environment metadataをversioned snapshotとして保存します。full suiteは高コストになり得るため、partial runを行った場合はcoverage縮小を明示します。

## SAFE_WORDING
HELMはStanford CRFMのfoundation-model評価frameworkで、scenario・model interface・metric・artifactを標準化し複数leaderboardを再現可能に扱います。ただし単一の普遍的HELM scoreはなく、結果はsuite・scenario・dataset revision・model/provider ID・prompt/adaptation・metric・HELM versionに依存します。Stanford CRFMは2026年6月1日からHELMをmaintenance modeとしているため、実運用ではversion pinとadapter互換性を確認します。

## OPEN_UNKNOWN
- historical prior locator
- maintenance policy本文のexact guarantees
- v0.5.16 exact source commit/release notes
- maintenance移行後のprovider別adapter compatibility
- benchmark contamination status
- independent comparative effectiveness

NEXT: /agent/start.json
STOP: This is a knowledge projection, not an execution order.