{
  "format": "agent-article-v0",
  "article_id": "EA-179",
  "canonical_url": "/tools/ea-179-helm-enterprise-ai",
  "page_type": "reference",
  "claim_ids": [],
  "evidence_ids": [
    "EA-179-CURRENT-APPROVAL",
    "EA-179-CURRENT-BODY-READBACK"
  ],
  "unknown_ids": [
    "EA-179-UNKNOWN-01"
  ],
  "operational_object_ids": [],
  "provider": [],
  "models": [],
  "plans": [],
  "surfaces": [],
  "regions": [],
  "current_status": "CURRENT",
  "observation_status": "SPEC_ONLY",
  "freshness": "CURRENT",
  "last_verified": "2026-09-30",
  "supersedes": [],
  "superseded_by": [],
  "provenance": [
    "AIFIN-EA-RESEARCH-49a74d79aa4dba03f280ca58",
    "BODY-SHA256:b3a61a0b5a52db0836740756d64dd0d3af476c0af861e3ce374f587905de0d7f"
  ],
  "article_sources": [
    {
      "id": "EA-179-CURRENT-APPROVAL",
      "evidence_class": "RESEARCH",
      "title": "現行本文の監査・revision対応",
      "supports": [
        "現行台帳のAUDIT_PASSと候補・revision・本文ハッシュの対応を確認しています。"
      ],
      "limit": "監査状態と来歴の記録です。外部根拠の最新性や本文の全主張を追加保証しません。",
      "origin_class": "AUDITED_CANONICAL_RESEARCH_PACKET",
      "source_or_experiment_ids": [
        "AIFIN-EA-RESEARCH-49a74d79aa4dba03f280ca58"
      ],
      "supporting_locators": [
        "1KqhJtiSb2S84rWmeYVwKcT_76dBwZ_B0ZZuAWQqH0rQ/EA_REVISION_LEDGER!A785:U785",
        "EA_REVISION_LEDGER!A785:U785",
        "EA-179-RESEARCH-20261025-R1"
      ],
      "provenance_status": "CURRENT_CANONICAL_APPROVAL_READBACK"
    },
    {
      "id": "EA-179-CURRENT-BODY-READBACK",
      "evidence_class": "IMPL",
      "title": "現行本文の収録照合",
      "supports": [
        "公開生成入力の本文SHA-256が、監査済み候補に結び付いたハッシュと一致しています。"
      ],
      "limit": "本文の同一性の検査です。外部システムの挙動や全主張の真偽を実証したものではありません。",
      "checked_at": "2026-10-27",
      "origin_class": "IMPLEMENTATION_READBACK",
      "source_or_experiment_ids": [
        "BODY-SHA256:b3a61a0b5a52db0836740756d64dd0d3af476c0af861e3ce374f587905de0d7f"
      ],
      "supporting_locators": [
        "content/staging/EA-179.md",
        "b3a61a0b5a52db0836740756d64dd0d3af476c0af861e3ce374f587905de0d7f",
        "EA-179-RESEARCH-20261025-R1"
      ],
      "provenance_status": "CURRENT_APPROVED_BODY_HASH_MATCH"
    }
  ],
  "research_sections": [
    {
      "heading": "要点",
      "text": "HELMはStanford CRFMのfoundation-model評価frameworkであり、scenario、model interface、metric、artifactを標準化して複数のbenchmark／leaderboardを扱うための基盤です。単一の普遍的な「HELM score」が存在するわけではなく、結果はsuite、scenario、dataset revision、model/provider ID、prompt/adaptation、metric、HELM versionに依存します。\n\nStanford CRFMは2026年6月1日からHELMをmaintenance modeとしているため、Enterprise運用では評価結果だけでなくframework lifecycleとadapter互換性を別に管理する必要があります。"
    },
    {
      "heading": "運用上の境界",
      "text": "評価結果を再現・監査する場合は、HELM package/tag/commit、suite/version、scenario/run entry、dataset revision/hash、model/provider/API revision、prompt/adaptation、decoding/token limits、metric/scorer/judge、subset/max instances、timestamp、raw requests/responses、summary、failure、cost/latency算定方法を保持します。\n\n異なるsuite revisionのaggregateを正規化なしに直接比較しません。Long Contextで入力長を受理できることは長文能力の実証と同義ではなく、domain leaderboardの結果も言語・業界・workflowを越えて一般化しません。"
    },
    {
      "heading": "Failure envelope",
      "text": "公開benchmarkはmodel developerに既知である可能性があり、contaminationを排除できません。hosted modelは同一名称でも挙動がdriftし得ます。aggregate meanはscenario単位の弱点やmetric差を隠し得ます。benchmark passはproduction SLO、security、compliance、retrieval correctness、business-process correctnessを保証しません。\n\njudge-based metricとdeterministic metricは異なるevidence classとして扱います。cost/latencyはprovider、時点、regionに依存します。maintenance modeではadapter/API currentnessの確認が特に重要です。"
    },
    {
      "heading": "Security / Privacy / Audit / Cost",
      "text": "benchmark実行でdataset内容が外部model APIへ送信される場合があります。公開・synthetic dataを優先し、confidential promptを公開artifactへ出さないようにします。provider側のdata-use／retention policyはHELMとは別に確認します。\n\nrun spec、source revision、raw response、metric output、error、environment metadataをversioned snapshotとして保存します。full suiteは高コストになり得るため、partial runを行った場合はcoverage縮小を明示します。"
    },
    {
      "heading": "SAFE_WORDING",
      "text": "HELMはStanford CRFMのfoundation-model評価frameworkで、scenario・model interface・metric・artifactを標準化し複数leaderboardを再現可能に扱います。ただし単一の普遍的HELM scoreはなく、結果はsuite・scenario・dataset revision・model/provider ID・prompt/adaptation・metric・HELM versionに依存します。Stanford CRFMは2026年6月1日からHELMをmaintenance modeとしているため、実運用ではversion pinとadapter互換性を確認します。"
    },
    {
      "heading": "OPEN_UNKNOWN",
      "text": "- historical prior locator\n- maintenance policy本文のexact guarantees\n- v0.5.16 exact source commit/release notes\n- maintenance移行後のprovider別adapter compatibility\n- benchmark contamination status\n- independent comparative effectiveness"
    }
  ],
  "human_url": "/tools/ea-179-helm-enterprise-ai",
  "markdown_url": "/agent/article.md?path=%2Ftools%2Fea-179-helm-enterprise-ai",
  "json_url": "/agent/article.json?path=%2Ftools%2Fea-179-helm-enterprise-ai"
}