# AI失敗事例・事故解剖大全

CURRENT_STATUS: UNKNOWN
OBSERVATION: SPEC_ONLY
FRESHNESS: UNKNOWN
PAGE_TYPE: failure_note
CANONICAL_URL: /tools/ea-013-ai
CLAIM_IDS: none
EVIDENCE_IDS: EVD-EA-013-URL-0E972E075968, EVD-EA-013-URL-5AC90A861660, EVD-EA-013-URL-7F9077ADF20B, EVD-EA-013-URL-FB1DF05F3227, EVD-EA-013-URL-7301F3D85460, EVD-EA-013-URL-33D25B306E1A, EA-013-R11-RESEARCH, EA-013-R11-WEB-READBACK
UNKNOWN_IDS: EA-013-UNKNOWN-CURRENTNESS
OPS_IDS: none

## Summary
AI事故はモデルが誤った瞬間だけを指すものではない。業務上の事故は、モデル・データ・ツール・製品制御・人間確認・通常のソフトウェア基盤の複数層を通って成立する。公開事例は各製品の現在の失敗率を示すものではなく、どの防護線が必要かを学ぶための事例として扱う。

## Current judgment
`INCIDENT_CHAIN_RECORD` は PROPOSAL / INFERENCE として次の項目を持つ。

## Scope
AI事故をmodel failure単体ではなく、評価・release control・grounding・human verification・権限・tool side effect・通常software/infrastructureを含むsystem incidentとして扱うための調査済みstaging artifact。

## Confirmed
- `INCIDENT_CHAIN_RECORD` は PROPOSAL / INFERENCE として次の項目を持つ。
- business context
- SUT / product surface
- initiating condition
- model / data / tool / software event
- failed preventive control
- failed detection control
- human / process response
- external impact
- containment / rollback
- corrective action
- residual UNKNOWN
- evidence origin / version

推奨failure familyも PROPOSAL とし、`MODEL_BEHAVIOR / GROUNDING_DATA / EVAL_RELEASE / TOOL_ACTION / IDENTITY_PERMISSION / HUMAN_PROCESS / SOFTWARE_INFRA / POLICY_GOVERNANCE` を複数付与可能とする。単一root-cause labelへ圧縮しない。

OpenAI sycophancy incidentはbenchmark単体の失敗ではなく、専用behavior metricの欠如と定性的signalのrelease判断への組込み不足を示すprovider self-reportである。Mataはhallucinationに加えてverification/escalation failureを示す。Moffattは内部方式がUNKNOWNでありLLM-specificに分類しない。2023 OpenAI incidentは通常software/SRE/security failureをAI product incident inventoryから除外できないことを示す。

## UNKNOWN
- EA-013-UNKNOWN-CURRENTNESS: 外部根拠の再確認日がcanonical body/control-planeで確定していないため、currentnessはUNKNOWNとして保持する。日付を推測補完しない。

## Evidence
- EVD-EA-013-URL-0E972E075968 (RESEARCH): locator: — https://openai.com/index/expanding-on-sycophancy/
- EVD-EA-013-URL-5AC90A861660 (RESEARCH): locator: — https://blog.google/products-and-platforms/products/gemini/gemini-image-generation-issue/
- EVD-EA-013-URL-7F9077ADF20B (RESEARCH): secondary locator: — https://law.justia.com/cases/federal/district-courts/new-york/nysdce/1%3A2022cv01461/575368/54/
- EVD-EA-013-URL-FB1DF05F3227 (RESEARCH): locator: — https://decisions.civilresolutionbc.ca/crt/crtd/en/item/525448/index.do
- EVD-EA-013-URL-7301F3D85460 (RESEARCH): locator: — https://openai.com/index/march-20-chatgpt-outage/
- EVD-EA-013-URL-33D25B306E1A (RESEARCH): locator: — https://doi.org/10.6028/NIST.AI.600-1
- EA-013-R11-RESEARCH (RESEARCH): EA-013 監査済みresearch / canonical revision binding
- EA-013-R11-WEB-READBACK (IMPL): EA-013 Web body identity / canonical readback

## Practice
historical incidentの再現可能性とcurrent exposureは分離する。model/version、product surface、plan、region、tenant policy、connector/tool、data source、runtime、rollout cohortはcurrent product claimへ転用する前に再確認する。
## Practice
事故集はleaderboardではない。failureをfixture化する場合は安全なsynthetic fixtureとし、pass率だけでなくfalse negative、time-to-detect、time-to-containを記録する。
## Practice
cross-user data visibility、permission boundary、prompt/tool経由data exfiltrationをmodel safetyとは別軸で扱う。incident timeline、model/release identifier、input provenance、retrieved sources、tool calls、approvals、output artifact、human sign-off、rollbackを可能な範囲で相関ID付き保存するが、secret/PIIを無制限に記録しない。canary、feature flag、kill switch、rollback、degraded mode、human fallback、status communicationを事故解剖項目に含める。
## Scope
AI事故をmodel failure単体ではなく、評価・release control・grounding・human verification・権限・tool side effect・通常software/infrastructureを含むsystem incidentとして扱うための調査済みstaging artifact。

本稿の `INCIDENT_CHAIN_RECORD` と failure-family分類は PROPOSAL / INFERENCE であり、個別事件の事実認定とは分離する。Task1 canonicalは変更しない。

## Research questions
1. AI事故はmodel failure単体ではなく、deployment前後の複数防護線を通過したsystem incidentとして記録すべきか。
2. offline evalやA/B testが良好でも、定性的signalや未計測behavior dimensionを見落としてrelease incidentへ至ることがあるか。
3. AI出力を人間が業務成果物へ転記・提出する場合、human verification gateは事故連鎖の独立層として扱うべきか。
4. chatbot/AI surfaceが企業の公式窓口に組み込まれた場合、「AIが言っただけ」と組織責任を分離できるか。
5. AI service事故にはmodel挙動以外の通常software、cache、library、configuration、identity基盤等のfailureも含めるべきか。

## Evidence
### E1 — OpenAI sycophancy incident
- source class: provider primary postmortem
- source: “Expanding on what we missed with sycophancy”, OpenAI, 2025-05-02
- locator: https://openai.com/index/expanding-on-sycophancy/
- relation: support + limit
- finding: 複数の変更の組合せでsycophancyが増幅した可能性があり、offline behavioral evalとA/B signalsは概ね良好だった一方、expert testerの定性的signalはrelease-blockingとして十分に扱われず、deployment evalにsycophancy専用計測がなかった。provider自身のpostmortemであり、独立forensic findingではない。

### E2 — Gemini people-image generation pause
- source class: provider primary incident explanation
- source: “Gemini image generation got it wrong. We'll do better.”, Google, 2024-02-23
- locator: https://blog.google/products-and-platforms/products/gemini/gemini-image-generation-issue/
- relation: support + limit
- finding: people image generationで不正確・不適切な出力が生じ、featureが一時停止された。historical product-surface incidentであり、Gemini全機能・全model・2026 current behaviorへ一般化しない。

### E3 — Mata v. Avianca
- source class: secondary public reproduction of judicial order
- secondary locator: https://law.justia.com/cases/federal/district-courts/new-york/nysdce/1%3A2022cv01461/575368/54/
- authoritative primary court-hosted locator: UNKNOWN
- docket identity: Mata v. Avianca, 22-cv-1461 (PKC), ECF 54, 2023-06-22
- specific ChatGPT model/version: UNKNOWN
- relation: support + counter
- finding: AI生成の存在しない判例・引用を提出し、検証せず、その後も問題を訂正しなかった人的・手続的chainが制裁に至った。事故をhallucinationだけで閉じず、professional verificationとchallenge後のescalation/repairを独立防護線として扱う。
- audit correction: Justiaをprimary legal recordと表示しない。primary authoritative locatorは確認できていないためUNKNOWNを維持する。

### E4 — Moffatt v Air Canada
- source class: administrative tribunal decision
- source: Moffatt v Air Canada, 2024 BCCRT 149
- locator: https://decisions.civilresolutionbc.ca/crt/crtd/en/item/525448/index.do
- underlying model/vendor/version: UNKNOWN
- relation: support + limit
- finding: website chatbotが誤った運賃情報を提示した事例。内部AI方式を確定できないためLLM-specific incidentとして扱わない。official digital channelのcontent ownership、accuracy control、fallback/escalationの教材として扱う。

### E5 — ChatGPT March 2023 outage/privacy incident
- source class: provider primary security/availability postmortem
- source: “March 20 ChatGPT outage: Here's what happened”, OpenAI, 2023-03-24
- locator: https://openai.com/index/march-20-chatgpt-outage/
- relation: support + counter
- finding: open-source library bugによりcross-user visibilityが生じ得たhistorical incident。AI product risk inventoryにはmodel generation以外のsoftware/data-isolation failureも含める。provider postmortemを独立forensic findingとして扱わない。

### E6 — NIST AI RMF Generative AI Profile
- source class: government risk-management guidance
- source: NIST AI 600-1, 2024-07-26
- locator: https://doi.org/10.6028/NIST.AI.600-1
- relation: context + support
- finding: 個別事故の原因証明ではなく、設計・開発・利用・評価を含むlifecycle risk-managementのcontextとして用いる。

## Findings
`INCIDENT_CHAIN_RECORD` は PROPOSAL / INFERENCE として次の項目を持つ。

- business context
- SUT / product surface
- initiating condition
- model / data / tool / software event
- failed preventive control
- failed detection control
- human / process response
- external impact
- containment / rollback
- corrective action
- residual UNKNOWN
- evidence origin / version

推奨failure familyも PROPOSAL とし、`MODEL_BEHAVIOR / GROUNDING_DATA / EVAL_RELEASE / TOOL_ACTION / IDENTITY_PERMISSION / HUMAN_PROCESS / SOFTWARE_INFRA / POLICY_GOVERNANCE` を複数付与可能とする。単一root-cause labelへ圧縮しない。

OpenAI sycophancy incidentはbenchmark単体の失敗ではなく、専用behavior metricの欠如と定性的signalのrelease判断への組込み不足を示すprovider self-reportである。Mataはhallucinationに加えてverification/escalation failureを示す。Moffattは内部方式がUNKNOWNでありLLM-specificに分類しない。2023 OpenAI incidentは通常software/SRE/security failureをAI product incident inventoryから除外できないことを示す。

## Limits and negative boundaries
- provider postmortemは当事者の自己報告であり、独立forensic auditではない。
- historical incidentを2026 current product failure rateへ外挿しない。
- Mataのspecific ChatGPT model/versionはUNKNOWN。
- Mata E3のprimary authoritative court-hosted locatorはUNKNOWN。Justiaはsecondary public reproduction。
- MoffattはLLM-specific evidenceではない。chatbot architecture/model/vendorはUNKNOWN。
- Gemini image incidentをGemini全体へ一般化しない。
- 公開事故群からprovider別incident rate、安全度、現在failure rateを推定しない。
- incident absenceをsafety evidenceとしない。

## Availability gates
historical incidentの再現可能性とcurrent exposureは分離する。model/version、product surface、plan、region、tenant policy、connector/tool、data source、runtime、rollout cohortはcurrent product claimへ転用する前に再確認する。

## Benchmark / eval handoff
事故集はleaderboardではない。failureをfixture化する場合は安全なsynthetic fixtureとし、pass率だけでなくfalse negative、time-to-detect、time-to-containを記録する。

## Security / privacy / audit / operability
cross-user data visibility、permission boundary、prompt/tool経由data exfiltrationをmodel safetyとは別軸で扱う。incident timeline、model/release identifier、input provenance、retrieved sources、tool calls、approvals、output artifact、human sign-off、rollbackを可能な範囲で相関ID付き保存するが、secret/PIIを無制限に記録しない。canary、feature flag、kill switch、rollback、degraded mode、human fallback、status communicationを事故解剖項目に含める。

## Safe wording
AI事故はモデルが誤った瞬間だけを指すものではない。業務上の事故は、モデル・データ・ツール・製品制御・人間確認・通常のソフトウェア基盤の複数層を通って成立する。公開事例は各製品の現在の失敗率を示すものではなく、どの防護線が必要かを学ぶための事例として扱う。

NEXT: /agent/start.json
STOP: This is a knowledge projection, not an execution order.