# AI Adoption Impact／Causal Business-value Evaluation CURRENT_STATUS: CURRENT OBSERVATION: SPEC_ONLY FRESHNESS: CURRENT PAGE_TYPE: reference CANONICAL_URL: /tools/ea-1207-ai-adoption-impact-causal-business-value-evaluation CLAIM_IDS: none EVIDENCE_IDS: EVD-EA-1207-URL-5512E42A8644, EVD-EA-1207-URL-92735C509F66, EVD-EA-1207-URL-8983D87A9986, EVD-EA-1207-URL-EA3E8F6CA91C, EVD-EA-1207-URL-1B6B251F1E5C, EA-1207-CURRENT-APPROVAL, EA-1207-CURRENT-BODY-READBACK UNKNOWN_IDS: EA-1207-UNKNOWN-01 OPS_IDS: none ## Summary 「生成AIは生産性を向上させる」ではなく、「特定の業務・利用者・ツール・期間では改善が観測された研究がある一方、逆方向の結果もあり、導入効果は対照比較と品質・手戻り・総費用を含む自組織の測定で確認する」と記述します。 ## Current judgment 「生成AIは生産性を向上させる」ではなく、「特定の業務・利用者・ツール・期間では改善が観測された研究がある一方、逆方向の結果もあり、導入効果は対照比較と品質・手戻り・総費用を含む自組織の測定で確認する」と記述します。 ## Scope AI Adoption Impact／Causal Business-value Evaluation ## Confirmed ## UNKNOWN - EA-1207-UNKNOWN-01: 自組織における真の因果効果、長期学習効果、熟練者/新人の効果差、品質事故の裾野、モデル更新後の効果持続性は、組織固有データなしには確定できません。 ## Evidence - EVD-EA-1207-URL-5512E42A8644 (RESEARCH): Brynjolfsson, Li, Raymond, *Generative AI at Work*, Quarterly Journal of Economics 140(2), 2025. — https://doi.org/10.1093/qje/qjae044 - EVD-EA-1207-URL-92735C509F66 (RESEARCH): NBER Working Paper 31161, revision November 2023. — https://www.nber.org/papers/w31161 - EVD-EA-1207-URL-8983D87A9986 (RESEARCH): Peng et al., *The Impact of AI on Developer Productivity: Evidence from GitHub Copilot*, controlled experiment, 2023. — https://www.microsoft.com/en-us/research/publication/the-impact-of-ai-on-developer-productivity-evidence-from-github-copilot/ - EVD-EA-1207-URL-EA3E8F6CA91C (RESEARCH): Becker et al./METR, early-2025 experienced open-source developer productivity RCT; 246 tasks, 16 developers. — https://metr.org/blog/2025-07-10-early-2025-ai-experienced-os-dev-study/ - EVD-EA-1207-URL-1B6B251F1E5C (RESEARCH): METR, *We are Changing our Developer Productivity Experiment Design*, 2026-02-24. — https://metr.org/blog/2026-02-24-uplift-update/ - EA-1207-CURRENT-APPROVAL (RESEARCH): 現行本文の監査・revision対応 - EA-1207-CURRENT-BODY-READBACK (IMPL): 現行本文の収録照合 ## 要点と前提 AI導入の事業価値は、利用率や生成回数ではなく、導入によって業務成果がどれだけ変化したかで評価する必要があります。評価単位は「AIそのもの」ではなく、対象業務・利用者層・モデル/ツール・運用ルール・human review・導入時期を固定した介入です。 ## 何を測るか 最低限、速度だけでなく品質、手戻り、human review時間、失敗率、顧客影響、総費用を同じ評価枠に置きます。AIが処理時間を短縮しても、レビューや修正が増えれば純便益は縮小します。逆に、処理速度の改善が小さくても、品質や定着率、顧客体験が改善すれば価値は残ります。 公開研究でも効果は均一ではありません。顧客サポートの大規模導入研究では、生成AI支援により平均生産性が上がった一方、効果は経験・技能によって大きく異なり、熟練者では小さい利得や一部品質低下も観測されています。したがって「AI導入は平均で何%改善する」という他社研究の数字を自組織へそのまま移植してはいけません。 ## 因果効果を測る設計 可能なら、対象者またはタスクをAI利用可/不可へ無作為に割り付けるA/B・RCTを使います。無作為化が難しい場合は、段階導入、差の差、マッチング等を検討しますが、導入群と非導入群の業務難度、経験、繁忙度、組織変更などの交絡を明示します。 段階導入では「導入前後」だけを比較せず、同期間の対照群を置きます。季節性、採用・退職、案件構成、SLA変更、モデル更新、プロンプトやUI変更が同時に起きると、単純な前後差はAI効果ではありません。 ## 評価指標 主指標は業務目的に合わせて事前に固定します。例として、処理件数/時間、完了までの時間、一次解決率、欠陥率、再作業率、レビュー時間、エスカレーション率、顧客評価があります。費用はAPI/tokenだけでなく、ライセンス、推論、検索・ストレージ、監視、レビュー、再作業、教育、セキュリティ/監査、停止時の代替運用を含めます。 総便益は「時間短縮×人件費」だけで決めず、品質差、再作業、リスク、顧客影響を別項目で保持します。金額換算が不確かな項目を無理に単一ROIへ潰さず、感度分析で閾値を示します。 ## 認知バイアスと観測のずれ 自己申告の「速くなった」は実測と一致しないことがあります。METRの2025年RCTでは、経験豊富なOSS開発者はAI利用で速くなると予測・自己評価していましたが、実測では対象条件下で遅くなりました。METRは2026年の追試設計について選択バイアス等で現在効果の推定が難しくなったことも公表しています。これは「AIは遅い」という一般則ではなく、知覚速度と実測速度を分け、時期・ツール・参加者選択を固定して読む必要があるという反証です。 ## 運用上のcontrol 1. 導入前に主要指標、品質下限、費用上限、停止/撤退条件を固定する。 2. 対照群または段階導入を用意し、利用者属性とタスク難度を記録する。 3. AI利用時間だけでなく、レビュー・修正・再作業を計測する。 4. モデル、ツール、設定、プロンプト、知識源の変更日を記録し、介入の途中変更を識別する。 5. 平均効果だけでなく、経験層・タスク種別・難度別の異質性を見る。 6. 品質下限を割る改善は「高速化」として採用しない。 7. 定期再評価し、改善が確認できない場合に縮小・停止できるようにする。 ## 適用境界と限界 顧客サポート、短いプログラミング課題、熟練OSS開発などで得られた効果は、別業務へ直接一般化できません。モデル能力、UI、利用習熟、組織ルールは変化するため、過去の効果量は陳腐化します。AI導入と同時に業務プロセス自体を再設計した場合、純粋なモデル効果と業務改革効果を分離できないことがあります。 ## OPEN_UNKNOWN 自組織における真の因果効果、長期学習効果、熟練者/新人の効果差、品質事故の裾野、モデル更新後の効果持続性は、組織固有データなしには確定できません。 ## SAFE_WORDING 「生成AIは生産性を向上させる」ではなく、「特定の業務・利用者・ツール・期間では改善が観測された研究がある一方、逆方向の結果もあり、導入効果は対照比較と品質・手戻り・総費用を含む自組織の測定で確認する」と記述します。 ## Sources / provenance - Brynjolfsson, Li, Raymond, *Generative AI at Work*, Quarterly Journal of Economics 140(2), 2025. https://doi.org/10.1093/qje/qjae044 - NBER Working Paper 31161, revision November 2023. https://www.nber.org/papers/w31161 - Peng et al., *The Impact of AI on Developer Productivity: Evidence from GitHub Copilot*, controlled experiment, 2023. https://www.microsoft.com/en-us/research/publication/the-impact-of-ai-on-developer-productivity-evidence-from-github-copilot/ - Becker et al./METR, early-2025 experienced open-source developer productivity RCT; 246 tasks, 16 developers. https://metr.org/blog/2025-07-10-early-2025-ai-experienced-os-dev-study/ - METR, *We are Changing our Developer Productivity Experiment Design*, 2026-02-24. https://metr.org/blog/2026-02-24-uplift-update/ ## Relation boundary EA-599（token cost）は費用要素、EA-634（業務SLO）はサービス目標、EA-727（因果推論を使う業務）は因果推論の業務利用を扱います。本項は、AI導入そのものを介入として事業価値を測定し、継続・拡大・縮小・撤退判断へ接続する評価設計を主題とします。 NEXT: /agent/start.json STOP: This is a knowledge projection, not an execution order.