AI Intervention Feedback Loops／Performative Prediction／Selective Labels

AIの予測・推薦・審査・順位付けを実運用へ投入すると、その出力を受けた人や組織の行動、誰に機会が与えられたか、どの結果が観測されたかが変化します。すると次回学習で使うデータは、AI導入前と同じ母集団から自然に得られたものではなく、過去のAI介入によって選択・形成されたデータになります。これが本項の中心である intervention feedback loop です。

Perdomo et al. (ICML 2020) は、予測が意思決定を通じて予測対象の分布そのものを変える状況を performative prediction と定式化しました。重要なのは、単なる時間経過によるdistribution shiftではなく、配備した予測器が将来分布を変える因果経路がある点です。したがって、モデル精度の監視だけでなく「どの予測・介入が、誰への露出・選択・観測を変えたか」を記録しなければなりません。

高影響の意思決定では、行った判断によって結果ラベルの観測可否が変わります。たとえば、検査を実施した患者では結果が得られても、検査しなかった患者では同じ真値を観測できないことがあります。Wei (ICML 2021) は selective labels を「一方の決定の下で結果が観測されない」問題として扱っています。De-Arteaga et al. も、過去の意思決定が一部の真の結果を不可視にする selection bias として整理しています。

この状態で「観測されたラベルだけ」を通常の教師データとして再学習すると、過去の選択方針が次のモデルへ埋め込まれます。特定集団でラベル欠落率が異なる場合、性能差や不公平を増幅する可能性があります。Chang & Wiens (ICML 2024) は、診断検査の実施に依存してラベルが観測される disparate censorship を扱い、単純な負例補完が subgroup 間のbiasを増幅し得ることを示しています。

推薦・ランキングでは、上位に出した項目ほど閲覧・クリック・購入されやすく、下位または非表示の項目については反応データが不足します。そのログをそのまま次回学習へ使うと、「過去に露出したから反応が観測された」ことと「本来好まれている」ことを混同しやすくなります。審査や優先順位付けでも同様に、介入対象だけで結果を観測すると、介入されなかった対象の反実仮想が欠落します。

この循環は、単にデータ量を増やしても解消しません。大量のデータが同じ選択機構から生成されるなら、選択の偏りも大量に蓄積されるためです。

performative prediction の理論では、再学習が performatively stable な点へ収束する条件が研究されています。しかし安定したこと自体は、公平・安全・事業上望ましいことを保証しません。安定点は、配備したモデルが作り出した将来分布に対して自己整合的であるという性質です。目的関数、集団影響、長期厚生、アクセス機会などの妥当性は別途評価する必要があります。

2026年のsurveyでも、performative stability と performative optimality は異なる最適化対象として整理されています。運用では「再学習後の指標が安定した」ことを、feedback loop解消や社会的妥当性の証拠として扱わないことが重要です。

• decision / exposure logを残す。 model version、score、表示・審査・介入の有無、policy version、利用可能だった候補集合、時刻、後続結果を結びます。
• observed label と label availability を分ける。 真値が負だったのか、判断の結果として真値を観測できなかったのかを同じ値で表現しません。
• 介入前後の分布だけでなく介入経路を記録する。 どの出力が誰の行動・アクセス・観測を変え得たかを明示します。
• 探索枠を設計する。 安全かつ倫理的に許される範囲で、既存policyが選ばない対象にも結果観測の機会を持たせ、exploitationだけで観測空間を固定しないようにします。探索には独立したrisk limitと停止条件を置きます。
• offline replayを鵜呑みにしない。 過去policyが生成したログにはcounterfactualが欠けます。新policyが別の露出・選択を生む場合、過去ログ上の精度だけでは配備後分布を再現できません。
• group別のlabel availabilityを監視する。 subgroup/intersectionごとに選択率、観測率、結果率を分離し、観測されない母集団をperformance denominatorから消さないようにします。
• retraining triggerを性能劣化だけにしない。 exposure構成、selection policy、介入率、label delay、母集団構成の変化も再評価条件にします。
• policy変更とmodel変更を別versionで記録する。 閾値や業務ルールの変更がデータ分布を変えた場合、それをモデル更新の効果と混同しないようにします。
• 長期影響を別窓で評価する。 短期accuracyやconversion改善が、候補多様性、アクセス機会、将来学習データを劣化させていないかを追跡します。

典型的な失敗は、過去モデルが選んだ対象だけを正解データとみなすこと、非選択を負例として埋めること、ランキング上位の反応率を無条件の嗜好とみなすこと、再学習後の安定を因果的な改善と解釈することです。さらに、policy変更・UI変更・価格変更などAI以外の介入が同時に起きると、観測分布の変化をモデルのperformative effectへ誤帰属する危険があります。

すべてのdistribution shiftがperformativeではありません。季節性、競合、景気、センサー交換など、モデル配備と無関係な変化は通常のshiftとして切り分けます。また、performative prediction研究の多くは理論モデルや限定された応答モデルを扱うため、特定の収束結果を任意の実運用へ一般化できません。

selective-label対策にも万能解はありません。探索は情報を増やしますが、高影響領域では倫理・安全・法的制約により無作為化できない場合があります。補完・pseudo-label・causal adjustmentは仮定に依存し、未観測の反実仮想を事実へ変えるものではありません。

自組織の運用で、どの介入がどの程度将来分布を変えるか、非選択対象の真の結果、policy変更と外部環境変化の寄与、探索可能な安全範囲、長期的な集団影響は、decision/exposure/label-availabilityを結んだ実データと識別可能性の検討なしには確定できません。

「再学習すればfeedback loopは解消する」ではなく、「AIの予測や業務判断が次の観測データを変える場合、通常の再学習は過去policyの選択を再生産する可能性がある。decision/exposureとlabel availabilityを記録し、performative shift、selective labels、外生的shiftを分離して評価する」と記述します。

• Perdomo, Zrnic, Mendler-Dünner, Hardt, Performative Prediction, ICML 2020, PMLR 119:7599-7609. https://proceedings.mlr.press/v119/perdomo20a.html
• Wei, Decision-Making Under Selective Labels: Optimal Finite-Domain Policies and Beyond, ICML 2021, PMLR 139:11035-11046. https://proceedings.mlr.press/v139/wei21a.html
• De-Arteaga, Dubrawski, Chouldechova, Learning under selective labels in the presence of expert consistency, FAT/ML 2018 workshop. https://publications.ri.cmu.edu/learning-under-selective-labels-in-the-presence-of-expert-consistency/
• Chang, Wiens, From Biased Selective Labels to Pseudo-Labels: An Expectation-Maximization Framework for Learning from Biased Decisions, ICML 2024, PMLR 235:6286-6324. https://proceedings.mlr.press/v235/chang24e.html
• Kehrenberg, Sanguino, Lozano, Quadrianto, Dissecting Performative Prediction: A Comprehensive Survey, arXiv:2602.10176, 2026. https://arxiv.org/abs/2602.10176

EA-1204は、AIの予測・推薦・審査・介入が将来の観測分布とラベル可用性を変える循環を主題とします。一般的なdrift監視、eval feedback loop、因果推論一般、推薦精度そのものとは分離し、介入→露出/選択→観測→再学習の閉ループを扱います。