AIの公平性・有害バイアス・disparate impactをどう評価するか

AIの公平性評価は、単一の「公平性スコア」を計算して合否を決める作業ではありません。運用上必要なのは、どの意思決定で、誰に、どのような害が起こり得るのかを先に定義し、その害に対応する集団・交差属性・アウトカム・比較基準・不確実性を明示したうえで評価することです。集計値が良好でも、少数集団や交差集団で不利益が集中していれば見逃しになります。逆に、観測された差が直ちに違法な差別やAIの因果責任を証明するわけでもありません。

最初に固定すべきなのはモデル名ではなく、利用文脈です。採用、融資、保険、医療、本人確認、コンテンツ配信などでは、同じ予測誤差でも影響が異なります。評価では、対象となる意思決定、影響を受ける母集団、保護・関心属性、望ましくないアウトカム、誤判定の方向、意思決定後の救済可能性を記録します。

NIST AI RMFはtrustworthinessを文脈依存のリスク管理として扱い、NIST SP 1270はAI biasの管理を社会的・統計的・人間的要因を含む問題として整理しています。したがって、demographic parity、selection rate、false-positive rateなど一つの指標だけを「公平性そのもの」とみなすべきではありません。指標は、想定する害と意思決定構造に対応して選択します。

性別、年齢、人種・民族、障害などを単独で評価しただけでは、交差する属性で生じる不利益を隠すことがあります。FairlearnのMetricFrameのような評価手法は、全体指標とsensitive featureごとの指標を分離し、複数属性の交差も扱えます。

ただし、細分化するとサンプル数が急減します。交差集団に数件しか観測がない場合、極端に良い・悪い率が出ても推定は不安定です。したがって各集団について、少なくとも件数、対象期間、欠測、選択率またはエラー率、比較対象、不確実性を併記します。空集団や極端に疎な集団を「問題なし」と解釈してはいけません。そこでは証拠不足と記録する方が安全です。

AI評価では、観測された差が母集団で再現する差なのか、有限サンプルやモデルの非決定性による変動なのかを区別する必要があります。NIST AI 800-3は、固定benchmark上のaccuracyと、より広い問題母集団に一般化したaccuracyを別のestimandとして扱い、評価目的と統計仮定を明示して不確実性を報告する必要性を示しています。この原則はfairness評価にも重要です。

実務では、集団別の点推定値だけでなくconfidence intervalやbootstrap等を使い、サンプル設計と仮定を記録します。ただしbootstrapを増やしても、元データがdeployment populationを代表していなければ代表性の欠陥は直りません。履歴データそのものにselection biasがある場合も同様です。

雇用分野ではselection rateとimpact ratioが利用されることがあります。米国EEOCの技術支援は、Uniform Guidelinesのいわゆるfour-fifths ruleを説明する一方、この基準を満たすことがdisparate impactがないことを保証するものではないと明示しています。したがって0.8という値を、あらゆるAI・地域・意思決定に通用する一般的な安全閾値として扱ってはいけません。

ニューヨーク市Local Law 144の対象となるAutomated Employment Decision Toolでは、使用前一年以内のbias audit、結果概要の公開、候補者・従業員への一定のnoticeが要求されます。これは特定法域・対象ツールの要件であり、他地域や他用途の一般的なfairness基準ではありません。法的評価は適用法、対象主体、用途、時点に応じて別途確認する必要があります。

集団間の差を検出したら、少なくとも四つの主張を分離します。

• 観測差: データ上、集団間でselection/error/outcomeに差がある。
• 再現性: サンプルや期間を変えても差が維持される。
• 因果: AIまたはその入力・運用過程が差に寄与している。
• 法的判断: 適用法の下で違法なdisparate impact等に該当する。

第一段階の測定だけから第四段階まで飛躍してはいけません。反対に、aggregate metricが良好だから個別・交差集団の害がないとも推論できません。採用AIをめぐる訴訟や行政上の関心は、実運用でこの問題が発生し得ることを示す運用上のシグナルですが、係争中の主張を確定した違法性の証拠として扱うべきではありません。

NISTのARIA Evaluation Planning Manualは、AI applicationのtrustworthinessをModel Testing、Red Teaming、User Testingの三種類の試験を組み合わせて評価する枠組みを示しています。公平性も、offline metricだけでは利用文脈、ユーザー行動、救済手段、予期しない影響を十分に捕捉できません。

そのため、定量的なsubgroup evaluationに加え、少なくとも次を検討します。

• proxy featureや欠測処理が特定集団へ偏った影響を与えないか。
• ranking、threshold、human reviewなど意思決定chainのどこで差が生じるか。
• red-teamやscenario testで既知のfailure modeを再現できるか。
• 実利用者が結果を理解・異議申立てできるか。
• deployment後に母集団、入力、モデル、閾値が変化していないか。

NISTは2026年のdeployed-AI monitoring報告でも、pre-deployment evaluationだけでは実環境の非決定性や動的入力、予期しない結果を捉えきれず、post-deployment monitoringが必要だと整理しています。

公平性評価を継続運用する場合、最低限、次の情報をversion付きで保存します。

• model/version、feature set、decision threshold、対象期間。
• 対象母集団とsampling方法。
• sensitive attributeの取得元、欠測・unknownの扱い。
• subgroup/intersectionごとの件数と評価指標。
• confidence interval等の不確実性。
• benchmark/offline dataとproduction populationの差。
• human review、override、appeal等の後段process。
• 評価結果に基づく変更と、その変更後の再評価。

属性データ自体が機微情報になる場合があります。公平性監査のために属性を追加収集することが、privacy、data minimization、アクセス制御、retentionの問題を生むため、収集可能性と利用目的を法務・privacy controlと分離せず設計します。

この評価でも、次の場合には結論が弱くなります。保護属性が欠落・誤推定されている、対象データがdeployment populationを代表しない、少数・交差集団のサンプルが不足する、ラベル自体が過去の不公平な意思決定を反映する、proxy variableが未把握である、モデル以外のranking/threshold/human processが結果へ影響する、母集団やモデルが時間変化する場合です。

さらに、異なるfairness criteriaは同時に満たせないことがあります。どのmetricを優先するかは、害のモデル、base rate、用途、法的・組織的要件によって変わります。指標間のtrade-offを隠して単一スコアへ潰さないことが重要です。

• subgroup metricの差は、それだけでAIによる因果や違法性を確定しません。
• 係争中の訴訟・申立ては実運用リスクのシグナルですが、最終的な違法認定として引用しません。
• NIST文書は測定・risk-management上の枠組みであり、法域固有のcompliance thresholdを設定するものではありません。
• Local Law 144やEEOCの雇用selection guidanceは用途・法域が限定され、一般AI用途へそのまま転用できません。
• benchmark/offline evaluationの結果をproduction populationへ無条件に一般化しません。

「公平性指標を満たしたためAIは公平である」と断定しません。安全な表現は、「定義した母集団・期間・意思決定・属性・metricの範囲で観測された格差と不確実性を評価した。結果は当該条件下の証拠であり、他の集団、期間、法域、用途での公平性や法的適合を自動的に保証しない」です。

• 各法域・sectorで適用されるdisparate-impact要件と最新の判例・行政解釈。
• sensitive attributeを直接取得できない環境でのproxy推定の妥当性とprivacy boundary。
• deployment populationを代表するsamplingを継続的に確保できるか。
• 極端に疎なintersectionに対する統計的powerと意思決定ルール。
• モデル、threshold、human review、downstream processそれぞれの因果寄与。
• fairness改善策がaccuracy、privacy、security、accessibility等へ与えるtrade-off。

• NIST SP 1270, Towards a Standard for Identifying and Managing Bias in Artificial Intelligence.
• NIST AI Risk Management Framework / AIRC trustworthiness resources.
• NIST AI 800-3, Expanding the AI Evaluation Toolbox with Statistical Models, February 2026.
• NIST AI 200-3, ARIA Evaluation Planning Manual, September 18, 2026.
• NIST, Challenges to the Monitoring of Deployed AI Systems, March 6, 2026.
• Fairlearn documentation: MetricFrame / confidence intervals / disaggregated metrics.
• U.S. EEOC, Assessing Adverse Impact in Software, Algorithms, and Artificial Intelligence Used in Employment Selection Procedures Under Title VII; EEOC 2023 Annual Performance Report summary of the guidance.
• NYC Department of Consumer and Worker Protection, Automated Employment Decision Tools / Local Law 144 rules and FAQ.

Audit note: statutory/regulatory examples above are scope-bounded operational evidence, not universal AI fairness thresholds. Current legal applicability requires jurisdiction-specific review.