Locale・script・region-aware AI 評価 matrix

多言語AIの評価で「言語」だけを評価軸にすると、実運用で発生する差異を取り逃がす。評価単位は少なくとも language × script × region/locale × task を分離し、同じ言語名の内部でも表記体系、地域語彙、書式、規制・業務慣行、入力分布が異なるセルを独立に観測できるようにする必要がある。BCP 47のlanguage tagは、languageに加えてscriptやregion等のsubtagを組み合わせられる。RFC 5646はscript subtagをISO 15924、region subtagをISO 3166-1またはUN M.49に基づくものとして定義し、必要以上に細かいtagを付けず、アプリケーション上区別する価値がある場合にsubtagを使うことを推奨している。

評価台帳では、単一の「日本語」「中国語」「スペイン語」スコアに潰さず、最低限次の軸を別列で保持する。

• language: BCP 47のprimary language subtagを基準にする。
• script: 表記体系が品質・tokenization・OCR・検索・生成形式に影響する場合に明示する。例として中国語のHans/Hant、セルビア語のLatn/Cyrlなどを同一セルへ混ぜない。
• region: 地域差が語彙、綴り、単位、日付、住所、法制度、業務用語、検索結果等へ影響する場合に分離する。
• task/domain: QA、要約、抽出、検索、agent操作、カスタマーサポート等を混ぜない。
• modality/input condition: text、音声、画像、OCR、コード混在など、failure modeが変わる条件は別セルにする。

BCP 47 tagは評価セルを識別するための便利なキーだが、それ自体が品質や文化適合性を保証するものではない。RFC 5646もtag選択はcontent/applicationに依存するとしている。したがって、fr-CA や zh-Hant-HK といったtagを付けただけで、その地域・scriptに対する十分な評価を実施したことにはならない。

Unicode CLDRのlikelySubtagsは、欠落しているlanguage/script/regionを「最もありそうな値」で補うためのデータである。たとえばlocaleから典型的なscriptやregionを推定できる。一方、CLDR自身がlikelySubtagsをheuristically derivedと説明し、データは時間とともに変わり得るとしている。このためlikelySubtagsはテストケース生成やcoverage gap探索の補助には使えるが、「このlanguageにはこのscript/regionだけを試せばよい」という除外規則には使わない。

また、W3Cの国際化ガイダンスはBCP 47 subtagを用い、必要以上に長いtagを避けることを勧めている。評価マトリクスではcanonicalizationやlikely-subtag展開を利用して重複候補を整理してよいが、実際の利用者分布や障害履歴を優先してセルを追加する。

実装では、評価ケースごとに language_tag, script, region, task, domain, source_population, sample_provenance, expected_behavior, metric, model_version, prompt/version, evaluated_at を保持する。language tagだけからscript/regionを推測して原データを上書きせず、明示値と推定値を分離する。

リリース判定では全セル平均だけを使わない。重要市場、規制対象、利用量上位、過去incident発生セルには個別の最低基準またはregression budgetを置く。サンプルが少ないセルは高スコアでも「未確定」と扱い、母数と信頼区間または少なくとも件数を併記する。新モデル・prompt・retrieval・tool変更時は、影響が予想されるセルだけでなく、script/region境界で代表的な回帰セットを再実行する。

ネイティブ話者評価が必要な項目と自動評価可能な項目も分離する。文字化け、形式遵守、locale-specific date/number formattingなどは自動化しやすいが、自然さ、敬語、地域固有語、文化的含意、曖昧性、危険な誤解は自動metricだけで閉じない。特に安全性・医療・法務・金融・公共サービスでは、地域差を単なる翻訳品質へ縮約しない。

細分化にはコストがある。language × script × region × taskを全直積で作るとセル数が爆発し、各セルのsample数が不足する。したがって全組合せを均等に埋めるのではなく、実利用分布、リスク、既知failure、変更影響、代表性に基づくrisk-based samplingを行う。逆に、コスト削減のためlanguage単位へ集約しすぎると少数script・地域固有failureが平均値に埋没する。

BCP 47のregionは「国籍」や「利用者属性」を意味しない。locale tagから個人の居住地、文化、法域、民族性を推定してはならない。さらに、同一region内にも複数言語・script・方言・社会集団があり、tag体系だけでは評価対象人口を完全には表現できない。CLDRのlikelySubtagsも確率的・既定値的な補助データであり、実利用者構成の証明ではない。

「BCP 47/CLDRを用いてlanguage・script・regionの評価軸を正規化し、実利用分布とリスクに応じて評価セルを分離する。locale tagやlikely-subtagはcoverage設計の補助であり、品質・文化適合性・法域適合性を自動的に保証しない。」

• 対象サービスごとの実利用locale/script分布と、どのセルをrelease gateに含めるべきかは組織固有であり、一般規格からは確定しない。
• ネイティブ評価者が必要となる閾値、sample数、統計的合格基準はtask/riskに依存し、一律値は確立されていない。
• CLDRのlikelySubtagsは更新され得るため、固定snapshotを使う場合はCLDR versionを記録する必要がある。

• RFC Editor, RFC 5646 / BCP 47, “Tags for Identifying Languages”, September 2009. https://www.rfc-editor.org/info/rfc5646/ — language tag構造、script/region subtag、tag選択原則。
• IETF Datatracker, BCP 47. https://datatracker.ietf.org/doc/bcp47/ — BCP 47がRFC 5646とRFC 4647から構成されることの現行locator。
• Unicode CLDR, Likely Subtags, CLDR charts 49. https://unicode.org/cldr/charts/49/supplemental/likely_subtags.html — likelySubtagsの目的、heuristic性、変更可能性。
• W3C Internationalization, Authoring web pages / Choosing language tags. https://w3c.github.io/i18n-drafts/techniques/authoring-html.en — BCP 47 subtag利用と短い適切なtag選択の実装ガイダンス。
• Existing provenance: Enterprise AI運用辞典_発展・拡張構想_公開後アップデート原案台帳, EA-736 exact section, Google Doc ID 1_9XrDkXlopnx39HlRa1YDO8yRvOEBXup2vvY6senU7s.

AUDIT_HANDOFF: Independent audit requested. READY / AUDIT_PASS / GIT_INTEGRATED / ACCEPTED are not self-asserted.