# Training-data Production／Curation／Annotation／Split Governance CURRENT_STATUS: CURRENT OBSERVATION: SPEC_ONLY FRESHNESS: CURRENT PAGE_TYPE: reference CANONICAL_URL: /tools/ea-1202-training-data-production-curation-annotation-split-governance CLAIM_IDS: none EVIDENCE_IDS: EVD-EA-1202-URL-C0F85AF2223B, EVD-EA-1202-URL-6D3C81B042B0, EA-1202-CURRENT-APPROVAL, EA-1202-CURRENT-BODY-READBACK UNKNOWN_IDS: EA-1202-UNKNOWN-01 OPS_IDS: none ## Summary 「データを大量に集めれば性能が上がる」「重複排除すればprivacy問題が解決する」「annotation agreementが高ければ正解」「train/testを分ければcontaminationはない」と一般化しません。 ## Current judgment 「データを大量に集めれば性能が上がる」「重複排除すればprivacy問題が解決する」「annotation agreementが高ければ正解」「train/testを分ければcontaminationはない」と一般化しません。 ## Scope Training-data Production／Curation／Annotation／Split Governance ## Confirmed ## UNKNOWN - EA-1202-UNKNOWN-01: - 対象組織の各training datasetについて、source-level license/consent判断がどこまでartifact化されているか。 - annotation disagreementを保持すべきtaskと、単一labelへadjudicateすべきtaskの境界。 - near-dedup thresholdが希少例・minority slice・memorization・性能へ与える実運用上のtrade-off。 - 大規模pretraining corpusで、record-level lineageをどの粒度まで保持すれば監査可能性とcostを両立できるか。 - 外部benchmarkや公開corpusとのcontaminationを継続検出する現実的なcoverage。 - dataset correction/deletion発生時に、どのmodel versionまで再学習・unlearning・retirement対象とするか。 ## Evidence - EVD-EA-1202-URL-C0F85AF2223B (RESEARCH): 1. MLCommons, Croissant Format Specification 1.1 (2026). — https://docs.mlcommons.org/croissant/docs/croissant-spec-1.1.html - EVD-EA-1202-URL-6D3C81B042B0 (RESEARCH): 2. MLCommons, What’s New in Croissant 1.1: Extensible, Agent-Ready ML Dataset Standard (2026-02-12). — https://mlcommons.org/2026/02/croissant-1-1-standard/ - EA-1202-CURRENT-APPROVAL (RESEARCH): 現行本文の監査・revision対応 - EA-1202-CURRENT-BODY-READBACK (IMPL): 現行本文の収録照合 ## Failure / limits 完全なprovenance metadataがあっても、source自体の誤り、未観測bias、誤label、違法・不適切な取得、将来の権利解釈変更を自動的に解決しません。annotation agreementはground truthを保証せず、dedupはprivacy保証ではなく、clean splitは本番generalizationを保証しません。 公開研究で示されたcuration、mixture optimization、dedupの効果は、対象dataset・model・compute・evaluation条件に依存します。特定benchmarkの改善値を別のenterprise datasetへそのまま外挿しません。 ## 要点と前提 学習データは「集めて保存した入力集合」ではなく、標本設計、収集、権利確認、フィルタリング、ラベル仕様、注釈、品質検査、重複排除、train/validation/test分割、版管理を経て作られるモデル構成要素です。したがって、モデルを再現・監査するにはコードと重みだけでなく、どのデータ版を、どの変換・除外規則・splitで学習へ投入したかを追跡できる必要があります。 ## データ生成工程を一つの版として固定する データセット名だけでは学習条件を特定できません。同名データでも、取得日時、source snapshot、license/consent状態、抽出query、filter、dedup threshold、annotation guideline、review結果、split seedやgrouping ruleが異なれば、実際にモデルが見た標本集合は変わります。 運用では、少なくとも dataset release ID、source snapshot、取得日時、処理pipeline/version、filter rule、dedup rule、annotation schema/guideline、split definition、artifact hash、承認者を同じlineageへ結びます。MLCommons Croissant 1.1はdataset/file/recordがsource dataとprocessing stepからどのように派生したかをPROV-Oベースで記述でき、usage policyもmachine-readableに表現できます。これは一つの実装選択肢であり、Croissant採用自体がデータ品質や権利適合を保証するものではありません。 ## 標本設計と収集 母集団と収集経路を明示しないと、学習データのcoverageを評価できません。収集対象、期間、言語、地域、domain、modality、sourceごとのsampling rule、除外条件を記録し、意図した利用範囲と比較します。公開Web、購入データ、顧客データ、合成データ、human-generated dataなど由来が異なる集合を混合する場合は、source classごとに権利・privacy・品質条件を分離します。 データ量だけを品質指標にしません。DataCompは同一の候補poolと学習手順の下でもfiltering/curation方法によってdownstream結果が変わることを実験的に示しています。またDoReMiはpretraining domain mixtureの比率が性能に影響し、特定の実験条件ではdomain weightingの変更で効率・性能が改善したと報告しています。これらは「特定のcuration方式が一般に最適」という証明ではなく、データ構成自体をversioned training parameterとして扱う必要性を示す研究証拠です。 ## Annotation governance ラベル付き学習データでは、ラベル値だけでなく「どういう判断規則でそのラベルになったか」を保存します。annotation guideline、taxonomy/schema version、annotator qualification、training/calibration、複数annotatorの割当、disagreement処理、adjudication、QA sampling、修正履歴を追跡します。 曖昧な対象でdisagreementを単純な「annotator error」とみなすと、実際の多義性や集団差を消す場合があります。一方で、agreement scoreが高いだけでも正しいラベルとは限りません。gold setやexpert reviewを使う場合も、そのgold自体の作成根拠と版を管理します。 Data CardsやDatasheets for Datasetsは、datasetのorigin、collection、annotation、intended use、evolutionなどを構造化して記録する考え方を提供します。文書を作成すること自体ではなく、実際のdataset artifactと処理履歴に結び付け、更新時に追従させることが重要です。 ## Deduplicationは品質・privacy・評価汚染を同時に扱う 重複排除はstorage節約だけの工程ではありません。Leeらはlanguage-model training dataのnear-duplicate/repetitive substringを除去することで、対象実験ではmemorized textの生成頻度低下、学習効率改善、train-test overlap低減を報告しました。したがって、exact dedupとnear-dedupの方式、正規化、比較単位、threshold、cluster代表選択、除外件数をversioned parameterとして保存します。 ただし、強いdedupは意味のある頻度情報や希少例まで削除し得ます。dedupをprivacy scrubberとして扱うこともできません。PII、秘密情報、権利侵害、policy違反の除去は別controlとして実施し、dedup後にも検査します。 ## Split governance train/validation/testの境界は評価の前提です。random row splitだけでは、同一人物、同一文書、同一session、同一repository、派生画像、時間的に近い記録などが別splitへ入り、実質的なleakageを起こす場合があります。用途に応じてentity/group/time/source単位のsplitを選び、split algorithm、seed、group key、cutoff date、例外処理を固定します。 split後にdedupするか、dedup後にsplitするかでも結果は変わり得ます。特に評価集合とのnear-duplicate contaminationはmodel qualityの見かけを押し上げる可能性があるため、train対validation/testのcross-split overlap検査を独立controlとして残します。外部benchmarkを利用する場合も、benchmark contaminationの不存在をデータセット名だけから推定しません。 ## Rights／privacy／usage policy 取得可能であることと学習利用が許可されることは同義ではありません。sourceごとにlicense、terms、consent、purpose limitation、jurisdiction、retention/deletion条件、sensitive-data policyを確認し、判断時点と根拠を保存します。法的適合性は個別法域・契約・データ類型に依存するため、一般的な技術記事から「学習可能」と断定しません。 削除要求やsource撤回が起きる可能性がある場合、dataset lineageから影響するdataset release、training run、model versionを逆引きできる構造が必要です。ただし、データを台帳から削除しただけで既学習モデルから影響が消えるとは限りません。再学習、unlearning、model retirement等の扱いは別のライフサイクルcontrolです。 ## Versionをmodel lineageへ結ぶ 再現可能性の最低条件は「dataset v3を使った」という記述ではなく、実際に投入したmanifestを固定することです。manifestにはsource artifact hash、transform code/config version、annotation release、filter/dedup parameters、split membershipまたは再現可能なsplit ruleを含めます。training runはそのmanifest hashを参照し、model registryから逆引きできるようにします。 データの修正版を作った場合はin-place overwriteを避け、新versionとして差分理由を記録します。重大なlabel correction、rights change、contamination発見、source removalがあれば、影響モデルを特定して再評価対象へ送ります。 ## 実装control - dataset manifestをimmutable artifactとして保存し、training run/model versionから参照する。 - source ingestion、normalization、filter、annotation、dedup、splitを別stageとしてlogし、各stageのinput/output hashとcode/config versionを残す。 - schema/guideline変更時はannotation versionを上げ、旧ラベルとの互換性を明示する。 - QAは件数だけでなく、source/domain/language/classなど重要slice別にsamplingし、error/disagreementを記録する。 - exact/near dedupとcross-split contamination検査を分離し、threshold変更をversion changeとして扱う。 - rights/privacy controlはdata-quality filterと分離し、source単位の許諾・制限・削除条件をlineageへ結ぶ。 - training開始前にmanifest、split、rights gate、known limitationをreadbackし、承認対象と実投入artifactの一致を確認する。 - model release後もdataset issueから影響modelを逆引きできるようにする。 ## Failure envelope / limitations 完全なprovenance metadataがあっても、source自体の誤り、未観測bias、誤label、違法・不適切な取得、将来の権利解釈変更を自動的に解決しません。annotation agreementはground truthを保証せず、dedupはprivacy保証ではなく、clean splitは本番generalizationを保証しません。 公開研究で示されたcuration、mixture optimization、dedupの効果は、対象dataset・model・compute・evaluation条件に依存します。特定benchmarkの改善値を別のenterprise datasetへそのまま外挿しません。 ## SAFE_WORDING 「データを大量に集めれば性能が上がる」「重複排除すればprivacy問題が解決する」「annotation agreementが高ければ正解」「train/testを分ければcontaminationはない」と一般化しません。 安全な表現は、「学習データの構成・品質・権利・annotation・dedup・splitはモデル挙動と監査可能性に影響するため、処理条件とdataset versionをmodel lineageへ結び、用途別の品質・権利・contamination検査を行う必要がある」です。 ## OPEN_UNKNOWN - 対象組織の各training datasetについて、source-level license/consent判断がどこまでartifact化されているか。 - annotation disagreementを保持すべきtaskと、単一labelへadjudicateすべきtaskの境界。 - near-dedup thresholdが希少例・minority slice・memorization・性能へ与える実運用上のtrade-off。 - 大規模pretraining corpusで、record-level lineageをどの粒度まで保持すれば監査可能性とcostを両立できるか。 - 外部benchmarkや公開corpusとのcontaminationを継続検出する現実的なcoverage。 - dataset correction/deletion発生時に、どのmodel versionまで再学習・unlearning・retirement対象とするか。 ## 監査用 source / provenance locator 1. MLCommons, Croissant Format Specification 1.1 (2026). https://docs.mlcommons.org/croissant/docs/croissant-spec-1.1.html 2. MLCommons, What’s New in Croissant 1.1: Extensible, Agent-Ready ML Dataset Standard (2026-02-12). https://mlcommons.org/2026/02/croissant-1-1-standard/ 3. Gebru et al., Datasheets for Datasets, arXiv:1803.09010. 4. Pushkarna et al., Data Cards: Purposeful and Transparent Dataset Documentation for Responsible AI, FAccT 2022 / Google Research. 5. Lee et al., Deduplicating Training Data Makes Language Models Better, arXiv:2107.06499 / ACL 2022. 6. Gadre et al., DataComp: In search of the next generation of multimodal datasets, arXiv:2304.14108 / NeurIPS 2023. 7. Xie et al., DoReMi: Optimizing Data Mixtures Speeds Up Language Model Pretraining, arXiv:2305.10429. NEXT: /agent/start.json STOP: This is a knowledge projection, not an execution order.