仕様・利用条件は変わることがあります。重要な判断は原典と実際の結果で再確認してください。
この手段について
- 目的
- PyArrowで表をParquetへ保存して読み直す
- 構成
- PyArrow + Python
最短の利用経路
- 列の型とNULLを含む検証表を作る
- Parquetへ出力し、別の読み取りで開く
- schema・行数と代表値を比較する
必要条件
- 対象データへの権限
- 接続先または入力ファイルを確認する
- 原典と導入済みversionの対応を確認し、権限のある検証用入力・別の出力先を用意する
向く場面
処理結果を型付きの列指向ファイルへ渡す場面。
向かない場面
型の互換性を確認せず長期保存を保証する用途。
確認方法
保存前後の型・NULL・値を照合し、形式変換の損失を確認します。