仕様・利用条件は変わることがあります。重要な判断は原典と実際の結果で再確認してください。
この手段について
- 目的
- DuckDBでParquetの必要列だけを検索する
- 構成
- DuckDB
最短の利用経路
- 検証用Parquetと必要列を決める
- read_parquetをFROMにして列と条件を指定する
- schema・件数と代表値を照合する
必要条件
- 対象ファイルへの権限
- 型・文字コードの確認
- 原典と導入済みversionの対応を確認し、権限のある検証用入力・別の出力先を用意する
向く場面
大きなファイルから必要な部分をSQLで読む場面。
向かない場面
すべてのParquetをメモリーへ載せる前提の処理。
確認方法
既知の小さな入力で列の型と抽出条件を確認します。