Superset 访问 S3上的数据集


本地运行的 Minio 服务器(可选)
如果只是为了测试,这一步可以省略,使用 minio 官方的测试服务器或者匿名的 S3 即可。
/usr/local/opt/minio/bin/minio server --config-dir=/usr/local/etc/minio --address=:9900 /usr/local/var/minio
如果你对 minio 感兴趣,可以看看这两篇文章,
ClickHouse 与开源的 Amazon S3 对象存储 (详细介绍了本地安装部署 minio)
Delta Lake 数据湖与 AWS S3 对象存储 (详细介绍了 Minio Play)
上传数据到 Minio
创建了一个 bucket:ontime,并上传了 ontime.parquet, 11G

Superset 使用 DuckDB 访问 Minio
本地服务器
install 'httpfs';load 'httpfs';SET s3_endpoint='127.0.0.1:9900';SET s3_access_key_id='minioadmin';SET s3_secret_access_key='minioadmin';SET s3_url_style = 'path';SET s3_use_ssl=false;select * from 's3://ontime/*.parquet' limit  3;

1.25s, 2 亿多数据
minio 官方的测试服务器
我创建了一个 bucket:ontime,并上传了网上的一个数据集, sales_5m_0.parquet (本来想传 ontime.parquet, 11G,还是别虐自己和服务器了)
install 'httpfs';load 'httpfs';SET s3_endpoint='play.min.io:9000';SET s3_access_key_id='Q3AM3UQ867SPQQA43P2F';SET s3_secret_access_key='zuf+tfteSlswRu7BJ86wekitnifILbZam1KYY3TG';SET s3_url_style = 'path';SET s3_use_ssl=true;SET s3_region = 'us-east-1';select * from 's3://ontime/sales_5m_0.parquet' limit  3;
Superset 使用 DuckDB 访问 S3
coiled 在 S3 上的匿名数据集
在 Dask 如何高效读取 parquet 格式文件用到过。
install 'httpfs';load 'httpfs';select * from 's3://coiled-datasets/timeseries/20-years/parquet/*.parquet' limit 10
DuckDB 的必要设置
必须勾选 Allow DML
当然需要先勾选 Expose database in SQL Lab。
默认只允许 SELECT 命令

到顶部