DuckDB 1.0.0发布了

[hci]

DuckDB貌似很火爆。好像数据科学家们很喜欢。除了分析数据很快，据说DuckDB的SQL也比较expressive，有用过的么。

https://duckdb.org/2024/06/03/announcin ... b-100.html

行数据库用SQLite，列数据库用DuckDB，都用SQL，貌似包圆了。

[madalpaca]

重复造轮子，搁几年就有一个。

[hci]

这个好像很有前途，口碑很好。

重复造轮子，搁几年就有一个。

[madalpaca]

技术上：没意义。人不需要在搞一个SQL dialect。
商业上：搁几年搞这么一波去让用户换车才有钱赚。

[hci]

这个主要是用来做OLAP的。不是一般的RDBMS

再说这是open source的，赚什么？

技术上：没意义。人不需要在搞一个SQL dialect。
商业上：搁几年搞这么一波去让用户换车才有钱赚。

[wokao]

我早就推荐了，压根都不用学pandas之类

viewtopic.php?t=478302

最近用duckdb把750GB的房里美的CSV读进了数据库，然后转存Parquet，才20GB。

DuckDB貌似很火爆。好像数据科学家们很喜欢。除了分析数据很快，据说DuckDB的SQL也比较expressive，有用过的么。

https://duckdb.org/2024/06/03/announcin ... b-100.html

行数据库用SQLite，列数据库用DuckDB，都用SQL，貌似包圆了。

[wokao]

重复造轮子，搁几年就有一个。

还有个类似的，好像还是中国人做的，基于clickhouse，但是不支持Windows，这点给差评

https://github.com/chdb-io/chdb/blob/main/README-zh.md

[blob]

码农的新奇玩具而已，也不能说完全没意义，说不定哪天就用上了。再说了，750G才多大的数据，哪个DB会handle不了？

[wokao]

码农的新奇玩具而已，也不能说完全没意义，说不定哪天就用上了。再说了，750G才多大的数据，哪个DB会handle不了？

用笔记本电脑？

[blob]

用笔记本电脑？

也可以，不过你把750G下载到本地电脑？

[wokao]

也可以，不过你把750G下载到本地电脑？

房里美给我一个50GB的zip，解压缩得到96个CSV，总共750GB
我再一个一个压缩，得到96个压缩文件，大概60GB吧
然后DuckDB import，据DuckDB说 处理压缩的CSV不比处理原生的慢

[blob]

一点新意都没有，数据文件小是parquet格式的功劳，处理原生的压缩CSV就是多加一层解压，数据load完最终是parquet格式。
让我来，我都比他们会忽悠。

[hci]

除了用来转文件格式，你还用DuckDB干嘛呢？

我早就推荐了，压根都不用学pandas之类

viewtopic.php?t=478302

最近用duckdb把750GB的房里美的CSV读进了数据库，然后转存Parquet，才20GB。

[wokao]

计算非常快，而且是对巨量的数据。我用Julia自己的DataFrame就死掉了（用Pandas会死掉得更惨），用DuckDB没问题。

还有一个我早说过了，就是根本不用学各种语言自己的DataFrame了，SQL易懂而且成熟得多。

除了用来转文件格式，你还用DuckDB干嘛呢？

[wokao]

计算非常快，而且是对巨量的数据。我用Julia自己的DataFrame就死掉了（用Pandas会死掉得更惨），用DuckDB没问题。

还有一个我早说过了，就是根本不用学各种语言自己的DataFrame了，SQL易懂而且成熟得多。

不错，DuckDB马上就更新了Julia的package
团队还是很拼的

[hci]

那你会用DuckDB的SQL来实现机器学习算法么？

从一个最近的文章看，貌似这是可行的。DuckDB的SQL支持递归，所以可以用来实现算法，比如Gradient Descent啥的。

计算非常快，而且是对巨量的数据。我用Julia自己的DataFrame就死掉了（用Pandas会死掉得更惨），用DuckDB没问题。

还有一个我早说过了，就是根本不用学各种语言自己的DataFrame了，SQL易懂而且成熟得多。

[wokao]

那部分难道不是python R之类实现？

那你会用DuckDB的SQL来实现机器学习算法么？

从一个最近的文章看，貌似这是可行的。DuckDB的SQL支持递归，所以可以用来实现算法，比如Gradient Descent啥的。

[赖美豪中]

再好都没有卵用，愿意付钱的人不换数据库，你看看Oracle这么贵为什么每年接着用，ds他会花钱买这玩意，口碑好能变成钱么

这个好像很有前途，口碑很好。

[赖美豪中]

你在数据库里做计算？lol

计算非常快，而且是对巨量的数据。我用Julia自己的DataFrame就死掉了（用Pandas会死掉得更惨），用DuckDB没问题。

还有一个我早说过了，就是根本不用学各种语言自己的DataFrame了，SQL易懂而且成熟得多。

[wokao]

oltp vs olap

再好都没有卵用，愿意付钱的人不换数据库，你看看Oracle这么贵为什么每年接着用，ds他会花钱买这玩意，口碑好能变成钱么