分页： 1 / 2
#1 DuckDB 1.0.0发布了
发表于 ： 2024年 6月 4日 16:07
由 hci
DuckDB貌似很火爆。好像数据科学家们很喜欢。除了分析数据很快，据说DuckDB的SQL也比较expressive，有用过的么。
https://duckdb.org/2024/06/03/announcin ... b-100.html
行数据库用SQLite，列数据库用DuckDB，都用SQL，貌似包圆了。
#2 Re: DuckDB 1.0.0发布了
发表于 ： 2024年 6月 5日 13:09
由 madalpaca
重复造轮子，搁几年就有一个。
#3 Re: DuckDB 1.0.0发布了
发表于 ： 2024年 6月 5日 13:40
由 hci
这个好像很有前途，口碑很好。
madalpaca 写了： 2024年 6月 5日 13:09
重复造轮子，搁几年就有一个。
#4 Re: DuckDB 1.0.0发布了
发表于 ： 2024年 6月 5日 15:58
由 madalpaca
技术上：没意义。人不需要在搞一个SQL dialect。
商业上：搁几年搞这么一波去让用户换车才有钱赚。
#5 Re: DuckDB 1.0.0发布了
发表于 ： 2024年 6月 5日 18:01
由 hci
这个主要是用来做OLAP的。不是一般的RDBMS
再说这是open source的，赚什么？
madalpaca 写了： 2024年 6月 5日 15:58
技术上：没意义。人不需要在搞一个SQL dialect。
商业上：搁几年搞这么一波去让用户换车才有钱赚。
#6 Re: DuckDB 1.0.0发布了
发表于 ： 2024年 6月 5日 18:15
由 wokao
我早就推荐了，压根都不用学pandas之类
viewtopic.php?t=478302
最近用duckdb把750GB的房里美的CSV读进了数据库，然后转存Parquet，才20GB。
#7 Re: DuckDB 1.0.0发布了
发表于 ： 2024年 6月 5日 18:16
由 wokao
madalpaca 写了： 2024年 6月 5日 13:09
重复造轮子，搁几年就有一个。
还有个类似的，好像还是中国人做的，基于clickhouse，但是不支持Windows，这点给差评
https://github.com/chdb-io/chdb/blob/main/README-zh.md
#8 Re: DuckDB 1.0.0发布了
发表于 ： 2024年 6月 5日 18:32
由 blob
码农的新奇玩具而已，也不能说完全没意义，说不定哪天就用上了。再说了，750G才多大的数据，哪个DB会handle不了？
#9 Re: DuckDB 1.0.0发布了
发表于 ： 2024年 6月 5日 18:34
由 wokao
blob 写了： 2024年 6月 5日 18:32
码农的新奇玩具而已，也不能说完全没意义，说不定哪天就用上了。再说了，750G才多大的数据，哪个DB会handle不了？
用笔记本电脑？
#10 Re: DuckDB 1.0.0发布了
发表于 ： 2024年 6月 5日 18:35
由 blob
wokao 写了： 2024年 6月 5日 18:34
用笔记本电脑？
也可以，不过你把750G下载到本地电脑？
#11 Re: DuckDB 1.0.0发布了
发表于 ： 2024年 6月 5日 18:43
由 wokao
blob 写了： 2024年 6月 5日 18:35
也可以，不过你把750G下载到本地电脑？
房里美给我一个50GB的zip，解压缩得到96个CSV，总共750GB
我再一个一个压缩，得到96个压缩文件，大概60GB吧
然后DuckDB import，据DuckDB说 处理压缩的CSV不比处理原生的慢
#12 Re: DuckDB 1.0.0发布了
发表于 ： 2024年 6月 5日 19:08
由 blob
一点新意都没有，数据文件小是parquet格式的功劳，处理原生的压缩CSV就是多加一层解压，数据load完最终是parquet格式。
让我来，我都比他们会忽悠。
#13 Re: DuckDB 1.0.0发布了
发表于 ： 2024年 6月 6日 00:25
由 hci
#14 Re: DuckDB 1.0.0发布了
发表于 ： 2024年 6月 6日 09:20
由 wokao
计算非常快，而且是对巨量的数据。我用Julia自己的DataFrame就死掉了（用Pandas会死掉得更惨），用DuckDB没问题。
还有一个我早说过了，就是根本不用学各种语言自己的DataFrame了，SQL易懂而且成熟得多。
hci 写了： 2024年 6月 6日 00:25
除了用来转文件格式，你还用DuckDB干嘛呢？
#15 Re: DuckDB 1.0.0发布了
发表于 ： 2024年 6月 6日 13:03
由 wokao
wokao 写了： 2024年 6月 6日 09:20
计算非常快，而且是对巨量的数据。我用Julia自己的DataFrame就死掉了（用Pandas会死掉得更惨），用DuckDB没问题。
还有一个我早说过了，就是根本不用学各种语言自己的DataFrame了，SQL易懂而且成熟得多。
不错，DuckDB马上就更新了Julia的package
团队还是很拼的
#16 Re: DuckDB 1.0.0发布了
发表于 ： 2024年 6月 6日 21:06
由 hci
那你会用DuckDB的SQL来实现机器学习算法么？
从一个最近的文章看，貌似这是可行的。DuckDB的SQL支持递归，所以可以用来实现算法，比如Gradient Descent啥的。
wokao 写了： 2024年 6月 6日 09:20
计算非常快，而且是对巨量的数据。我用Julia自己的DataFrame就死掉了（用Pandas会死掉得更惨），用DuckDB没问题。
还有一个我早说过了，就是根本不用学各种语言自己的DataFrame了，SQL易懂而且成熟得多。
#17 Re: DuckDB 1.0.0发布了
发表于 ： 2024年 6月 6日 21:57
由 wokao
那部分难道不是python R之类实现？
hci 写了： 2024年 6月 6日 21:06
那你会用DuckDB的SQL来实现机器学习算法么？
从一个最近的文章看，貌似这是可行的。DuckDB的SQL支持递归，所以可以用来实现算法，比如Gradient Descent啥的。
#18 Re: DuckDB 1.0.0发布了
发表于 ： 2024年 6月 6日 22:01
由 赖美豪中
再好都没有卵用，愿意付钱的人不换数据库，你看看Oracle这么贵为什么每年接着用，ds他会花钱买这玩意，口碑好能变成钱么
hci 写了： 2024年 6月 5日 13:40
这个好像很有前途，口碑很好。
#19 Re: DuckDB 1.0.0发布了
发表于 ： 2024年 6月 6日 22:02
由 赖美豪中
你在数据库里做计算？lol
wokao 写了： 2024年 6月 6日 09:20
计算非常快，而且是对巨量的数据。我用Julia自己的DataFrame就死掉了（用Pandas会死掉得更惨），用DuckDB没问题。
还有一个我早说过了，就是根本不用学各种语言自己的DataFrame了，SQL易懂而且成熟得多。
#20 Re: DuckDB 1.0.0发布了
发表于 ： 2024年 6月 6日 22:02
由 wokao
oltp vs olap
赖美豪中 写了： 2024年 6月 6日 22:01
再好都没有卵用，愿意付钱的人不换数据库，你看看Oracle这么贵为什么每年接着用，ds他会花钱买这玩意，口碑好能变成钱么