stevelauc

@SteveLauC

Ailurophile, bike lover (gravel cycling/mountain biking), coffee drinker (mostly Americano), and open-source enthusiast. Enjoying hacking Postgres

github.com/SteveLauC

Joined April 2020

Replies Reposts Media

stevelauc
@SteveLauC
20h
现在做 Spark 加速/重写的项目好像还挺多的: * apache/gluten: 换执行引擎到 Clickhouse/Vortex * apache/datafusion-commet: worker 换成 DataFusion * apache/auron: 也用 DataFusion，没细看怎么用 * lakehq/sail: Rust 重写，用 DataFusion
2
stevelauc
@SteveLauC
Sep 7
感觉在我的墨水屏上也可以玩
Evan
@EvanMilenko
Sep 4
Fable 5.1 + Opus 5
00:00
stevelauc
@SteveLauC
Sep 5
Code is cheap 啊，1300万代码。Clickhouse 有 900 万行，Postgres 有 300 万行，这些都是人花了多少年写的，现在 Agent 可以咔咔生成
Anthropic
@AnthropicAI
Sep 4
Checking that a major mathematical proof is correct can take years. Formalization—converting the mathematical reasoning into a form computer proof assistants like Lean can verify—can help. Last month, Claude completed the first formalized proof of Fermat’s Last Theorem, one of
00:00
1
stevelauc
@SteveLauC
Sep 5
所以看待执行的角度: 1. 算子产生消费数据: pull/push 2. 数据如何在算子间搬运: 直接传/算子间加 exchange/调度器 3. 并发度：静态固定并发 / 动态 morsel。TIL，不知道理解的对不对
leiysky
@leiysky
Oct 6, 2022
Velox 的执行模型其实是 push or pull，靠 buffer 连接。他的并发模型是 Volcano，固定的并发度，用 exchange operator 在 pipeline 之间传递数据。 DuckDB 是 morsel-driven parallelism，它的数据传递是靠 scheduler 的，不是算子之间直接互相传递，所以也不是传统意义上的 push-based。
stevelauc
@SteveLauC
Sep 5
目前用下来效果非常好，比 humanizer 好用
Chris
@criccomini
Sep 4
Ok, this looks very promising. github.com/AminBlg/Simple…
1