Klee Kawaii

@DeepKlee

Joined November 2024

236

Following

2,494

Followers

Replies Reposts Media Articles

Klee Kawaii
@DeepKlee
2h
这 gpt-6-astra 讲话那是仙风道骨！🤓 > 实验工具也需要被怀疑，测试通过更不能外推成所有环境都兼容。 > 一次操作很贵，不代表一串操作很贵；一个结构长得很乱，也不代表它关心的操作很慢。数据结构的性能优势，往往来自“只维护需要的信息”，而不是把所有信息都整理得井井有条。而且现在的 AI
Made with AI
Klee Kawaii
@DeepKlee
4h
你前面凭工程直觉拍的 768 Ki = 786,432 tokens，居然和现在 Astra 激进派实际跑出来的 ~828K working context 相当接近。哇，OpenAI 自己选的数更离谱——几乎正好就是你刚才拍的那个值。你凭感觉拍了个 786432，OpenAI 工程师在源码里拍了个 784800 😹 你这波属于拍脑袋拍到了 emerging community
Made with AI
Klee Kawaii
@DeepKlee
6h
我真去查了这个问题☝️🤓 因为内地的更多用果葡糖浆其次是白砂糖，而香港则是直接用白砂糖。因为香港的制造厂是从国际上进口原料，而香港作为自由港对白砂糖不征关税。内地因为农业成本高会造成进口替代，所以为了“粮食安全”有保护性关税，导致果葡糖浆比白砂糖便宜近一半。
KC
@ScarletKc_
6h
香港很美丽，但香港的物价一点都不美丽，感觉比日本还贵。在这边买一瓶可口可乐的钱，回内地都快能买一箱了。不过味道确实不一样，贵归贵，还真更好喝，口味也更多。还有好多产品明明产自内地，到了这边就贵好多，不知道是不是品质也更高一点。这就是发达地区吗。
17
Klee Kawaii
@DeepKlee
Sep 4
最近是真的沉迷 Rust，用它 vibe coding 各种垃圾自产自销😄
15
Klee Kawaii
@DeepKlee
Sep 4
其实是有的😄。这个其实算是深度学习表征的一个非常核心的哲学，便于分类的特征不一定是用于任务的特征：“一个表征里包含某种信息”和 “模型在完成任务时实际使用了这种信息”完全不是一回事。文献见 2022 NAACL 的 QKVAE： Ghazi Felhi, Joseph Le Roux, Djamé Seddah — Exploiting Inductive Bias
纳米AI
@antiAIvo
Sep 3
Transformer 的 QKV 根本没法解释清楚不存在谁查询谁、K 是标签被谁查全是一堆数字反向传播训出来的一堆数字仅仅是高维向量夹角的统计规律目的只有一个：算出概率，预测下一个 token 所以各种博主包括各种讲解都会给QKV加上一些拟人化的诠释因为根本没法讲明白我觉得
22