
常为希 |加密保安🔸🚢🇺🇸|2025年01月28日 06:40
《DeepSeek的涌现性》
DeepSeek 最被低估的方面是涌现性。
对于AI和英伟达来说,DeepSeek 实际上更加刺激高量需求和爆发增长。$nvda 看似下跌是因为 DeepSeek 过热,但实际上可能这个消息的影响更大:特朗普总统宣布,美国将在不久的将来对从台湾进口的所有半导体和药品征收关税。
RL的重要性-自进化机制
思路链、反思、自我验证和长 CoT 都是从基础模型上的简单 RL 自然产生的。这一条,是开启新范式的核心。训练中不需要人类中去调节LLM,类似教AI骑自行车,还要人类手把手扶着。AI 自己去反复尝试,有错自己反思总结,自己改。
算力需求就像我读到 GPT-3 中的“grokking”时一样,模型在一定规模上突然泛化。数据的自修复性让 AI 慢慢变成真正的 AI。
拿市场举例:RAG 知识库只会提炼总结推文、K线,搜索提取。RL 意味着,LLM 可以随着市场在一定范围内成长进化,算力给够的话。
中小型企业的资源问题现阶段 AI 自己 RL,再 RLHF 把人类博士级知识加进去,可以双剑合璧。但是对于大多数中小型主体来说,没有那个资源搞人工标注。
而 RL,多快好省地解决了提分。例如有个组刚做出数学的,他只用了 8K 数据集,就把 2.5M 人工标注数据的训练法给碾压了。
而RL这条路大家都没有公布出来,但是Deepseek公布出来了。
就像nvda之火在于gpt的突破
gpt走完了弯路然后开源进入下一个版本也就是现在,也刺激大量ai公司投入的阶段,继续往前走,继续试错
这次openai不在继续开源,知道Rl这条路不说,让你们自己去试错,几十条路能走到Rl这条路得到验证,这中间很多公司不沟通默默耕耘就都是重复的算力浪费,这也是开源的伟大。
大家找不到提升成绩的办法就需要一直用错题本也就是算力维持但是deepseek给大家公开了自己的成功,相当于帮大家提供了自己的错题本,找到了新的提升成绩的快路子,大家继续进入新的阶段
等继续走下去遇到新的问题,还是需要更多错题本,这也是算力不可能减少只会刺激算力需求的原因。
这也是deepseek为啥便宜,然后震动了整个ai 训练界,几乎除了我知道但我不说的openai,弱智版本的ai rag都要被淘汰,各家都要推倒重来,算力就是ai劳动力
想继续进化就得继续训练,ai继续提性能的增长曲线又续了一波。
最后还要说,最好的东西在未来,Ai需要迭代,迭代是Ai最大的魅力,所有的产物都是历史产物,Ai永远有新开的花。
拿圈内项目举例:像 swarm 之类可以死了,因为工作流是多个ai分步骤之类串联在一起。
例如翻译是
1 先保留专有名词粗翻意译
2 润色调成母语风格
3检查改错
现在 thinking model 融为一体,一步完成。
提示词工程也废了,不用再下过多定义。
这不是针对swarm,连web2 的 langchain、字节的coze 之类里面的工作流也是面临淘汰。
这就是Ai
但是技术需要最新,好的产品不一定面临如此快速的迭代,加密Ai的出路在于落地场景而不是技术,拼技术crypto永远拼不过一线。一线Ai不需要靠crypto。而是Crypto需要Ai提升生产力
分享至:
脉络
热门快讯
APP下载
X
Telegram
复制链接