其他
GPT5据说失败了
朱泽圆那边的那个 Physics of LLMs 系列,真是让人眼前一亮,感觉像是趟进了一个大模型的神秘深处,像是发现了一片新大陆。
想起GPT-5,那边谷歌主管就吹风说有个gemini 2.0要来,靠谱不靠谱啊,你小子可别藏着掖着啊。
说起GPT-5,延期延期再延期,都快让人等得花儿都谢了。
不过,说到训练失败那点破事,还真让人头大。
有人说是scaling law慢了,有人说是数据不够,合成数据又比不上现成的。
还记得MOE那会儿post-training的效果多好,结果模型就是不给力,收敛得那叫一个艰难。
再瞧瞧,有人说大力出奇迹失败了,AGI的算法是不是得重来了?
现在的GPT,简直就是在搞填鸭式教育,不换新招,边际效应肯定是越来越低。
大家都像是在挖金子,结果发现可能就那么一块,算法的路还长着呢。
大部分观点我倒是赞同,就是最后一个点,我有点保留意见。
压缩哪是简单归纳总结就能搞定的,高级压缩肯定是在不断压缩中诞生的。
等大模型突破了瓶颈,接近AGI的那天,也许就能看到推理能力更强的压缩技术啦!
,
选择留言身份