（转载）openAI最大的问题是消耗的资源太大

[Caravel]

此帖转自 Caravel 在 军事天地（Military） 的帖子：openAI最大的问题是消耗的资源太大

到目前为止，OAI综合实力还是最强，但是他们消耗了Deepseek，Kimi这种公司股估计20倍以上的资源。所以Altman一直要画更大的饼圈钱。

[hci]

的确是这样。Codex能做非常复杂的编程。经过一个多月的工作，我用codex给LMDB增加了几个大功能，都是非常大的手术，非常复杂的C底层代码。我负责做决定，AI写代码。需要步步盯着，很心累，但我完全自己来搞的话，起码得两三个月。

https://github.com/huahaiy/dlmdb

其他的所有前沿AI也都试过，都差得蛮远的。其他AI的主要问题是浅薄，一上来就动手写码，但这么复杂的逻辑，哪是随便就能改的。虽然Codex也撒谎，但相对于其他的AI要算老实多了。

如果没有我，Codex完全自己干这个活行不行？那肯定不行。就算AI再进步，也还是不行的。这样的复杂项目，是有很多的障碍的。首先就是技术路线，AI完全没有任何好的编程口味，它自己选的路几乎都是错的。再有就是这么复杂的逻辑，有的虫子埋得很深，AI再怎么折腾，都找不出原因来。有一个虫子它搞了整整一个星期，毫无进展。最后我亲自来仔细看log，才找出关键问题。找出了问题，AI修复很快，就两行代码。但这个洞见，AI自己不可能有。主要问题是它不具备逻辑推理的能力，这是目前这种AI的根本缺陷。

https://github.com/huahaiy/dlmdb/commit ... 7dd2R13552

[ccmath]

写码已经是openAI最实在的东西了。没有用就是没有用。现在已经有一堆本来精神不正常的，因为使用过度，病情加重，乃至自杀的都有。

连我认识的人里面，有看起来挺正常的人，一个觉得自己发现了新的数理方程，一个经常用chatgpt给自己算命。这才是无用的资源消耗

此帖转自 Caravel 在 军事天地（Military） 的帖子：openAI最大的问题是消耗的资源太大

到目前为止，OAI综合实力还是最强，但是他们消耗了Deepseek，Kimi这种公司股估计20倍以上的资源。所以Altman一直要画更大的饼圈钱。

[YouHi]

写码已经是openAI最实在的东西了。没有用就是没有用。现在已经有一堆本来精神不正常的，因为使用过度，病情加重，乃至自杀的都有。

连我认识的人里面，有看起来挺正常的人，一个觉得自己发现了新的数理方程，一个经常用chatgpt给自己算命。这才是无用的资源消耗

算命
这个是半失心了。

[ccmath]

有没有办法可以劝阻一下？原来看起来挺正常的人。

个人觉得以后AI delusion therapist会大火

算命
这个是半失心了。

[牛河梁]

算命
这个是半失心了。

老牦经常干。没有GPT的时候就开始了。不过是为人类算命。

老牦的命不用算。能为人类算命。人类应该会照顾好老牦的。

[hci]

算力是假象，是抛出来骗人的说法。

我认为openai目前的优势是人工标注。他们应该招了大量的专业人士来标注各种工作流程。比如编程，找虫子的流程，codex使用的方法与人无异，调用调试器，打印状态，等等，这些所谓内隐过程性知识，在公开数据集中应该是不太常见的。

当然这还是不改变LLM不会邏輯思考的根本缺陷，能掩蓋不少，但不改变。

此帖转自 Caravel 在 军事天地（Military） 的帖子：openAI最大的问题是消耗的资源太大

到目前为止，OAI综合实力还是最强，但是他们消耗了Deepseek，Kimi这种公司股估计20倍以上的资源。所以Altman一直要画更大的饼圈钱。

[Caravel]

算力是假象，是抛出来骗人的说法。

我认为openai目前的优势是人工标注。他们应该招了大量的专业人士来标注各种工作流程。比如编程，找虫子的流程，codex使用的方法与人无异，调用调试器，打印状态，等等，这些所谓内隐过程性知识，在公开数据集中应该是不太常见的。

当然这还是不改变LLM不会邏輯思考的根本缺陷，能掩蓋不少，但不改变。

我认为你说的是对的

小札肯定也听说了

所以请了alex 王这个搞标注的当头

[jianf1846]

有道理！

[bigbendan]

我认为你说的是对的

小札肯定也听说了

所以请了alex 王这个搞标注的当头

当年最早imagenet, 不就是李飞飞网上花钱招募贫穷的人手动标注的，从而有了可以训练的数据集。

喂的越好，长的越聪明。

现在的Mecor, 也是类似。打着招聘的名义，其实大部分白嫖。我申请了几个，都被拒绝了。我几周没有理了。又收到邮件，让我继续申请其它职位。
去他的吧。国内也复制出好多类似公司，网上兼职招聘高级标注人员，先让你做测试，通过了才给你兼职。

[Caravel]

算力是假象，是抛出来骗人的说法。

我认为openai目前的优势是人工标注。他们应该招了大量的专业人士来标注各种工作流程。比如编程，找虫子的流程，codex使用的方法与人无异，调用调试器，打印状态，等等，这些所谓内隐过程性知识，在公开数据集中应该是不太常见的。

当然这还是不改变LLM不会邏輯思考的根本缺陷，能掩蓋不少，但不改变。

最早的cot数据应该是oai请人标注的
做这种数据的估计水平还不能太低
至少的是理工科本科生

o1做出来大家都做不出来
deepseek我怀疑也是想办法把
o1的思维链prompt出来
然后练成了R1
后面大家就简单了，可以用R1的思维链训练

[fantasist]

最早的cot数据应该是oai请人标注的
做这种数据的估计水平还不能太低
至少的是理工科本科生

o1做出来大家都做不出来
deepseek我怀疑也是想办法把
o1的思维链prompt出来
然后练成了R1
后面大家就简单了，可以用R1的思维链训练

去年我们有一阵子也狂prompt o1然后训练自己的cot模型。其实到现在也一直是这样，大家都想方设法从三个老祖身上吸功力。虽然光靠蒸馏老祖们不能超越他们，但能力可以接近到一定程度，而研发成本低很多，这也成为了现在开源模型的卖点。一直有人抨击OAI预训练数据是从互联网上白嫖来的，这话不假但不是今天讨论的重点，后来COT之类高阶数据是得花真金白银做的。我觉得OAI挺不容易的，做开创性的work消耗后来copycat玩家几十倍资源一点都不奇怪。目前大家都在拼速度，知识产权法律几乎都被无视，还有国家直接下场博弈，想保持冲劲甩远对手太难。
越复杂的系统越难蒸馏，纯文字的COT因为是模型本身的能力，生成的数据比较容易直接用于打标。而到了agent有复杂search/workflow等私有系统的参与，或者sora2之类多模态对训练要求更高的，竞争对手相对难赶上。

[Caravel]

去年我们有一阵子也狂prompt o1然后训练自己的cot模型。其实到现在也一直是这样，大家都想方设法从三个老祖身上吸功力。虽然光靠蒸馏老祖们不能超越他们，但能力可以接近到一定程度，而研发成本低很多，这也成为了现在开源模型的卖点。一直有人抨击OAI预训练数据是从互联网上白嫖来的，这话不假但不是今天讨论的重点，后来COT之类高阶数据是得花真金白银做的。我觉得OAI挺不容易的，做开创性的work消耗后来copycat玩家几十倍资源一点都不奇怪。目前大家都在拼速度，知识产权法律几乎都被无视，还有国家直接下场博弈，想保持冲劲甩远对手太难。
越复杂的系统越难蒸馏，纯文字的COT因为是模型本身的能力，生成的数据比较容易直接用于打标。而到了agent有复杂search/workflow等私有系统的参与，或者sora2之类多模态对训练要求更高的，竞争对手相对难赶上。

显然的，那些高阶数学都是教授级别的人教给大模型的

陶哲轩也参与了一些项目

中国模型基本就到IMO这一级别

你说的三个老祖是哪三个？

[fantasist]

显然的，那些高阶数学都是教授级别的人教给大模型的

陶哲轩也参与了一些项目

中国模型基本就到IMO这一级别

你说的三个老祖是哪三个？

gpt, claude, gemini呀

[Caravel]

gpt, claude, gemini呀

后面两个出reasoning model都比R1晚吧

[fantasist]

后面两个出reasoning model都比R1晚吧

不是在说reasoning。这三家各有大量独门数据，所以是蒸馏对象。

[pseudo]

写码已经是openAI最实在的东西了。没有用就是没有用。现在已经有一堆本来精神不正常的，因为使用过度，病情加重，乃至自杀的都有。

连我认识的人里面，有看起来挺正常的人，一个觉得自己发现了新的数理方程，一个经常用chatgpt给自己算命。这才是无用的资源消耗

porn 应该是 closeAI 最大的应用吧。