大模型并没有涌现现象

[hci]

所谓的涌现现象，就是随着模型变大，一些小模型不存在的能力就涌现出来了，这其实是不存在的，不过是文章的图中的X轴用了log scale而造成的错觉。哈哈。

https://betterprogramming.pub/there-are ... b42e17ce7e

[hci]

当然也还是有那么一点点的涌现的，在线性X scale图上，在10^10处，还是有一个剧烈能力提升的。但是，这个剧烈变化并不能持续，再大一些的模型，又变成了线性变化。

[弃婴千枝]

所谓的涌现现象，就是随着模型变大，一些小模型不存在的能力就涌现出来了，这其实是不存在的，不过是文章的图中的X轴用了log scale而造成的错觉。哈哈。

https://betterprogramming.pub/there-are ... b42e17ce7e

很显然，scale还不够

想想自然界，水分子之间的牛顿力学，发展到什么scale，才有流体力学的emergent？

[弃婴千枝]

所以啊，你们太乐观了！

[verdelite]

要啥涌现？还是对大脑抱有不切实际的幻想。等你们明白了世人皆傻，大脑不大，你们就知道AI不需要涌现。

[Caravel]

所谓的涌现现象，就是随着模型变大，一些小模型不存在的能力就涌现出来了，这其实是不存在的，不过是文章的图中的X轴用了log scale而造成的错觉。哈哈。

https://betterprogramming.pub/there-are ... b42e17ce7e

原论文不是那个意思，原文是低于一定阈值，model基本和random model的表现差不多，高于阈值才出现meaningful的output

[Caravel]

很显然，scale还不够

想想自然界，水分子之间的牛顿力学，发展到什么scale，才有流体力学的emergent？

人脑有100B神经元，跟LLM差不多了

[弃婴千枝]

原论文不是那个意思，原文是低于一定阈值，model基本和random model的表现差不多，高于阈值才出现meaningful的output

这不就是emergent么

[Caravel]

这不就是emergent么

是的，跟楼主说的log scale无关

[verdelite]

原论文不是那个意思，原文是低于一定阈值，model基本和random model的表现差不多，高于阈值才出现meaningful的output

这说法也不对的。对于小的神经网络，你喂给它简单的输入就行了。

假设有个小神经网络网络下围棋，你拿19x19的棋盘训练它，显然没有意义的结果。但是小的就拿小的训练，例如6x6。这就行了。


小孩的大脑较小，内部链接也没训练好。结果小孩都爱看动画片，卡通书。因为简单，不会overload.

[Caravel]

神经元复杂多了

一个神经元细胞具备的复杂度，就不是一个计算机能模拟的。

什么级别的复杂度，你不能从原子核开始算吧？神经元在生物学上就是firing和不firing两个状态，复杂一点都加上时间长度。

[verdelite]

哈哈哈哈哈哈

哈哈大笑的人显然还没认识到世人皆傻，大脑不大。更有可能没有认识到没有光子，没有量子纠缠，而把大脑的功能归结到量子纠缠上。

[TheMatrix]

所谓的涌现现象，就是随着模型变大，一些小模型不存在的能力就涌现出来了，这其实是不存在的，不过是文章的图中的X轴用了log scale而造成的错觉。哈哈。

https://betterprogramming.pub/there-are ... b42e17ce7e

这个log scale确实有点博眼球的意思。

[xexz]

‘量变到质变的过程本质上是随机过程’，‘人工的复杂性’带来的智能是‘人工智能’，不是‘人的智能’，很可能有类似性，恐怕本质上还是两种东西。

‘复杂现象’来自最基本对称性的衍生进化，上层的新现象不是低层现象的必然结果--‘换句话说：新现象是低层复杂性的随机结果’，不能被低层现象（的属性）完整描述，他们是‘新的’。本质上就不是个‘计算问题’。

[xexz]

‘量变到质变的过程本质上是随机过程’，‘人工的复杂性’带来的智能是‘人工智能’，不是‘人的智能’，很可能有类似性，恐怕本质上还是两种东西。

‘复杂现象’来自最基本对称性的衍生进化，上层的新现象不是低层现象的必然结果--‘换句话说：新现象是低层复杂性的随机结果’，不能被低层现象（的属性）完整描述，他们是‘新的’。本质上就不是个‘计算问题’。

他们是‘新生‘的。

从我兔的河图世界观，可以合理的/自然的创造出一神教的‘上帝/造物主’，这是文明等级的差距

[弃婴千枝]

‘量变到质变的过程本质上是随机过程’，‘人工的复杂性’带来的智能是‘人工智能’，不是‘人的智能’，很可能有类似性，恐怕本质上还是两种东西。

‘复杂现象’来自最基本对称性的衍生进化，上层的新现象不是低层现象的必然结果--‘换句话说：新现象是低层复杂性的随机结果’，不能被低层现象（的属性）完整描述，他们是‘新的’。本质上就不是个‘计算问题’。

你们的想像力真丰富

物理学对emergent有大量的研究，最简单的例子比如水结冰，水分子之间牛顿力学并不隐含相变，但是，1 atm下，0度水必然结冰，这不是随机的

物理学丛landau开始折腾了近100年，目前准对emergent的方法只有2：平均场论，和wilson的重整化群，所以我想计算机领域要emergent出“智能”，估计还得花上100年时间

[verdelite]

你们的想像力真丰富

物理学对emergent有大量的研究，最简单的例子比如水结冰，水分子之间牛顿力学并不隐含相变，但是，1 atm下，0度水必然结冰，这不是随机的

物理学丛landau开始折腾了近100年，目前准对emergent的方法只有2：平均场论，和wilson的重整化群，所以我想计算机领域要emergent出“智能”，估计还得花上100年时间

智能只需要再来两年；要emergent出智能那就还得一万年。

[xexz]

你们的想像力真丰富

物理学对emergent有大量的研究，最简单的例子比如水结冰，水分子之间牛顿力学并不隐含相变，但是，1 atm下，0度水必然结冰，这不是随机的

物理学丛landau开始折腾了近100年，目前准对emergent的方法只有2：平均场论，和wilson的重整化群，所以我想计算机领域要emergent出“智能”，估计还得花上100年时间

你好好想想，温度相变算是‘新生‘么，连‘物理复杂性’到‘化学复杂性’都没有。

但是人脑中的水显然参加了‘智力活动’，人脑这种复杂物质表现出来的‘智力现象’才是新生的，不管液态水，还是结冰和蒸汽都是不能完整解释的。

我似乎说清楚了呀。

[xexz]

你好好想想，温度相变算是‘新生‘么，连‘物理复杂性’到‘化学复杂性’都没有。

但是人脑中的水显然参加了‘智力活动’，人脑这种复杂物质表现出来的‘智力现象’才是新生的，不管液态水，还是结冰和蒸汽都是不能完整解释的。

我似乎说清楚了呀。

叔觉得能认识到：‘复杂性带来的质变，从本质上是个随机过程’，是个认识论上的巨大进步，现在不被认识一点也不要紧，将来就是常识的一部分。

[vitro]

在读费耶阿本德:目前的解释方法都是基于还原论的，难道不能跳出还原论吗?

你们的想像力真丰富

物理学对emergent有大量的研究，最简单的例子比如水结冰，水分子之间牛顿力学并不隐含相变，但是，1 atm下，0度水必然结冰，这不是随机的

物理学丛landau开始折腾了近100年，目前准对emergent的方法只有2：平均场论，和wilson的重整化群，所以我想计算机领域要emergent出“智能”，估计还得花上100年时间