#1 大模型并没有涌现现象
发表于 ： 2023年 11月 30日 12:30
所谓的涌现现象，就是随着模型变大，一些小模型不存在的能力就涌现出来了，这其实是不存在的，不过是文章的图中的X轴用了log scale而造成的错觉。哈哈。
https://betterprogramming.pub/there-are ... b42e17ce7e
https://betterprogramming.pub/there-are ... b42e17ce7e
分页： 1 / 2
#2 Re: 大模型并没有涌现现象
发表于 ： 2023年 11月 30日 12:38
当然也还是有那么一点点的涌现的，在线性X scale图上，在10^10处，还是有一个剧烈能力提升的。但是，这个剧烈变化并不能持续，再大一些的模型，又变成了线性变化。
#3 Re: 大模型并没有涌现现象
发表于 ： 2023年 11月 30日 12:48
很显然，scale还不够hci 写了： 2023年 11月 30日 12:30 所谓的涌现现象，就是随着模型变大，一些小模型不存在的能力就涌现出来了，这其实是不存在的，不过是文章的图中的X轴用了log scale而造成的错觉。哈哈。
https://betterprogramming.pub/there-are ... b42e17ce7e
想想自然界，水分子之间的牛顿力学，发展到什么scale，才有流体力学的emergent？
#4 Re: 大模型并没有涌现现象
发表于 ： 2023年 11月 30日 12:51
所以啊，你们太乐观了！
#5 Re: 大模型并没有涌现现象
发表于 ： 2023年 11月 30日 12:59
要啥涌现？还是对大脑抱有不切实际的幻想。等你们明白了世人皆傻，大脑不大，你们就知道AI不需要涌现。
#6 Re: 大模型并没有涌现现象
发表于 ： 2023年 11月 30日 13:03
原论文不是那个意思，原文是低于一定阈值，model基本和random model的表现差不多，高于阈值才出现meaningful的outputhci 写了： 2023年 11月 30日 12:30 所谓的涌现现象，就是随着模型变大，一些小模型不存在的能力就涌现出来了，这其实是不存在的，不过是文章的图中的X轴用了log scale而造成的错觉。哈哈。
https://betterprogramming.pub/there-are ... b42e17ce7e
#7 Re: 大模型并没有涌现现象
发表于 ： 2023年 11月 30日 13:05
人脑有100B神经元，跟LLM差不多了
#8 Re: 大模型并没有涌现现象
发表于 ： 2023年 11月 30日 13:15
这不就是emergent么Caravel 写了： 2023年 11月 30日 13:03 原论文不是那个意思，原文是低于一定阈值，model基本和random model的表现差不多，高于阈值才出现meaningful的output
#9 Re: 大模型并没有涌现现象
发表于 ： 2023年 11月 30日 14:05
是的，跟楼主说的log scale无关
#11 Re: 大模型并没有涌现现象
发表于 ： 2023年 11月 30日 14:37
这说法也不对的。对于小的神经网络，你喂给它简单的输入就行了。Caravel 写了： 2023年 11月 30日 13:03 原论文不是那个意思，原文是低于一定阈值，model基本和random model的表现差不多，高于阈值才出现meaningful的output
假设有个小神经网络网络下围棋，你拿19x19的棋盘训练它，显然没有意义的结果。但是小的就拿小的训练，例如6x6。这就行了。
小孩的大脑较小，内部链接也没训练好。结果小孩都爱看动画片，卡通书。因为简单，不会overload.
#12 Re: 大模型并没有涌现现象
发表于 ： 2023年 11月 30日 14:54
什么级别的复杂度，你不能从原子核开始算吧？神经元在生物学上就是firing和不firing两个状态，复杂一点都加上时间长度。
#14 Re: 大模型并没有涌现现象
发表于 ： 2023年 11月 30日 15:03
哈哈大笑的人显然还没认识到世人皆傻，大脑不大。更有可能没有认识到没有光子，没有量子纠缠，而把大脑的功能归结到量子纠缠上。
#15 Re: 大模型并没有涌现现象
发表于 ： 2023年 11月 30日 16:14
这个log scale确实有点博眼球的意思。hci 写了： 2023年 11月 30日 12:30 所谓的涌现现象，就是随着模型变大，一些小模型不存在的能力就涌现出来了，这其实是不存在的，不过是文章的图中的X轴用了log scale而造成的错觉。哈哈。
https://betterprogramming.pub/there-are ... b42e17ce7e
#16 Re: 大模型并没有涌现现象
发表于 ： 2023年 11月 30日 20:13
‘量变到质变的过程本质上是随机过程’，‘人工的复杂性’带来的智能是‘人工智能’，不是‘人的智能’，很可能有类似性，恐怕本质上还是两种东西。
‘复杂现象’来自最基本对称性的衍生进化，上层的新现象不是低层现象的必然结果--‘换句话说：新现象是低层复杂性的随机结果’，不能被低层现象（的属性）完整描述，他们是‘新的’。本质上就不是个‘计算问题’。
‘复杂现象’来自最基本对称性的衍生进化，上层的新现象不是低层现象的必然结果--‘换句话说：新现象是低层复杂性的随机结果’，不能被低层现象（的属性）完整描述，他们是‘新的’。本质上就不是个‘计算问题’。
#17 Re: 大模型并没有涌现现象
发表于 ： 2023年 11月 30日 20:18
他们是‘新生‘的。xexz 写了： 2023年 11月 30日 20:13 ‘量变到质变的过程本质上是随机过程’，‘人工的复杂性’带来的智能是‘人工智能’，不是‘人的智能’，很可能有类似性，恐怕本质上还是两种东西。
‘复杂现象’来自最基本对称性的衍生进化，上层的新现象不是低层现象的必然结果--‘换句话说：新现象是低层复杂性的随机结果’，不能被低层现象（的属性）完整描述，他们是‘新的’。本质上就不是个‘计算问题’。
从我兔的河图世界观，可以合理的/自然的创造出一神教的‘上帝/造物主’，这是文明等级的差距
#18 Re: 大模型并没有涌现现象
发表于 ： 2023年 11月 30日 20:32
你们的想像力真丰富xexz 写了： 2023年 11月 30日 20:13 ‘量变到质变的过程本质上是随机过程’，‘人工的复杂性’带来的智能是‘人工智能’，不是‘人的智能’，很可能有类似性，恐怕本质上还是两种东西。
‘复杂现象’来自最基本对称性的衍生进化，上层的新现象不是低层现象的必然结果--‘换句话说：新现象是低层复杂性的随机结果’，不能被低层现象（的属性）完整描述，他们是‘新的’。本质上就不是个‘计算问题’。
物理学对emergent有大量的研究，最简单的例子比如水结冰，水分子之间牛顿力学并不隐含相变，但是，1 atm下，0度水必然结冰，这不是随机的
物理学丛landau开始折腾了近100年，目前准对emergent的方法只有2：平均场论，和wilson的重整化群，所以我想计算机领域要emergent出“智能”，估计还得花上100年时间
#19 Re: 大模型并没有涌现现象
发表于 ： 2023年 11月 30日 20:36
智能只需要再来两年；要emergent出智能那就还得一万年。弃婴千枝 写了： 2023年 11月 30日 20:32 你们的想像力真丰富
物理学对emergent有大量的研究，最简单的例子比如水结冰，水分子之间牛顿力学并不隐含相变，但是，1 atm下，0度水必然结冰，这不是随机的
物理学丛landau开始折腾了近100年，目前准对emergent的方法只有2：平均场论，和wilson的重整化群，所以我想计算机领域要emergent出“智能”，估计还得花上100年时间
#20 Re: 大模型并没有涌现现象
发表于 ： 2023年 12月 1日 04:45
你好好想想，温度相变算是‘新生‘么，连‘物理复杂性’到‘化学复杂性’都没有。弃婴千枝 写了： 2023年 11月 30日 20:32 你们的想像力真丰富
物理学对emergent有大量的研究，最简单的例子比如水结冰，水分子之间牛顿力学并不隐含相变，但是，1 atm下，0度水必然结冰，这不是随机的
物理学丛landau开始折腾了近100年，目前准对emergent的方法只有2：平均场论，和wilson的重整化群，所以我想计算机领域要emergent出“智能”，估计还得花上100年时间
但是人脑中的水显然参加了‘智力活动’，人脑这种复杂物质表现出来的‘智力现象’才是新生的，不管液态水，还是结冰和蒸汽都是不能完整解释的。
我似乎说清楚了呀。
#21 Re: 大模型并没有涌现现象
发表于 ： 2023年 12月 1日 05:08
叔觉得能认识到：‘复杂性带来的质变，从本质上是个随机过程’，是个认识论上的巨大进步，现在不被认识一点也不要紧，将来就是常识的一部分。xexz 写了： 2023年 12月 1日 04:45 你好好想想，温度相变算是‘新生‘么，连‘物理复杂性’到‘化学复杂性’都没有。
但是人脑中的水显然参加了‘智力活动’，人脑这种复杂物质表现出来的‘智力现象’才是新生的，不管液态水，还是结冰和蒸汽都是不能完整解释的。
我似乎说清楚了呀。
#22 Re: 大模型并没有涌现现象
发表于 ： 2023年 12月 1日 05:19
在读费耶阿本德:目前的解释方法都是基于还原论的，难道不能跳出还原论吗?
弃婴千枝 写了： 2023年 11月 30日 20:32 你们的想像力真丰富
物理学对emergent有大量的研究，最简单的例子比如水结冰，水分子之间牛顿力学并不隐含相变，但是，1 atm下，0度水必然结冰，这不是随机的
物理学丛landau开始折腾了近100年，目前准对emergent的方法只有2：平均场论，和wilson的重整化群，所以我想计算机领域要emergent出“智能”，估计还得花上100年时间