新未名空间

在发表于 X 平台的小作文中，Jürgen Schmidhuber 洋洋洒洒列了四条依据，内容如下：

1、Lenz-Ising 神经元递归结构发表于 1925 年。1972 年，甘利俊一（Shun-Ichi Amari）使其具有自适应能力，通过改变连接权重，学会将输入模式与输出模式联系起来。不过，在「2024 年诺贝尔物理学奖的科学背景」中，Amari 只是被简单引用。遗憾的是，Amari 的网络后来被称为「Hopfield 网络」。Hopfield 在 10 年后重新发表了它，但没有引用 Amari，甚至在后来的论文中也没有引用。

2、Ackley、Hinton 和 Sejnowski 的相关玻尔兹曼机论文是关于神经网络隐藏单元内部表征的学习。它没有引用 Ivakhnenko 和 Lapa 提出的第一个内部表征深度学习算法，也没有引用 Amari 通过随机梯度下降（SGD）在深度 NN 中端到端学习内部表征的独立工作（1967-68 年）。甚至连作者后来的调查和「2024 年诺贝尔物理学奖的科学背景」都没有提到深度学习的这些起源。玻尔兹曼机也没有引用 Sherrington & Kirkpatrick 和 Glauber 之前的相关工作。

3、诺贝尔奖委员会还称赞了 Hinton 等人 2006 年提出的深度神经网络分层预训练方法（2006 年）。然而，这项工作既没有引用 Ivakhnenko 和 Lapa（1965 年）对深度神经元进行分层训练的原始方法，也没有引用对深度神经元进行无监督预训练的原始方法。

4、如「主流信息」所说：「在 20 世纪 60 年代末，一些令人沮丧的理论结果让许多研究人员怀疑这些神经网络永远不会有任何实际用途」。然而，深度学习研究在 20 世纪 60-70 年代显然是活跃的，尤其是在英国以外的地区。

白润涛闫？

给自己领域外的工作评奖，确实有这种风险

完了，诺贝尔委员会都是些鸡偷狗盗之徒

甘利俊一（Shun-Ichi Amari）东京大学 应该是最早提出back propagation的人之一 远早于诺奖获得者

很牛啊

我随便搜了搜文献 这些批评很有道理啊

Amari自己的评论文章

诺奖早就变笑话了

这个日本人也是information geometry的主要贡献者。

kiwi 写了： 2024年 10月 10日 13:42 甘利俊一（Shun-Ichi Amari）东京大学 应该是最早提出back propagation的人之一 远早于诺奖获得者

很牛啊

属实，hopfield网络纯属种族歧视，不愿意引用黄皮子的论文。

kiwi 写了： 2024年 10月 10日 13:44 我随便搜了搜文献 这些批评很有道理啊

显然

Jürgen Schmidhuber也是深学大佬，跟深学三巨头斗争多年，经验非常丰富。

说这些有啥用呢
啥领域能做到完全公平公正
人家的奖想发给谁发给谁
不服的话自己搞个什么奖

说剽窃也是过了，可能就是没给合适的引用。这跟颜能那样公开宣称重新发现了教科书里的机理还是有重大区别。

LSTM我是服的

huangchong 写了： 2024年 10月 10日 13:47 说剽窃也是过了，可能就是没给合适的引用。这跟颜能那样公开宣称重新发现了教科书里的机理还是有重大区别。

没给引用 可不就是让外行误以为是他们的原创吗? 实际效果也是如此啊

这还不是剽窃 那就没有剽窃了

hci 写了： 2024年 10月 10日 13:46 这个日本人也是information geometry的主要贡献者。

back propagation就是链式法则，再普通不过了，如果发明人不会包装，可能都不会起个专门的名字。

深学的巨大成功来源于上规模。

“Hopfield 在 10 年后重新发表了它，但没有引用 Amari，甚至在后来的论文中也没有引用。”

这显然不是不小心 而是故意为之了

kiwi 写了： 2024年 10月 10日 13:49 没给引用 可不就是让外行误以为是他们的原创吗? 实际效果也是如此啊

这还不是剽窃 那就没有剽窃了

让神经网络复苏，毕竟是hinton实打实做出来的，就算用了过去有的技术，也还是重大贡献。不能说cnn的突破光是因为用了黄皮衣的游戏卡吧。

要论水平，Amari的水平比这些获奖的人水平高不知道多少去了。Amari的文章可能这些人都看不懂。

所以，奖也好，引用也好， 都是世俗的“名利”，与水平无关。“追名逐利”在中文里面是个很贬义的形容词。

我以前说过，Amari做的方向，才是有可能有AI理论突破的方向，information geometry，可能能与AI的牛顿沾点边。AI现在是前牛顿阶段。当然了，我个人认为，更有前景的应该反过来，做geometric information theory，才是正确的方向。我老能力不够，能看到方向，却做不下去。有能力的年轻人看到这个，听我老一句劝，做这个，会有前景。

DonnieTrump 写了： 2024年 10月 10日 13:47 属实，hopfield网络纯属种族歧视，不愿意引用黄皮子的论文。

huangchong 写了： 2024年 10月 10日 13:51 让神经网络复苏，毕竟是hinton实打实做出来的，就算用了过去有的技术，也还是重大贡献。不能说cnn的突破光是因为用了黄皮衣的游戏卡吧。

用游戏卡做并行计算 是一大发明 但似乎远远不够诺贝尔奖

那个小日本的intellectual merit倒是够了