李飞飞提出空间智能的概念

[xiaoju]

发霉的观点不要反复转

深度学习是有高度可解释性的，每一层是干什么的，加起来是干什么的，为什么要这么干，不这么干有什么问题，局限性在哪里都研究的非常透彻

深度学习的一个特点就是用难以（给人）解释的参数来实现各种函数。
某种意义上说是放弃了依靠理想化模型解释自然现象。
而理想化模型（或者说形式化）一度被认为是科学的基本方法。

[Yesterday]

空间智能个屁。她完全不知道自己在说什么。AI做空间智能要战胜人类太容易了，随便一个脑残的算法就可以秒杀人类。

我老的博士论文就是做空间认知的。人类是空间认知最差的动物。不如各种低等动物，比如蚂蚁。至于候鸟什么的，完全秒杀人类。空间认知是人类不多的有明显的男女差异的能力。一个假设，是人类把空间认知的脑资源用在语言上了。

确切的说是退化了，语言中枢是新皮质。
但大脑还是有GPS功能的，有一个Nobel奖

[da1gaku]

发霉的观点不要反复转

深度学习是有高度可解释性的，每一层是干什么的，加起来是干什么的，为什么要这么干，不这么干有什么问题，局限性在哪里都研究的非常透彻

不懂就不要大放厥词误导别人。
即使模型每个部分的功能有一个大致的认识，也不代表理想化模型意义上的可解释性，二者风马牛不相及。
理想化模型是把事物抽象成“简单”的问题，再合起来解释世界。

而且“每一层干什么的”只有大致统计规律。
现在的paper也就是拿数据去试，或者画个图看响应。
离一般意义上的“解释”差得远

[xiaoju]

尼玛，基本的问题就是attention

人家paper标题就是attention is all you need

不懂就不要大放厥词误导别人。
即使模型每个部分的功能有一个大致的认识，也不代表理想化模型意义上的可解释性，二者风马牛不相及。
理想化模型是把事物抽象成“简单”的问题，再合起来解释世界。

而且“每一层干什么的”只有大致统计规律。
现在的paper也就是拿数据去试，或者画个图看响应。
离一般意义上的“解释”差得远

[da1gaku]

尼玛，基本的问题就是attention

人家paper标题就是attention is all you need

Attention的出现早于transformer
说白了就是对相关性的模拟，谈不上什么解释性
估计你连带attention的rnn都没自己写过

[Caravel]

我觉得她说的是把牛顿物理知识编码到AI里， 随时微积分算距离速度。就像人打球。

不是，还是端到端的全神经网络方法。

还是老办法，先建立一个数据集，让模型都来打擂台

[Caravel]

我感觉她这个概念不能和语言智能相提并论，不是平行概念，窄得多.更多是工程上的。

恰恰相反，空间智能是更基础的能力，生物进化很早就进化出空间时间的感知能力。

[粪土如今万户侯]

恰恰相反，空间智能是更基础的能力，生物进化很早就进化出空间时间的感知能力。

没错，语言是更高级的东西，语言是描述性的，艺术性的，不同的人不同的心情完全可以有不同描述。

[Caravel]

工程上有人已经试过了，意义不大啊

做过了，没做出来啊，就要继续努力

[粪土如今万户侯]

大脑记忆有没有搞明白？这应该是最基本的问题之一。

[Caravel]

发霉的观点不要反复转

深度学习是有高度可解释性的，每一层是干什么的，加起来是干什么的，为什么要这么干，不这么干有什么问题，局限性在哪里都研究的非常透彻

这种解释就好比逻辑门原理清楚了，不代表就理解了程序

[粪土如今万户侯]

这种解释就好比逻辑门原理清楚了，不代表就理解了程序

特斯拉和waymo的自动驾驶怎么还没做出来，最多还是L3级别吧。

[xiaoju]

阅读障碍？

all you need都没看到？

Attention的出现早于transformer
说白了就是对相关性的模拟，谈不上什么解释性
估计你连带attention的rnn都没自己写过

[xiaoju]

逻辑门和程序是等价的，剩下就是自由转换问题

这种解释就好比逻辑门原理清楚了，不代表就理解了程序

[da1gaku]

阅读障碍？

all you need都没看到？

你以为transformer 里就真的只有attention吗？
让人笑掉大牙
不会只读过标题吧

再说这跟理想化模型有啥关系？又在打滚？

[da1gaku]

这种解释就好比逻辑门原理清楚了，不代表就理解了程序

他根本啥都不会，也看不明白别人写的话
讨论各种问题都这样

[xiaoju]

尼玛，你闹了好几天还是屁也不懂

人家论文的观点是只有attention是重要的，别的随便换，无所谓

你以为transformer 里就真的只有attention吗？
让人笑掉大牙
不会只读过标题吧

再说这跟理想化模型有啥关系？又在打滚？

[DonnieTrump]

尼玛，你闹了好几天还是屁也不懂
人家论文的观点是只有attention是重要的，别的随便换，无所谓

transformer的attention是从resnet来的，resnet又是从孙剑的geodesic salience来的。

归根结底，transformer还是老中的，孙剑是原创。当然老中搞NLP的不多，造成了失误。

[da1gaku]

尼玛，你闹了好几天还是屁也不懂

人家论文的观点是只有attention是重要的，别的随便换，无所谓

哈哈哈
民科两大特色：1 无知无畏 2 死鸭子嘴硬
形容你十分恰当

[da1gaku]

所谓理想化模型，类似经典力学里的质点以及用质点进行的运动学和受力分析。或者语言学里的句法结构和变换法则。
都是用抽象的符号“简化”实际问题，再用基于符号的公理、定律、法则等来解释和演绎。
深度学习根本上抛弃了这种方法，而是直接模拟各种因素之间的联系。