李飞飞提出空间智能的概念
版主: Softfist
#82 Re: 李飞飞提出空间智能的概念
你整天冥想的这些东西,在网络公开课里面讲得一清二楚
CS231N,CS224N自己看一遍那么难么?
CS231N,CS224N自己看一遍那么难么?
da1gaku 写了: 2024年 11月 24日 21:06 所谓理想化模型,类似经典力学里的质点以及用质点进行的运动学和受力分析。或者语言学里的句法结构和变换法则。
都是用抽象的符号“简化”实际问题,再用基于符号的公理、定律、法则等来解释和演绎。
深度学习根本上抛弃了这种方法,而是直接模拟各种因素之间的联系。
-
- 论坛元老
Caravel 的博客 - 帖子互动: 691
- 帖子: 27225
- 注册时间: 2022年 7月 24日 17:21
#85 Re: 李飞飞提出空间智能的概念
不是resnet是另外一篇文章,all you need或许也不是最早的attention,但是肯定不是resnet那个DonnieTrump 写了: 2024年 11月 24日 17:27 transformer的attention是从resnet来的,resnet又是从孙剑的geodesic salience来的。
归根结底,transformer还是老中的,孙剑是原创。当然老中搞NLP的不多,造成了失误。
#86 Re: 李飞飞提出空间智能的概念
兄台的观察引人思考,科学在方法论上好像确实在展现着奠基性的变化。da1gaku 写了: 2024年 11月 24日 21:06 所谓理想化模型,类似经典力学里的质点以及用质点进行的运动学和受力分析。或者语言学里的句法结构和变换法则。
都是用抽象的符号“简化”实际问题,再用基于符号的公理、定律、法则等来解释和演绎。
深度学习根本上抛弃了这种方法,而是直接模拟各种因素之间的联系。
如果有上帝在,能安排哥德尔,牛顿,希尔伯特,诺伊曼,图灵,香农等人牵头在一起开个“深度学习把科学带向何处?”的研讨会,应该是很有意思的一件事吧。
#87 Re: 李飞飞提出空间智能的概念
Attention的概念当然很早,但是Google的论文指出了只有attention重要,时序一点意义也没有,这个是划时代的
正如ResNet彻底解决了CV所有问题,transformer也彻底解决了NLP所有问题。现在想打败这两个模型,只能在图像或者语言中蕴含更高级的难题
正如ResNet彻底解决了CV所有问题,transformer也彻底解决了NLP所有问题。现在想打败这两个模型,只能在图像或者语言中蕴含更高级的难题