浅说深度学习

[minren]

“深度学习已不再简单是数据拟合”：我也以为是函数逼近。
“它使用统计学术语来描述完全不同的概念”：是怎么实现从函数逼近到LLM的呢？这是质变

Will Heaven (PhD in CS) 是这样归纳相关学者们的看法：基于深度学习的 LLM模型可以做出令人瞠目结舌惊掉下巴的事儿，但没有人知道确切原因。弄清楚这一点是我们这个时代最大的科学难题之一。
https://www.technologyreview.com/2024/0 ... knows-why/

哈佛计算机教授Boaz Barak也表示了对深度学习的不解：We are still searching for the right lens by which to ask questions about deep learning, let alone answer them.

这个坛子上的许多人却把深度学习归结为他自己认为的一个简单玩意。

[AnonymityFreedom]

Martin—Lof randomness，

这个就是性质[2]: 不可预测性, 下一个比特50%是1， 50%是0 （the martingale characterization）

这个不太可能证明， 但是这种随机性很可能存在； 已经有不少证据了。

[FoxMe]

哦，目前还没有理论能解释LLM。我也非常疑惑，其它的模型， 比如扩散模型（AI绘画），随机微分方程理论有很好的解释。

前几天我问softmax咋那么有用，没人回答。softmax/transformer在LLM中是关键吗？

Will Heaven (PhD in CS) 是这样归纳相关学者们的看法：基于深度学习的 LLM模型可以做出令人瞠目结舌惊掉下巴的事儿，但没有人知道确切原因。弄清楚这一点是我们这个时代最大的科学难题之一。
https://www.technologyreview.com/2024/0 ... knows-why/

哈佛计算机教授Boaz Barak也表示了对深度学习的不解：We are still searching for the right lens by which to ask questions about deep learning, let alone answer them.

这个坛子上的许多人却把深度学习归结为他自己认为的一个简单玩意。

[FoxMe]

哦，目前还没有理论能解释LLM。我也非常疑惑，其它的模型， 比如扩散模型（AI绘画），随机微分方程理论有很好的解释。

前几天我问softmax咋那么有用，没人回答。softmax是统计里的常用技术，不是啥新发明，softmax/transformer在LLM中是关键吗？

[TheMatrix]

我们容易用自己的思维定势, 把 “深度学习” 庸俗化。与普通机器学习不同，深度学习已不再简单是数据拟合。我过去也以为它主要是模型拟合数据，但实际上它的大模型训练更像教学生。虽然深度学习用了数理统计的术语，但实际概念已经转移。Boaz Barak 教授指出：对深度学习更恰当的评价是：它使用统计学术语来描述完全不同的概念。

拿自监督学习举例，深度学习不是去近似拟合一个函数，而是学习可用于各种下游的任务的表示，如用在LLM中。而且多多益善：在自监督学习中，表示的质量随着数据量的增加而提高，不会因为混合了几个来源的数据而变糟。事实上，数据越多样化越好。另外，随着资源（数据、计算、模型大小）规模投入的增加，深度学习模型也在改进。

在物理学中，一旦scale 发生几个数量级的变化，几乎都需要一个完全不同的理论，在深度度学习中也是如此。世人也许还没有获得正确的视角来看Deep Learning。

我赞同这个贴的方向。什么数据拟合，什么f，这些想法都是错的。我觉得。

[wass]

这轮ai热的原因你没看出来。本质不是f 和 x，而是有ai幻觉。
比如你不懂量子力学，用chatgpt找一个量子物理的问题答案，chatgpt给你个乱七八糟的结果，你会以为是正确的结果。
那这时候，f是不是真的存在根本不重要，用户觉得是对的就可以了，那openai就能赚钱了。

这么偏的话题，可以学习的材料不够。机器学习快而不精。

代码很多，所以现在编程就不错。

[wass]

简单来说，深度学习学的是直觉。

机器直觉作为整体已经超过人类个体。

但是直觉是不够的

[wass]

上数字信号处理课程的时候，老师总是说可以做一个滤波器，预测股市

股市肯定不是完全随机的，深度学习肯定可以有所作为啊

华尔街有用深度学习成功从股市赚钱的例子了吗

有，finllm还是fingpt，具体名字记不住

[wass]

翻译成大白话就是：谁也知不道它咋么弄出来的。。。 你就当它是个黑匣子，闭着眼用吧。。。

现在的流行说法是世界模型的压缩，我不太同意

[wass]

“深度学习已不再简单是数据拟合”：我也以为是函数逼近。

“它使用统计学术语来描述完全不同的概念”：是怎么实现从函数逼近到LLM的呢？这是质变

同意是逼近

[redot]

深入浅出，七上八下，九浅一深，大力出奇迹

[forecasting]

这个就是性质[2]: 不可预测性, 下一个比特50%是1， 50%是0 （the martingale characterization）

这个不太可能证明， 但是这种随机性很可能存在； 已经有不少证据了。

你真会说笑话。Martingale只能是个定义，不可能证明其为Martingale。

[macarthur]

现在的流行说法是世界模型的压缩，我不太同意

工程师们造出了一个自己也说不明白的黑匣子。。。 他们羞于承认，我们也就别费心去试图理解了。。。

[StMichael]

Renaissance medallion fund

传统quant其实就是大数据学习吧

上数字信号处理课程的时候，老师总是说可以做一个滤波器，预测股市

股市肯定不是完全随机的，深度学习肯定可以有所作为啊

华尔街有用深度学习成功从股市赚钱的例子了吗

[mingliu]

Renaissance medallion fund

传统quant其实就是大数据学习吧

看了Wiki介绍，很有意思

[forecasting]

上数字信号处理课程的时候，老师总是说可以做一个滤波器，预测股市

股市肯定不是完全随机的，深度学习肯定可以有所作为啊

华尔街有用深度学习成功从股市赚钱的例子了吗

你可以看看股市中MA这指标怎么来的，能否预测股市。

说这话的信号处理老师该掌嘴。股市价格如果是随机的，依据其本身就不可预测

[forecasting]

Renaissance medallion fund

传统quant其实就是大数据学习吧

想象力丰富，不过啥叫大数据学习，大数据和所谓大算力在前，还是文艺复兴在前？

[forecasting]

物理和经典或传统数学都没给出随机的定义，你的问题得先给出随机的定义。于是你发现你用Turing Machine来解决随机的问题，根本就是缘木求鱼。

2，3都没有多少理论，大家就是训练。知道训练DNN的那些办法比较容易找到答案。但是仅仅限于可计算函数或者以可计算函数近似的那些函数。

总之，还是去弄清楚理论，动手实际做机器学习吧。

Ilya跑Stanford去讲AI，不过也是拿一个框架空说一通，没啥理论价值，他只有工程实现。

深入学习，深刻领会这帖子的意义。看看说了那么多，超出这个帖子了吗？