Diffusion Model 最近很火，谁谈谈？技术层面，哲学层面？

[FoxMe]

物理里面，布朗运动有几百年历史，后来理论是爱因斯坦和朗之万等人给出的。最简单的diffusion model，即加噪声，就是用布朗运动，还有用朗之万方程的。其数学理论是傅立叶在研究热扩散（也是diffusion）的时候建立的，等同于Fokker-Planck方程。

[FoxMe]

所以说你望文生义了嘛。你要看到convolution neural network，还不得说 convolution 是18世纪的？

我也同意这个应用是新的，没有望文生义。就比如用数论设计了RSA密码。

这个方向容易上手，不需要很高的数学背景，所以中国/中国人搞得还不错。

[TheMatrix2]

我也同意这个应用是新的，没有望文生义。就比如用数论设计了RSA密码。

研究的是系统设计，model的设计，不是数学工具。

[lahei]

目测有可行性，反向学习的过程注入了知识，也就是搞入了负熵

[TheMatrix2]

目测有可行性，反向学习的过程注入了知识，也就是搞入了负熵

这个看法不错。

[harubashi]

都是骗你这种傻逼的

一瓶纯净水里面点一滴墨，墨diffusion慢慢扩散最后变成一瓶浅黑色水

这瓶浅黑色水继续diffusion还能产生墨和水的分离吗？

显然，根据第二定理，除非你外加熵流（比如放入离心机上），否则这种事情是不会发生的

码农屁都不懂，就知道瞎鸡巴折腾

精辟，大傻。芝加哥现在加速shithole化，泥格作威作福，红脖子什么时候起义啊

[verdelite]

人工智能也是我的研究领域之一。物理停滞了其实没什么可研究的。

你说了两句话，一句对一句错。

前一句对了，索男在美国，有一个出路是当民科搞业余研究，人生可以得到圆满。这点上看你是个行动派，说干就干。

第二句错了，我已经指出过方向：物理学在大变革前夜，key是用电动力学推导氢原子光谱。

[TheMatrix2]

你说了两句话，一句对一句错。

前一句对了，索男在美国，有一个出路是当民科搞业余研究，人生可以得到圆满。这点上看你是个行动派，说干就干。

第二句错了，我已经指出过方向：物理学在大变革前夜，key是用电动力学推导氢原子光谱。

人工智能一直是我的研究方向之一。

物理学我觉得得等人工智能发展出新工具。

[FoxMe]

Diffusion model不就是从物理中来的吗？

我有点疑惑，请高人指点：

Diffusion model是常规数学，你看其算法，看不到任何智能，但是却能绘画，又像智能。那么算法是不是人工智能？还是说复杂点的算法才算？要多复杂？比如有个雷达算法能跟踪飞机，算不算人工智能？

[da1gaku]

数据的输入到输出其实就是一个函数或者泛函。
传统数学和物理方法是用理想化模型找解析形式。这种方法往往不需要很多数据，做有限的实验也许能找到客观规律。

现在深度学习为基础的AI不再找数学解析形式，而是直接用大量参数（数以百万计乃至上亿）来模拟数据的变换。
当然这种学来的变换往往是人类无法理解的。

[FoxMe]

目测有可行性，反向学习的过程注入了知识，也就是搞入了负熵

对，我忘了说反向过程需要（对数）概率分布的梯度，即score，这是关键。获取这个score需要神经网路作大量训练，非线性拟合，相当于知识。

[verdelite]

Diffusion model不就是从物理中来的吗？

我有点疑惑，请高人指点：

Diffusion model是常规数学，你看其算法，看不到任何智能，但是却能绘画，又像智能。那么算法是不是人工智能？还是说复杂点的算法才算？要多复杂？比如有个雷达算法能跟踪飞机，算不算人工智能？

图片分类是人工智能，自动驾驶也是，下围棋也是。复杂和简单，它们都是人工智能。

其实你的困惑在于意识。什么时候机器才算有了自我意识？我经过3年多年研究（2015-2018）得到的结论是，动物大脑里一簇神经元发射代表一个概念。当一簇神经元代表的概念是“我”（该动物本身）的时候，它就有了意识。推广到人工智能里面也是极其简单的。我就不说了，三岁小孩听到这儿也会推广。

所以其实人没有“灵魂”那种承载意识的东西（物理里面有一个很好的类比“燃素”），这个意义上说，人没有意识。另一方面，机器也可以有前面我定义的自我意识。

这是我前面十年（可能也是一生）的民科研究三大成果之一。其他两个是世人皆傻和没有光子、不存在量子纠缠。

[verdelite]

电动力学推导光谱一百多年前就有人干吧
没一个人成功

看科学史有用，科学史可以告诉我们很多。以前不成功是有原因的。

[TheMatrix2]

Diffusion model不就是从物理中来的吗？

我有点疑惑，请高人指点：

Diffusion model是常规数学，你看其算法，看不到任何智能，但是却能绘画，又像智能。那么算法是不是人工智能？还是说复杂点的算法才算？要多复杂？比如有个雷达算法能跟踪飞机，算不算人工智能？

No. 你这个想法说明你没懂人工智能。

比如神经网络。矩阵之上有一个非线性部分，最开始用 Sigmoid，就是一个三角函数。你看到了，你就说人工智能不就是三角函数吗？错。它用到了Sigmoid，它还可以改成很多别的函数，比如ReLU。

为什么这些都好使？这实际上是个体系的问题。在这个体系之中这些都好使。这个体系的什么特征使Sigmoid，ReLU都好使？这个问题才是人工智能的入门问题。

Diffusion model是用到了 diffusion，可不可以用别的，很可能可以。为什么可以？体系的什么特征使它们都可以？这是我们搞人工智能应该问的问题。

[TheMatrix2]

数据的输入到输出其实就是一个函数或者泛函。
传统数学和物理方法是用理想化模型找解析形式。这种方法往往不需要很多数据，做有限的实验也许能找到客观规律。

现在深度学习为基础的AI不再找数学解析形式，而是直接用大量参数（数以百万计乃至上亿）来模拟数据的变换。
当然这种学来的变换往往是人类无法理解的。

把人工智能理解为函数拟合，这个太简单粗暴了。不能说错。但是会掩盖很多该问的问题。

[TheMatrix2]

其实你的困惑在于意识。什么时候机器才算有了自我意识？我经过3年多年研究（2015-2018）得到的结论是，动物大脑里一簇神经元发射代表一个概念。当一簇神经元代表的概念是“我”（该动物本身）的时候，它就有了意识。推广到人工智能里面也是极其简单的。我就不说了，三岁小孩听到这儿也会推广。

所以其实人没有“灵魂”那种承载意识的东西（物理里面有一个很好的类比“燃素”），这个意义上说，人没有意识。另一方面，机器也可以有前面我定义的自我意识。

这两段你以前说过，我也评价过。你不落地的想法都会粗糙。只论及“有意识”和“无意识”的话，通过一定的思考，一半人会选“有意识”，另一半人会选“无意识”。如果还要求论证选择的话，选择“无意识”的人中的一半会找到你第一段的论证。

你的论证很好。但是没走远。没落地。

[弃婴千枝]

搞笑

markov chain只有在pij=pji的时候才是time reversiavle

Diffusion最早的模型是布朗运动，根据热力学第二定律，这个物理过程当然不能反演。但是数学上完全没有问题，一个马尔可夫链在时间上反过来还是马尔可夫链。这是数学与物理不同的地方。从哲学层面怎么解释，我不会。

[verdelite]

这两段你以前说过，我也评价过。你不落地的想法都会粗糙。只论及“有意识”和“无意识”的话，通过一定的思考，一半人会选“有意识”，另一半人会选“无意识”。如果还要求论证选择的话，选择“无意识”的人中的一半会找到你第一段的论证。

你的论证很好。但是没走远。没落地。

是路上的by-product。一边前进一边得到一些结论，就发表出来，并不表示到达终点。前进方向是2025年实现机器获得人类那样的意识（AGI）。

[弃婴千枝]

属实，傻逼特别多，特别是没受过现代科学理论系统训练的码农，你妈，连热力学第二定律都没听说过

diffusion 要是能反向，那就必须要能track所有单个分子的实时运动，基本上属于天顶星科技了

[弃婴千枝]

搞笑，你最大的问题是书读得太少，

分立光谱的本质是动量空间的不对易性，是x,p之间lie代数的体现

建议你看看辛动力学，辛动力学里面能得到离散能谱吗？不能，除非把泊松括号改成[x p]=ih这个样子

你说了两句话，一句对一句错。

前一句对了，索男在美国，有一个出路是当民科搞业余研究，人生可以得到圆满。这点上看你是个行动派，说干就干。

第二句错了，我已经指出过方向：物理学在大变革前夜，key是用电动力学推导氢原子光谱。