新未名空间

用feedback来替代back propagation。

有啥区别？

TheMatrix 写了： 2024年 12月 29日 14:05 用feedback来替代back propagation。

FoxMe 写了： 2024年 12月 29日 14:49 有啥区别？

back propagation是原路返回，feedback是加一条feedback路径。

TheMatrix 写了： 2024年 12月 29日 14:05 用feedback来替代back propagation。

feedback是指rl吗？

bp是underline mechanism

llm pre training是天量weak natural label

rl是少量strong manual label

bp是一切dl的基础，不可能by pass

wass 写了： 2024年 12月 29日 15:01 feedback是指rl吗？

bp是underline mechanism

llm pre training是天量weak natural label

rl是少量strong manual label

feedback到底应该是啥，现在我也不知道。

wass 写了： 2024年 12月 29日 15:02 bp是一切dl的基础，不可能by pass

对。所以这是大改。

TheMatrix 写了： 2024年 12月 29日 15:10 对。所以这是大改。

有链接吗？

TheMatrix 写了： 2024年 12月 29日 14:05 用feedback来替代back propagation。

Lstm

wass 写了： 2024年 12月 29日 19:06有链接吗？

没有。

Lstm和feedback有什么联系？给讲讲

caudillo 写了： 2024年 12月 29日 19:09Lstm

caudillo 写了： 2024年 12月 29日 19:09Lstm

lstm可能有那么点意思，但是可能还是差得比较远。

feedback到底应该什么样我也不知道，但是大方向上，它肯定是要接一根线返回的。而且不是返回前面一层，那太近了。要接一根线返回到前面很远的一层。

传统的控制系统feedback直接到输入，比如PID控制，由于已经知道显式的方程式，可以直接计算出需要调节的参数。而AI model IO之间没有显式的表达式，但是每一单层却知道自己的IO方程式，所以只有从最后一层开始向前一层feedback，一层一层逐次调节输入（求导）。所以AI model实际上是有feedback的。

libaliu 写了： 2024年 12月 30日 11:55 传统的控制系统feedback直接到输入，比如PID控制，由于已经知道显式的方程式，可以直接计算出需要调节的参数。而AI model IO之间没有显式的表达式，但是每一单层却知道自己的IO方程式，所以只有从最后一层开始向前一层feedback，一层一层逐次调节输入（求导）。所以AI model实际上是有feedback的。

你说的就是back propagation。

AI下一步，应该是去掉back propagation，换成feedback。肯定要不一样。

至于feedback应该是啥样，我也不知道。

你们是不是高估了搞ai的数学水平了？
bp 对积分都整不明白的来说 是比较直观和能理解的

TheMatrix 写了： 2024年 12月 30日 12:35 你说的就是back propagation。

AI下一步，应该是去掉back propagation，换成feedback。肯定要不一样。

至于feedback应该是啥样，我也不知道。

可能性不大

找到更好的activation function也可能

我却知道该走哪一步。。。等我完成2025的物理论文再来搞AI。

TheMatrix 写了： 2024年 12月 29日 14:56 back propagation是原路返回，feedback是加一条feedback路径。

听上去象residual network,用来解决vanishing gradients，仍然是back propagation。你想解决什么问题？是gradient descent不efficient还是vanishing gradients？

eflame99 写了： 2024年 12月 30日 23:44 听上去象residual network,用来解决vanishing gradients，仍然是back propagation。你想解决什么问题？是gradient descent不efficient还是vanishing gradients？

这是好问题。

我不是想解决vanishing gradient，我是想整个去掉gradient descent，也就是整个去掉back propagation。把它换成feedback路径。

为什么想去掉back propagation呢？有几个原因：
1，自然界生物的神经系统就没有back propagation。
2，back propagation是速度的障碍。
3，back propagation只能在很小的局部找最优解。

feedback路径是什么样呢？我也不清楚。但是大模样应该是：输出层通过一条feedback路径回到输入层，这个路径要跨比较远的两层，而不是只回到前一层。没有back propagation，因为这是物理通路，而不是计算通路。

TheMatrix 写了： 2024年 12月 31日 10:05 这是好问题。

我不是想解决vanishing gradient，我是想整个去掉gradient descent，也就是整个去掉back propagation。把它换成feedback路径。

为什么想去掉back propagation呢？有几个原因：
1，自然界生物的神经系统就没有back propagation。
2，back propagation是速度的障碍。
3，back propagation只能在很小的局部找最优解。

feedback路径是什么样呢？我也不清楚。但是大模样应该是：输出层通过一条feedback路径回到输入层，这个路径要跨比较远的两层，而不是只回到前一层。没有back propagation，因为这是物理通路，而不是计算通路。

人类的学习发生在多个不同层面，在低层的神经网络有类似于back propagation的机制，例如反复使用可以促使邻近的神经元连接增强。最近大模型也涌现了一些类似于人类高级学习的能力比如in context learning 和 chain of thought，这些都不需要back propagation。

另外back propagation不能和gradient descent混为一谈。back propagation 是由neural network topology决定的，也可以很快。你说的局限主要是gradient descent。生物神经系统显然不使用gradient descent。