parser的输入是一维

[TheMatrix2]

parser的输入必须是一维，也就是sequence，也就是语言。

语法是二维，但不是真二维，应该看成是很多条一维的罗列，是一种有逻辑的收纳助记方式。

而人类的语言，当我们说“语言”这个词的时候，我们指的不光是语言符号，还有背后的理解。这就不是一维的了。

也就是说，传达是一维的，但是接收之后就不是一维的了。

所以parser是语言处理的前端 。它能做的事情就那么多。

但是parser理论太优美了，编程也是很爽。我总是对它流连忘返，老是想是不是还能干点什么。

[TheMatrix2]

传达是一维的，因为人类不能“示现”。

试想两个原始人，一个想对另一个人说，东边山坡上有只山羊，我们去打猎。人类如果能“示现”，啪的一下就展示出来了，什么话也不用说了。但是人类不能示现。

人类“搭建”一个场景也很费劲。制作一个木头的山羊，以传达信息，也很费劲。甚至在地上画一个山羊，都很费劲。人类太难了。

人类生生被逼出了文字，和语言。

[TheMatrix2]

有了语言就有了语法。

但是语法不是很重要。从目前的人工智能来看，语法也不是很重要。

语法的重要性，仅存在于一维输入的阶段，也就是parser的阶段。比如说什么从句，从句套从句，很多人膜拜说这个语言真的太“有逻辑”了。不对。parser之后这个长句就被分解为信息单位了，信息应该以简单句为单位，也就是一个主语一个谓语的简单句。这个分解在语言处理中是一个前端。分解之后，什么从句，从句套从句，都没有了。

[mitbbsnew]

理解深刻。 读不懂。

[Caravel]

真是二维的么？按照现在的multi-modal的做法，不管语言还是image都是用transformer，变成sequence，加上attention

parser的输入必须是一维，也就是sequence，也就是语言。

语法是二维，但不是真二维，应该看成是很多条一维的罗列，是一种有逻辑的收纳助记方式。

而人类的语言，当我们说“语言”这个词的时候，我们指的不光是语言符号，还有背后的理解。这就不是一维的了。

也就是说，传达是一维的，但是接收之后就不是一维的了。

所以parser是语言处理的前端 。它能做的事情就那么多。

但是parser理论太优美了，编程也是很爽。我总是对它流连忘返，老是想是不是还能干点什么。

[TheMatrix2]

真是二维的么？按照现在的multi-modal的做法，不管语言还是image都是用transformer，变成sequence，加上attention

内容“本质”上是高维。对，但是借鉴人类“注意力”的机制，其理解方式也被model为一维 - 就是目光到处扫。

[Caravel]

内容“本质”上是高维。对，但是借鉴人类“注意力”的机制，其理解方式也被model为一维 - 就是目光到处扫。

attention也还是一维，以时间换空间，deepmind那哥们用这个办法做了一个通用model，既可以下棋，也可以打游戏。未来的一个方向，是通过自然语言来交互，就像现在stable diffusion一样，你告诉他一句话，把他翻译成一个战略。比如说，你搞一个5d 放狗，5d放狗，怎么打，然后这个model就会自己做

[TheMatrix2]

attention也还是一维，以时间换空间，deepmind那哥们用这个办法做了一个通用model，既可以下棋，也可以打游戏。未来的一个方向，是通过自然语言来交互，就像现在stable diffusion一样，你告诉他一句话，把他翻译成一个战略。比如说，你搞一个5d 放狗，5d放狗，怎么打，然后这个model就会自己做

是。attention还是一维，以时间换空间，说的非常好。因为人类的注意力焦点就那么小，必然是扫描式的。也就是扫过一个路径。

变成了一个sequence，一个战略就是一个sequence，（这个地方我语焉不详，就让它模糊着）。先搜集出很多“好的”战略，然后让diffusion model去学习，让它生成“合理” 的战略。用自然语言来交互。和自然语言指导生成图片一样。这个非常好。是。所以我觉得diffusion model有大用 - 关键是看怎么能抽象上去。