新未名空间

mmking 写了： 2024年 10月 30日 03:29 问题是这样：如果training data cover了不小心所有/绝大部分可能pattern呢？

同时，如果人类智能底层也是量变到质变的结果呢？

不可能，知识的组合是指数增长的

wass 写了： 2024年 10月 30日 08:26 llm到底是什么，流行的说法有好几个
死记硬背
世界模型压缩

我认为是逼近模型，所以参数越大模型越好

有一些作用，比如可以帮你查manual，1000页的，他可以迅速帮你查询

不会象做Deeplearning的人吹的那样，有直觉啦能推理啦能编程啦等等。但应该不完全是搜索匹配。到底是什么，大家可以努力猜测试探

从训练的角度看，Deeplearning有无监督学习，也有有监督学习，也就是说它超出了无negative evidence的机器学习，如果加入一些规则或者函数，那么自然也超出了有监督学习。但我没注意到Deeplearning有加入这些的，是不是alphago，alphaFold加入了，我猜测是加入了，作者未必说，我也没去看代码，而且Deeplearning机制大家都不明白，换言之，它就是一个反复试而且综合一些已有的技术或者经验的玩意。

可以放开想象，放开试探，放开猜测，然后把所得的一些想法放到一些已经证明的理论之下看是否合理或者成立，如此，或者能有所得。

弃婴千枝 写了： 2024年 10月 29日 09:31 没意思

那就是符号动力学么，你妈，毫无新意

多少年前乱翻过符号动力学的一本书，完全没印象了。你一说它没意思，我也懒得去看了。你不能概括一下吗？

forecasting 写了： 2024年 10月 30日 11:06 不会象做Deeplearning的人吹的那样，有直觉啦能推理啦能编程啦等等。但应该不完全是搜索匹配。到底是什么，大家可以努力猜测试探

编程非常好，就是我跟它一起合作

wass 写了： 2024年 10月 30日 11:39 编程非常好，就是我跟它一起合作

啥意思？它编程非常好？这应该不可能。

forecasting 写了： 2024年 10月 30日 12:21 啥意思？它编程非常好？这应该不可能。

是的，非常有用。我把想法写出来，它会写不错的代码，我code review，偶尔大改。有bug，一起修改。就是一起编程。

ai需要特定行业的训练和专用工具

wass 写了： 2024年 10月 30日 12:38 是的，非常有用。我把想法写出来，它会写不错的代码，我code review，偶尔大改。有bug，一起修改。就是一起编程。

ai需要特定行业的训练和专用工具

呵呵。你可以把你就想法写的话语和它依此写的代码发到这里。如果不是匹配搜索，肯定是嵌入了一些规则或者表示函数的代码，它能写的代码十分有限。

forecasting 写了： 2024年 10月 30日 12:42 呵呵。你可以把你就想法写的话语和它依此写的代码发到这里。如果不是匹配搜索，肯定是嵌入了一些规则或者表示函数的代码，它能写的代码十分有限。

信不信由你，就是一个工具。对编程，是一个划时代的工具

wass 写了： 2024年 10月 30日 12:54 信不信由你，就是一个工具。对编程，是一个划时代的工具

口说有啥用，不是如下这样弄几个例子看看吗？

forecasting 写了： 2024年 10月 30日 12:42 呵呵。你可以把你就想法写的话语和它依此写的代码发到这里。如果不是匹配搜索，肯定是嵌入了一些规则或者表示函数的代码，它能写的代码十分有限。

forecasting 写了： 2024年 10月 30日 13:02 口说有啥用，不是如下这样弄几个例子看看吗？

不要相信拷屏，自己试试

wass 写了： 2024年 10月 30日 13:27 不要相信拷屏，自己试试

你个瓜娃子，就会说空话瞎聊，连这点实事都不干！

wass 写了： 2024年 10月 30日 12:38 是的，非常有用。我把想法写出来，它会写不错的代码，我code review，偶尔大改。有bug，一起修改。就是一起编程。

ai需要特定行业的训练和专用工具

编程是高度套路化的，没有ChatGPT之前，很多人都去网上搜搜代码就能用。现在有ai，搜起来更方便，而且他可以做很多修改，比如变量名改改，局部logic换换

组合是指数增长，里面的信息不是

Caravel 写了： 2024年 10月 30日 10:38 不可能，知识的组合是指数增长的

forecasting 写了： 2024年 10月 30日 11:08 从训练的角度看，Deeplearning有无监督学习，也有有监督学习，也就是说它超出了无negative evidence的机器学习，如果加入一些规则或者函数，那么自然也超出了有监督学习。但我没注意到Deeplearning有加入这些的，是不是alphago，alphaFold加入了，我猜测是加入了，作者未必说，我也没去看代码，而且Deeplearning机制大家都不明白，换言之，它就是一个反复试而且综合一些已有的技术或者经验的玩意。

pre training是无监督的

fine tune是有监督的

RAG就是加一切计算机可以做的

forecasting 写了： 2024年 10月 30日 11:08 从训练的角度看，Deeplearning有无监督学习，也有有监督学习，也就是说它超出了无negative evidence的机器学习，如果加入一些规则或者函数，那么自然也超出了有监督学习。但我没注意到Deeplearning有加入这些的，是不是alphago，alphaFold加入了，我猜测是加入了，作者未必说，我也没去看代码，而且Deeplearning机制大家都不明白，换言之，它就是一个反复试而且综合一些已有的技术或者经验的玩意。

近年来，深度学习与机器证明的研究在某些领域开始融合，尤其是在自动化数学定理证明和形式化验证方面。研究者利用深度学习来辅助自动化证明系统，比如生成证明步骤或辅助选择合适的引理。这些方法通常结合强化学习、自然语言处理等技术，目标是提升定理证明的效率和自动化水平。不过，由于数学证明的逻辑性和复杂性，深度学习仍面临挑战，现有的成果主要集中在简单证明和辅助证明系统的应用上。

我说的加入是这个，还有嵌入的纳入自动证明的函数，不是RAG。RAG就是搜索匹配，或者匹配搜索。

wass 写了： 2024年 10月 31日 17:43 pre training是无监督的

fine tune是有监督的

RAG就是加一切计算机可以做的

RAG不是加一切计算机可以做的

forecasting 写了： 2024年 10月 31日 20:16 RAG不是加一切计算机可以做的

Retrieval augmented generation

问题是现在还加了很多严格来说不属于rag的

举例说，用户以为gpt会计算1765x8655，系统只能用普通计算处理