大家有没有用过本地搭建deepseek? 不懂为什么讨论AI在军事版

[jack_aij]

这里有个教程，

Deepseek+RAGFlow十分钟构建本地知识库系统，保姆级教程
不懂为什么讨论AI在军事版，不能与时俱进，创建一个AI版吗？

[wonderstreet]

不好评估风险。万一用的挺爽，川普要禁咋办？

[Newwhy]

楼主好人，点赞

[wokao]

这里有个教程，

Deepseek+RAGFlow十分钟构建本地知识库系统，保姆级教程
不懂为什么讨论AI在军事版，不能与时俱进，创建一个AI版吗？

我问个数学问题, 能立马给答案吗?

[Newmituser]

赞

[Ifloating]

这个训练要猴年马月？

[jack_aij]

deepseek 最主要的亮点是处理汉语文字。
数学方面还是有问题的。

[redot]

可以用 有点慢 I5+2g钕大，可以跑14b. 特么越跑越慢，一个字一个字的出受不了
定了unicube 230000软妹 （3万夺刀），我们的ideas，不要上公网

[redot]

deepseek 最主要的亮点是处理汉语文字。
数学方面还是有问题的。

呵呵 Grok 3认为9.11大于9.9，DS可以给出三种结果：

[Amorphous]

本地搭建，硬件要求高的吧

[（ヅ）]

本地搭建，硬件要求高的吧

14b参数只要一块rtx3060,便宜得很

[Caravel]

这里有个教程，

Deepseek+RAGFlow十分钟构建本地知识库系统，保姆级教程
不懂为什么讨论AI在军事版，不能与时俱进，创建一个AI版吗？

你有gpu么？

[sjtuvincent]

因为这个版面是最最最与时俱进的

而且也扎堆了机器人

[beijingren3]

这里有个教程，

Deepseek+RAGFlow十分钟构建本地知识库系统，保姆级教程
不懂为什么讨论AI在军事版，不能与时俱进，创建一个AI版吗？

军版是第一个预测 花街要跌在DS的

[Amorphous]

14b参数只要一块rtx3060,便宜得很

精馏的模型那好用吗？我都用在线的

[（ヅ）]

精馏的模型那好用吗？我都用在线的

可以用webapi连到vscode里面帮忙写code，蛮好

不嫌弃copy paste官网版本的应该是满血的更厉害吧

本地模型我估计主要的应用对象是B，怕泄露数据那些人。我一普通人还怕偷窥我学习资料？

[Amorphous]

可以用webapi连到vscode里面帮忙写code，蛮好

这个技术我得学习下

[windy]

我试过，14b, 32b, 70b, 671b都跑过。
671b只能跑 0.12 token, 也就是8秒钟蹦一个字。
70b 能跑 2-3 token
32b 4.5 token
14b 的能跑 60 token.
问题是DS的小模型烂的和屎一样，几乎完全不能用！小模型Mistral-small 22b 比 DS 32b 的强不少。如果想装小点的模型，强烈建议试试这个。

[Amorphous]

我试过，14b, 32b, 70b, 671b都跑过。
671b只能跑 0.12 token, 也就是8秒钟蹦一个字。
70b 能跑 2-3 token
32b 4.5 token
14b 的能跑 60 token.
问题是DS的小模型烂的和屎一样，几乎完全不能用！小模型Mistral-small 22b 比 DS 32b 的强不少。如果想装小点的模型，强烈建议试试这个。

跑多少个token是什么意思？

[windy]

就是一秒能出多少个单词。比如60 tokens/s,我问一个问题，它基本几秒钟就输出完毕了。如果5个token,问一个问题它回答了434个单词，花了1分半种多一点。如果是60tokens/s,只要7秒多就回答完毕了

跑多少个token是什么意思？