分页： 1 / 1
#1 Mistral-small和DS小模型版本比如何？
发表于 ： 2025年 1月 31日 13:29
由 windy
刚试了一下，我的4080的显卡(16G显存），
跑Mistral-small 22b能到45tokens, 24b到14 tokens. 前者非常可用，后者可用。
DS-R1 14b: 60 tokens.
DS-R1 32b: 4 tokens.
后者慢了一点。
Mistral-small的模型似乎大一点，不知道效果和DS-R1比如何。比如 22b vs 14b, 24b vs 14b.
#2 Re: Mistral-small和DS小模型版本比如何？
发表于 ： 2025年 1月 31日 13:35
由 magagop
網上671B大模型在CPU上跑是1 token/s
#3 Re: Mistral-small和DS小模型版本比如何？
发表于 ： 2025年 1月 31日 15:04
由 windy
1 token根本是没法用的，就是当玩具
#4 Re: Mistral-small和DS小模型版本比如何？
发表于 ： 2025年 1月 31日 22:42
由 huangchong
windy 写了： 2025年 1月 31日 13:29
刚试了一下，我的4080的显卡(16G显存），
跑Mistral-small 22b能到45tokens, 24b到14 tokens. 前者非常可用，后者可用。
DS-R1 14b: 60 tokens.
DS-R1 32b: 4 tokens.
后者慢了一点。
Mistral-small的模型似乎大一点，不知道效果和DS-R1比如何。比如 22b vs 14b, 24b vs 14b.
我用3090跑，速度可以接受，答案简洁，正确率高
#5 Re: Mistral-small和DS小模型版本比如何？
发表于 ： 2025年 1月 31日 22:43
由 huangchong
huangchong 写了： 2025年 1月 31日 22:42
我用3090跑，速度可以接受，答案简洁，正确率高
DS思维过程往往耗时太长。
如果是问计算机问题，小一点快一点的模型往往是够用的，因为这类问题网上素材多，而且答案比较明确。
#6 Re: Mistral-small和DS小模型版本比如何？
发表于 ： 2025年 1月 31日 22:44
由 huangchong
MistralSmall24b 用12G 3060也跑过，出字有些慢，这时候就不如DS 14b用起来舒服了
#7 Re: Mistral-small和DS小模型版本比如何？
发表于 ： 2025年 1月 31日 23:11
由 windy
22b和24b的差别有多大？22b的速度挺快，和DS 14b差不多。
huangchong 写了： 2025年 1月 31日 22:44
MistralSmall24b 用12G 3060也跑过，出字有些慢，这时候就不如DS 14b用起来舒服了
#8 Re: Mistral-small和DS小模型版本比如何？
发表于 ： 2025年 1月 31日 23:19
由 huangchong
windy 写了： 2025年 1月 31日 23:11
22b和24b的差别有多大？22b的速度挺快，和DS 14b差不多。
22b我还没玩过。
刚才忘说了，用3060/12G跑 mistral24b的时候，能把30层网络放在vram里，剩下的得在cpu里算，刚测了一下大概一秒7token左右, 不过好在mistral废话不多