Mistral-small和DS小模型版本比如何？

[windy]

刚试了一下，我的4080的显卡(16G显存），

跑Mistral-small 22b能到45tokens, 24b到14 tokens. 前者非常可用，后者可用。
DS-R1 14b: 60 tokens.
DS-R1 32b: 4 tokens.

后者慢了一点。

Mistral-small的模型似乎大一点，不知道效果和DS-R1比如何。比如 22b vs 14b, 24b vs 14b.

[magagop]

網上671B大模型在CPU上跑是1 token/s

[windy]

1 token根本是没法用的，就是当玩具

[huangchong]

刚试了一下，我的4080的显卡(16G显存），

跑Mistral-small 22b能到45tokens, 24b到14 tokens. 前者非常可用，后者可用。
DS-R1 14b: 60 tokens.
DS-R1 32b: 4 tokens.

后者慢了一点。

Mistral-small的模型似乎大一点，不知道效果和DS-R1比如何。比如 22b vs 14b, 24b vs 14b.

我用3090跑，速度可以接受，答案简洁，正确率高

[huangchong]

我用3090跑，速度可以接受，答案简洁，正确率高

DS思维过程往往耗时太长。


如果是问计算机问题，小一点快一点的模型往往是够用的，因为这类问题网上素材多，而且答案比较明确。

[huangchong]

MistralSmall24b 用12G 3060也跑过，出字有些慢，这时候就不如DS 14b用起来舒服了

[windy]

22b和24b的差别有多大？22b的速度挺快，和DS 14b差不多。

MistralSmall24b 用12G 3060也跑过，出字有些慢，这时候就不如DS 14b用起来舒服了

[huangchong]

22b和24b的差别有多大？22b的速度挺快，和DS 14b差不多。

22b我还没玩过。

刚才忘说了，用3060/12G跑 mistral24b的时候，能把30层网络放在vram里，剩下的得在cpu里算，刚测了一下大概一秒7token左右, 不过好在mistral废话不多