分页： 1 / 1
#1 3060显卡能玩DS吗?
发表于 ： 2025年 1月 31日 09:06
由 wokao
就是PS修相片用的
#2 Re: 3060显卡能玩DS吗?
发表于 ： 2025年 1月 31日 22:45
由 huangchong
12G版本可以跑DSR1－14b，速度不错
#3 Re: 3060显卡能玩DS吗?
发表于 ： 2025年 1月 31日 22:46
由 huangchong
感觉其作inference的话，显卡自己浮点速度总是够用的，主要的问题就是显存要够用
#4 Re: 3060显卡能玩DS吗?
发表于 ： 2025年 1月 31日 22:59
由 wass
huangchong 写了： 2025年 1月 31日 22:45
12G版本可以跑DSR1－14b，速度不错
DS的精度是2 byte floating
14b的model需要28G vram，还有别的需要，32G都不一定够
#5 Re: 3060显卡能玩DS吗?
发表于 ： 2025年 1月 31日 23:07
由 huangchong
wass 写了： 2025年 1月 31日 22:59
DS的精度是2 byte floating
14b的model需要28G vram，还有别的需要，32G都不一定够
我用的是quantized的缩水版 14b-Q4-K-M 下载大小近9G，跑的时候用10G显存 刚试了一下，速度28token/s，相当可用
#6 Re: 3060显卡能玩DS吗?
发表于 ： 2025年 1月 31日 23:10
由 huangchong
huangchong 写了： 2025年 1月 31日 23:07
我用的是quantized的缩水版 14b-Q4-K-M 下载大小近9G，跑的时候用10G显存 刚试了一下，速度28token/s，相当可用
lmstudio 下载搜寻 model 相当方便。另外它会把DS的thinking自动隐藏起来，还支持直接往里扔pdf
而且在显存不够大的情况下，还允许用户设置多少层网络放在显存里，非常好用
#7 Re: 3060显卡能玩DS吗?
发表于 ： 2025年 1月 31日 23:11
由 wass
huangchong 写了： 2025年 1月 31日 23:07
我用的是quantized的缩水版 14b-Q4-K-M 下载大小近9G，跑的时候用10G显存 刚试了一下，速度28token/s，相当可用
看来搞大vram是硬道理
玩agent？
#8 Re: 3060显卡能玩DS吗?
发表于 ： 2025年 1月 31日 23:13
由 huangchong
wass 写了： 2025年 1月 31日 23:11
看来搞大vram是硬道理
玩agent？
我就是问llm问题玩而已。比google和读文档省脑子多了
#9 Re: 3060显卡能玩DS吗?
发表于 ： 2025年 1月 31日 23:14
由 huangchong
huangchong 写了： 2025年 1月 31日 23:13
我就是问llm问题玩而已。比google和读文档省脑子多了
今天一天问了好多问题，搞清了很多以前糊里糊涂的问题，比如bash那些expansion
#10 Re: 3060显卡能玩DS吗?
发表于 ： 2025年 1月 31日 23:16
由 anesthetic
huangchong 写了： 2025年 1月 31日 23:07
我用的是quantized的缩水版 14b-Q4-K-M 下载大小近9G，跑的时候用10G显存 刚试了一下，速度28token/s，相当可用
cuda + windows uses half of system ram as shared gpu ram...technically you can have 512GB+ vram with 1T system ram...its just slow but very runnable
#11 Re: 3060显卡能玩DS吗?
发表于 ： 2025年 2月 1日 01:55
由 webdriver
3060 都是白菜价