3060显卡能玩DS吗?

[wokao]

就是PS修相片用的

[huangchong]

12G版本可以跑DSR1－14b，速度不错

[huangchong]

感觉其作inference的话，显卡自己浮点速度总是够用的，主要的问题就是显存要够用

[wass]

12G版本可以跑DSR1－14b，速度不错

DS的精度是2 byte floating

14b的model需要28G vram，还有别的需要，32G都不一定够

[huangchong]

DS的精度是2 byte floating

14b的model需要28G vram，还有别的需要，32G都不一定够

我用的是quantized的缩水版 14b-Q4-K-M 下载大小近9G，跑的时候用10G显存 刚试了一下，速度28token/s，相当可用

[huangchong]

我用的是quantized的缩水版 14b-Q4-K-M 下载大小近9G，跑的时候用10G显存 刚试了一下，速度28token/s，相当可用

lmstudio 下载搜寻 model 相当方便。另外它会把DS的thinking自动隐藏起来，还支持直接往里扔pdf

而且在显存不够大的情况下，还允许用户设置多少层网络放在显存里，非常好用

[wass]

我用的是quantized的缩水版 14b-Q4-K-M 下载大小近9G，跑的时候用10G显存 刚试了一下，速度28token/s，相当可用

看来搞大vram是硬道理

玩agent？

[huangchong]

看来搞大vram是硬道理

玩agent？

我就是问llm问题玩而已。比google和读文档省脑子多了

[huangchong]

我就是问llm问题玩而已。比google和读文档省脑子多了

今天一天问了好多问题，搞清了很多以前糊里糊涂的问题，比如bash那些expansion

[anesthetic]

我用的是quantized的缩水版 14b-Q4-K-M 下载大小近9G，跑的时候用10G显存 刚试了一下，速度28token/s，相当可用

cuda + windows uses half of system ram as shared gpu ram...technically you can have 512GB+ vram with 1T system ram...its just slow but very runnable

[webdriver]

3060 都是白菜价