新未名空间

新买买提，海外华人中文论坛
https://test1.newmitbbs.com/

自己玩DSR1我建议弄14b参数的模型

https://test1.newmitbbs.com/viewtopic.php?t=700580

分页： 1 / 3

#1 自己玩DSR1我建议弄14b参数的模型

发表于 ： 2025年 1月 28日 21:38
由 （ヅ）
下载是9GB

会用掉大约8-9GB显存，一般显卡都能用

gpu可比cpu快多了

2/16/25，昨天看到一个经验公式

图片

#2 Re: 自己玩DSR1我建议弄14b参数的模型

发表于 ： 2025年 1月 28日 22:42
由 DIYer
奇怪，我运行的时候GPU占用很低，输出还很快

#3 Re: 自己玩DSR1我建议弄14b参数的模型

发表于 ： 2025年 1月 28日 22:55
由 HouseMD
DIYer 写了： 2025年 1月 28日 22:42 奇怪，我运行的时候GPU占用很低，输出还很快
有些简单的问题，他们做了优化，实际上不调用运算

#4 Re: 自己玩DSR1我建议弄14b参数的模型

发表于 ： 2025年 1月 29日 00:12
由 soric_real
我在2019 MacBook pro 16上运行14b，好像radeon 5500M的GPU完全没参与进去。
（ヅ） 写了： 2025年 1月 28日 21:38 会用掉大约8-9GB显存，一般显卡都能用

gpu可比cpu快多了

#5 Re: 自己玩DSR1我建议弄14b参数的模型

发表于 ： 2025年 1月 29日 04:17
由 （ヅ）
DIYer 写了： 2025年 1月 28日 22:42 奇怪，我运行的时候GPU占用很低，输出还很快
我在笔记本上6gb显存就不行，cpu输出的，慢多了

看task manager，cpu gpu哪个用满了就是在用哪个

#6 Re: 自己玩DSR1我建议弄14b参数的模型

发表于 ： 2025年 1月 29日 04:19
由 （ヅ）
soric_real 写了： 2025年 1月 29日 00:12 我在2019 MacBook pro 16上运行14b，好像radeon 5500M的GPU完全没参与进去。
也许刚刚不够

我的显存usage开始前是2gb，开始后是10gb到10.7gb

#7 Re: 自己玩DSR1我建议弄14b参数的模型

发表于 ： 2025年 1月 29日 04:32
由 （ヅ）
这个东西可以直接接入vscode，替代cursor/windsurf，还蛮好用

术版有讨论怎么配置

#8 Re: 自己玩DSR1我建议弄14b参数的模型

发表于 ： 2025年 1月 29日 14:02
由 webdriver
（ヅ） 写了： 2025年 1月 29日 04:32 这个东西可以直接接入vscode，替代cursor/windsurf，还蛮好用

术版有讨论怎么配置
搞得我心痒痒的，LOL

#9 Re: 自己玩DSR1我建议弄14b参数的模型

发表于 ： 2025年 1月 29日 14:19
由 huangchong
DIYer 写了： 2025年 1月 28日 22:42 奇怪，我运行的时候GPU占用很低，输出还很快
你可以用nvitop（python）来记录一下显卡的活动 我每次问本地模型一个问题 它都是立刻要90%以上的活跃的 而且模型也会在显存里长期占着

#10 Re: 自己玩DSR1我建议弄14b参数的模型

发表于 ： 2025年 1月 29日 14:21
由 huangchong
（ヅ） 写了： 2025年 1月 29日 04:17 我在笔记本上6gb显存就不行，cpu输出的，慢多了

看task manager，cpu gpu哪个用满了就是在用哪个
lmstudio允许把模型的一部分放进显卡算 剩下在在CPU算 我记得用这个方法可以把比显存大的模型一部分在gpu上运行 不过lmstudio怎么做http服务我还没试过（估计不难 大不了自己写）

#11 Re: 自己玩DSR1我建议弄14b参数的模型

发表于 ： 2025年 1月 29日 14:38
由 StMichael
这种本地蒸馏版的可以干些啥啊？

文字处理和简单coding?

#12 Re: 自己玩DSR1我建议弄14b参数的模型

发表于 ： 2025年 1月 29日 14:39
由 huangchong
StMichael 写了： 2025年 1月 29日 14:38 这种本地蒸馏版的可以干些啥啊？

文字处理和简单coding?
可以分析PDF（水平有限） 分析code 写code

#13 Re: 自己玩DSR1我建议弄14b参数的模型

发表于 ： 2025年 1月 29日 14:47
由 （ヅ）
huangchong 写了： 2025年 1月 29日 14:21 lmstudio允许把模型的一部分放进显卡算 剩下在在CPU算 我记得用这个方法可以把比显存大的模型一部分在gpu上运行 不过lmstudio怎么做http服务我还没试过（估计不难 大不了自己写）
会不会得不偿失

要把模型都塞进显存里面就是为了互相访问更快

这样混合模式还要通过pci-e总线

#14 Re: 自己玩DSR1我建议弄14b参数的模型

发表于 ： 2025年 1月 29日 15:20
由 huangchong
（ヅ） 写了： 2025年 1月 29日 14:47 会不会得不偿失

要把模型都塞进显存里面就是为了互相访问更快

这样混合模式还要通过pci-e总线
如果末端几层大小不大应该问题不太大 pcie3 一个lane是1GB/s 其实也不是太慢 只是跟显存100-300G/s比 慢太多 普通CPU内存好像其实也就20G/s左右

#15 Re: 自己玩DSR1我建议弄14b参数的模型

发表于 ： 2025年 1月 29日 15:21
由 （ヅ）
huangchong 写了： 2025年 1月 29日 15:20 如果末端几层大小不大应该问题不太大 pcie3 一个lane是1GB/s 其实也不是太慢 只是跟显存100-300G/s比 慢太多 普通CPU内存好像其实也就20G/s左右
现在内存速度是100GB/s附近了, aida64可测，其实也可以根据specs算出来

图片

#16 Re: 自己玩DSR1我建议弄14b参数的模型

发表于 ： 2025年 1月 29日 15:24
由 huangchong
（ヅ） 写了： 2025年 1月 29日 15:21 现在内存速度是100GB/s附近了
哦 是吗 我的数字可能是两三年前看ddr4的时候的印象

#17 Re: 自己玩DSR1我建议弄14b参数的模型

发表于 ： 2025年 1月 29日 15:31
由 （ヅ）
huangchong 写了： 2025年 1月 29日 15:24 哦 是吗 我的数字可能是两三年前看ddr4的时候的印象
理论计算DDR5-5200MT/s的速度83.2GB/s
图片
实测76.7GB/s


图片

#18 Re: 自己玩DSR1我建议弄14b参数的模型

发表于 ： 2025年 1月 29日 15:39
由 huangchong
（ヅ） 写了： 2025年 1月 29日 15:31 理论计算DDR5-5200MT/s的速度83.2GB/s
图片
实测76.7GB/s


图片
我还以为总是mt × 8 然后乘通道数

#19 Re: 自己玩DSR1我建议弄14b参数的模型

发表于 ： 2025年 1月 29日 15:41
由 （ヅ）
huangchong 写了： 2025年 1月 29日 15:39 我还以为总是mt × 8 然后乘通道数
除以8把bit换成byte,双通道ddr4/5都是128bit，ddr4是64bitx2，ddr5是32bitx2x2

#20 Re: 自己玩DSR1我建议弄14b参数的模型

发表于 ： 2025年 1月 29日 23:44
由 Pegasi
（ヅ） 写了： 2025年 1月 28日 21:38 下载是9GB

会用掉大约8-9GB显存，一般显卡都能用

gpu可比cpu快多了
14B 4090显存不够吧
所有显示的时间为 UTC-04:00
分页： 1 / 3

由 phpBB® Forum Software © phpBB Limited 提供支持

简体中文语言由 phpBB Chinese 制作并提供支持