STEM版，合并数学，物理，化学，科学，工程，机械。不包括生物、医学相关，和计算机相关内容。
版主： verdelite， TheMatrix
-
（ヅ）楼主
- 论坛支柱
- 帖子互动： 549
- 帖子： 11819
- 注册时间： 2022年 8月 21日 14:20
帖子
由 （ヅ）楼主 »
下载是9GB
会用掉大约8-9GB显存，一般显卡都能用
gpu可比cpu快多了
2/16/25，昨天看到一个经验公式
+2.00 积分 [用户 TheMatrix 给您的打赏]
x1
上次由 （ヅ） 在 2025年 2月 16日 17:37 修改。
标签/Tags：
-
DIYer
- 著名点评
- 帖子互动： 269
- 帖子： 3706
- 注册时间： 2023年 11月 7日 13:48
帖子
由 DIYer »
奇怪，我运行的时候GPU占用很低，输出还很快
-
HouseMD（黄皮川黑）
- 著名点评
- 帖子互动： 742
- 帖子： 5098
- 注册时间： 2022年 7月 28日 14:44
帖子
由 HouseMD（黄皮川黑） »
DIYer 写了： 2025年 1月 28日 22:42
奇怪，我运行的时候GPU占用很低，输出还很快
有些简单的问题，他们做了优化，实际上不调用运算
-
soric_real（soric）
- 论坛点评
- 帖子互动： 102
- 帖子： 2740
- 注册时间： 2022年 11月 7日 13:58
帖子
由 soric_real（soric） »
我在2019 MacBook pro 16上运行14b，好像radeon 5500M的GPU完全没参与进去。
（ヅ） 写了： 2025年 1月 28日 21:38
会用掉大约8-9GB显存，一般显卡都能用
gpu可比cpu快多了
-
（ヅ）楼主
- 论坛支柱
- 帖子互动： 549
- 帖子： 11819
- 注册时间： 2022年 8月 21日 14:20
帖子
由 （ヅ）楼主 »
DIYer 写了： 2025年 1月 28日 22:42
奇怪，我运行的时候GPU占用很低，输出还很快
我在笔记本上6gb显存就不行，cpu输出的，慢多了
看task manager，cpu gpu哪个用满了就是在用哪个
-
（ヅ）楼主
- 论坛支柱
- 帖子互动： 549
- 帖子： 11819
- 注册时间： 2022年 8月 21日 14:20
帖子
由 （ヅ）楼主 »
soric_real 写了： 2025年 1月 29日 00:12
我在2019 MacBook pro 16上运行14b，好像radeon 5500M的GPU完全没参与进去。
也许刚刚不够
我的显存usage开始前是2gb，开始后是10gb到10.7gb
-
（ヅ）楼主
- 论坛支柱
- 帖子互动： 549
- 帖子： 11819
- 注册时间： 2022年 8月 21日 14:20
帖子
由 （ヅ）楼主 »
这个东西可以直接接入vscode，替代cursor/windsurf，还蛮好用
术版有讨论怎么配置
-
webdriver（不折腾不舒服斯基）
- 见习点评
- 帖子互动： 83
- 帖子： 1494
- 注册时间： 2022年 11月 11日 12:30
- 来自： 火星
帖子
由 webdriver（不折腾不舒服斯基） »
（ヅ） 写了： 2025年 1月 29日 04:32
这个东西可以直接接入vscode，替代cursor/windsurf，还蛮好用
术版有讨论怎么配置
搞得我心痒痒的，LOL
-
huangchong（净坛使者）
- 论坛元老
2023-24年度优秀版主
- 帖子互动： 4119
- 帖子： 61088
- 注册时间： 2022年 7月 22日 01:22
帖子
由 huangchong（净坛使者） »
DIYer 写了： 2025年 1月 28日 22:42
奇怪，我运行的时候GPU占用很低，输出还很快
你可以用nvitop（python）来记录一下显卡的活动 我每次问本地模型一个问题 它都是立刻要90%以上的活跃的 而且模型也会在显存里长期占着
-
huangchong（净坛使者）
- 论坛元老
2023-24年度优秀版主
- 帖子互动： 4119
- 帖子： 61088
- 注册时间： 2022年 7月 22日 01:22
帖子
由 huangchong（净坛使者） »
（ヅ） 写了： 2025年 1月 29日 04:17
我在笔记本上6gb显存就不行，cpu输出的，慢多了
看task manager，cpu gpu哪个用满了就是在用哪个
lmstudio允许把模型的一部分放进显卡算 剩下在在CPU算 我记得用这个方法可以把比显存大的模型一部分在gpu上运行 不过lmstudio怎么做http服务我还没试过（估计不难 大不了自己写）
-
StMichael
- 论坛点评
- 帖子互动： 93
- 帖子： 2366
- 注册时间： 2022年 7月 23日 09:43
帖子
由 StMichael »
这种本地蒸馏版的可以干些啥啊？
文字处理和简单coding?
-
huangchong（净坛使者）
- 论坛元老
2023-24年度优秀版主
- 帖子互动： 4119
- 帖子： 61088
- 注册时间： 2022年 7月 22日 01:22
帖子
由 huangchong（净坛使者） »
StMichael 写了： 2025年 1月 29日 14:38
这种本地蒸馏版的可以干些啥啊？
文字处理和简单coding?
可以分析PDF（水平有限） 分析code 写code
-
（ヅ）楼主
- 论坛支柱
- 帖子互动： 549
- 帖子： 11819
- 注册时间： 2022年 8月 21日 14:20
帖子
由 （ヅ）楼主 »
huangchong 写了： 2025年 1月 29日 14:21
lmstudio允许把模型的一部分放进显卡算 剩下在在CPU算 我记得用这个方法可以把比显存大的模型一部分在gpu上运行 不过lmstudio怎么做http服务我还没试过（估计不难 大不了自己写）
会不会得不偿失
要把模型都塞进显存里面就是为了互相访问更快
这样混合模式还要通过pci-e总线
-
huangchong（净坛使者）
- 论坛元老
2023-24年度优秀版主
- 帖子互动： 4119
- 帖子： 61088
- 注册时间： 2022年 7月 22日 01:22
帖子
由 huangchong（净坛使者） »
（ヅ） 写了： 2025年 1月 29日 14:47
会不会得不偿失
要把模型都塞进显存里面就是为了互相访问更快
这样混合模式还要通过pci-e总线
如果末端几层大小不大应该问题不太大 pcie3 一个lane是1GB/s 其实也不是太慢 只是跟显存100-300G/s比 慢太多 普通CPU内存好像其实也就20G/s左右
-
（ヅ）楼主
- 论坛支柱
- 帖子互动： 549
- 帖子： 11819
- 注册时间： 2022年 8月 21日 14:20
帖子
由 （ヅ）楼主 »
huangchong 写了： 2025年 1月 29日 15:20
如果末端几层大小不大应该问题不太大 pcie3 一个lane是1GB/s 其实也不是太慢 只是跟显存100-300G/s比 慢太多 普通CPU内存好像其实也就20G/s左右
现在内存速度是100GB/s附近了, aida64可测，其实也可以根据specs算出来
-
huangchong（净坛使者）
- 论坛元老
2023-24年度优秀版主
- 帖子互动： 4119
- 帖子： 61088
- 注册时间： 2022年 7月 22日 01:22
帖子
由 huangchong（净坛使者） »
（ヅ） 写了： 2025年 1月 29日 15:21
现在内存速度是100GB/s附近了
哦 是吗 我的数字可能是两三年前看ddr4的时候的印象
-
（ヅ）楼主
- 论坛支柱
- 帖子互动： 549
- 帖子： 11819
- 注册时间： 2022年 8月 21日 14:20
帖子
由 （ヅ）楼主 »
huangchong 写了： 2025年 1月 29日 15:24
哦 是吗 我的数字可能是两三年前看ddr4的时候的印象
理论计算DDR5-5200MT/s的速度83.2GB/s
实测76.7GB/s
-
huangchong（净坛使者）
- 论坛元老
2023-24年度优秀版主
- 帖子互动： 4119
- 帖子： 61088
- 注册时间： 2022年 7月 22日 01:22
帖子
由 huangchong（净坛使者） »
（ヅ） 写了： 2025年 1月 29日 15:31
理论计算DDR5-5200MT/s的速度83.2GB/s
实测76.7GB/s
我还以为总是mt × 8 然后乘通道数
-
（ヅ）楼主
- 论坛支柱
- 帖子互动： 549
- 帖子： 11819
- 注册时间： 2022年 8月 21日 14:20
帖子
由 （ヅ）楼主 »
huangchong 写了： 2025年 1月 29日 15:39
我还以为总是mt × 8 然后乘通道数
除以8把bit换成byte,双通道ddr4/5都是128bit，ddr4是64bitx2，ddr5是32bitx2x2
-
Pegasi
- 见习点评
- 帖子互动： 72
- 帖子： 1273
- 注册时间： 2022年 10月 22日 12:50
帖子
由 Pegasi »
（ヅ） 写了： 2025年 1月 28日 21:38
下载是9GB
会用掉大约8-9GB显存，一般显卡都能用
gpu可比cpu快多了
14B 4090显存不够吧
