新未名空间

Caravel 写了： 2025年 2月 26日 17:16 废话，要得就是减少精度，不然他们怎么省内存

forer 写了： 2025年 2月 26日 17:20 吹的再牛，无非就是开源了某款nvda芯片内部寄存器配置方案，无论开不开源都需要nvda芯片才能跑，真正硬核的在芯片里。

forer 写了： 2025年 2月 26日 17:20 吹的再牛，无非就是开源了某款nvda芯片内部寄存器配置方案，无论开不开源都需要nvda芯片才能跑，真正硬核的在芯片里。

民主自由是婊子的遮羞布 写了： 2025年 2月 26日 17:37 不属实

我觉得第三方绝对可以根据这个方案做一个接口

可以绕开nv

xiaoju 写了： 2025年 2月 26日 17:39 你肯定是文科。。。

计算机80年历史，芯片从来都是搬砖的脏累险

forer 写了： 2025年 2月 26日 17:56 嗯，你有个GPU说明书，就等于有GPU了，连PPT都可以省了

forer 写了： 2025年 2月 26日 18:00 芯片和计算机是一回事吗？不懂就别来现眼了

民主自由是婊子的遮羞布 写了： 2025年 2月 26日 18:06 华为升腾GPU team可以

xiaoju 写了： 2025年 2月 26日 18:15 尼玛

小学生不要上外网

民主自由是婊子的遮羞布 写了： 2025年 2月 26日 17:37 不属实

我觉得第三方绝对可以根据这个方案做一个接口

可以绕开nv

forer 写了： 2025年 2月 26日 18:17 弱智这就破防跳脚了？

drifter 写了： 2025年 2月 26日 00:58 Xai的解读

DeepSeek's FP8 GEMM (General Matrix Multiplication) implementation, as showcased in their DeepGEMM library, has sparked some buzz for its reported performance, particularly when compared to NVIDIA's native APIs like cuBLAS. Based on what’s out there, here’s my take.
DeepGEMM is designed to squeeze every ounce of efficiency out of NVIDIA’s Hopper GPUs (like the H800), hitting over 1350 TFLOPS in FP8 precision under ideal conditions. That’s impressive when you consider NVIDIA’s cuBLAS, a go-to for matrix operations, is estimated to deliver around 1500 TFLOPS on an H800 for certain matrix sizes—though this scales up to 3000 TFLOPS on an H100, which DeepSeek likely didn’t use due to export restrictions. Posts on X and details from DeepSeek’s own releases suggest their library can outperform “expert-tuned kernels” (which could imply cuBLAS or similar) across a range of matrix sizes, sometimes by a significant margin—think up to 2.7x faster in extreme cases, as one X user noted.
What’s the trick? DeepGEMM uses a lightweight, just-in-time (JIT) compilation approach, keeping the core logic lean at around 300 lines of code. It leans hard into fine-grained scaling and custom optimizations, like two-level accumulation (using Tensor Cores for FP8 math and CUDA cores for higher-precision summing), to dodge the precision pitfalls of FP8. NVIDIA’s native APIs, while robust and general-purpose, don’t seem to match this level of specialization. DeepSeek’s focus on Mixture-of-Experts (MoE) layouts and their ability to tweak low-level instructions (even dabbling in PTX assembly) likely gives them an edge in tailored workloads—think AI training and inference for models like V3 and R1.
That said, it’s not a slam dunk. NVIDIA’s APIs are built for broad compatibility and reliability across diverse use cases, not just AI-specific GEMMs. DeepGEMM’s gains might shine brightest in DeepSeek’s own sandbox—optimized for their models and hardware constraints (like the H800’s nerfed bandwidth). Without head-to-head benchmarks on identical setups, claims of it being “much faster” feel anecdotal. The 1350+ TFLOPS figure is stellar, but cuBLAS could still edge out in raw peak performance on bigger matrices or less-specialized tasks. Plus, DeepSeek’s reliance on Hopper-specific Tensor Cores means it’s not a universal drop-in replacement.
So, is it “much faster”? Probably yes for DeepSeek’s niche—AI-driven, FP8-heavy, MoE-focused workloads on constrained hardware. For the average user leaning on NVIDIA’s stack? Maybe not as dramatic. It’s a testament to clever engineering over brute force, but the jury’s still out until someone runs the numbers side-by-side. What do you think—seen any solid comparisons?

magagop 写了： 2025年 2月 26日 19:23 無知的外行，好像寫個匯編，SASS和x86的ISA就被突破了一樣，你們連GPU到底如何運行的都不知道吧？

happens 写了： 2025年 2月 26日 00:26 展现了一个方向，加一层简单的适配，绕开所有特定硬件限制。

民主自由是婊子的遮羞布 写了： 2025年 2月 26日 22:30 过去做过很多的适配接口，不是你丫讲得那么神秘

如果第三家GPU的team一起来，没有搞不定的

magagop 写了： 2025年 2月 26日 22:40 紅藍廠都要放棄了，還沒有搞不定的，你做過GPU麼？

民主自由是婊子的遮羞布 写了： 2025年 2月 26日 22:52 硬件与上层的适配的原理都一样

GPU有什么特别吗

magagop 写了： 2025年 2月 27日 02:09 GPU的ISA不公開，隔幾代ISA就大變樣，而且每代都有變化，firmware永遠不公開，脫離driver你什麼都做不了，即使driver開源了，裡面還有大量的binary blob，你不知道是什麼，總之，GPU根本就無法直接操作，需要UMD、KMD、firmware間接操作。你怎麼適配？

民主自由是婊子的遮羞布 写了： 2025年 2月 27日 02:26 你说的是第三家去适配nv

我说的是华为升腾GPU的team自己去适配DS

magagop 写了： 2025年 2月 27日 02:53 華為芯片就不應該叫GPU，只能叫加速器，昇腾有Graphics能力嗎？
華為加速器如果只支持DeepSeek，除了中國人，不會有其他客戶的，關起門來自己玩當然怎麼做都可以，下場就是龍芯。