GPU 시세 · VRAM · 온디바이스 AI

笔记本 GPU 的 TGP 是功率上限,同一颗芯片也能让性能相差多达 40 个百分点。只看 GPU 名字就下单,很可能遇到轻薄本和高端游戏本训练速度差 2 倍的情况。下面用表格整理 TGP 查看方法、Dynamic Boost 与发热,以及 ML 训练的选购标准。

🌐 · English · 中文 · Español · 한국어 · · 中文 Hub

TGP 为什么那么重要

TGP(Total Graphics Power,整卡功耗)是笔记本厂商允许 GPU 使用的功率上限(W)。同一颗芯片,有的只跑 35W,有的在 115W 基础上靠动态加速拉到 140W。频率和电压都在这个上限内决定,所以决定实际性能的首要因素是 TGP,而不是 GPU 型号名。

同为 RTX 5070 笔记本,性能为何差 40%

对比下表上下两行:相对桌面版的体感性能从 40~55% 到 80~95%,差了 40 个百分点(95-55=40)。同名 GPU 只要功耗上限不同,电压·频率运行区间就不同,这个差距会原样反映到帧数和训练速度上。

TGP 档位 典型笔记本 相对桌面 RTX 的体感 7B INT4推理吞吐量(相对值) 示例类别
35~60W 轻薄超极本(MAX-Q 级低功耗) 40~55% 约 15~25 tok/s LG gram 级超薄
80~100W 入门级游戏 60~75% 约 30~45 tok/s Legion 5 / ROG Strix G 级
115~140W(含 Dynamic Boost) 高端游戏/工作站 80~95% 约 55~80 tok/s Legion Pro/MSI Titan 级

吞吐量区间以公开基准平均值为基准,假设 7B INT4 量化模型、批次 1 推理的相对值,因机型、散热存在偏差。

GPU 功耗(W)在哪里查

原则是先去找制造商官方规格表中的”GPU 最大功耗”一栏。若数字含糊,就在评测的 GPU-Z 负载测量画面中确认实际维持功耗,并配合像 Notebookcheck 这样把同一 GPU 在不同 TGP 型号间对比的基准一起看。务必确认标注数值是否包含 Dynamic Boost。

Dynamic Boost与发热:长时间训练时基准崩掉的原因

Dynamic Boost 是在 CPU 负载低时,把 CPU 的功率余量转移给 GPU 的技术——上表中 115W+25W=140W 的档位就是这么来的。问题在于持续时间。基准测试只有几秒到几分钟,加速能维持;而 ML 训练一跑几小时,整机热饱和后触发热降频,此时持续频率比峰值低 10~20%。只看短跑分挑的高 TGP 笔记本,在长时间训练里达不到预期,原因就在这。

低 TGP 笔记本该怎么用

如果是”训练靠服务器/Colab,笔记本用于开发+轻量推理”的用途,低 TGP 超极本反而更合理。在电池、噪音、重量上占优,配上 32GB 以上 RAM 加量化推理,作为开发环境完全够用。不过 VRAM 容量上限是决定本地 LLM 天花板的另一回事,因此RTX 5070 VRAM 12GB 的实战极限值得一并阅读。

M5 MacBook时代,eGPU是答案吗

先说结论:CUDA 的 eGPU 不是现实选择。Apple Silicon MacBook 无法用外置 GPU 训练,桌面级 eGPU 相对 enclosure 和线材成本效率也太低,同样预算不如提高笔记本本身的 TGP 和散热。MacBook 稳妥的定位是分工明确:只用于 Apple GPU 推理。

ML 训练笔记本购买清单

  1. 在厂商官方规格表核对 GPU 功耗(W)——分清数值是否包含 Dynamic Boost
  2. 在评测基准上与同款 GPU 的其他机型对比性能(参考 Notebookcheck)
  3. 按长时间负载看散热——看的不是峰值,而是30分钟后的频率
  4. 确认 32GB 内存和空余 SSD 插槽——能否升级比 GPU 更能决定机器寿命

常见问题

笔记本 8GB GPU 能跑本地 LLM 吗

7~8B 级 INT4 量化模型能跑。但上下文一长,KV 缓存就会吞噬 VRAM,回答长度受限;在低 TGP 的超薄本上,每 token 速度也会一起下降。如果常做文档摘要,建议 12GB 以上。

规格表上写着两个功耗数字,该信哪个?

当同时标注默认 TGP 和含动态加速的最大功率时,持续性能应以默认 TGP 为准。像训练这样所有核心持续满载的负载,很难吃得到加速余量。

低 TGP 的笔记本也能微调吗

LoRA 等轻量微调用 100W 级也能做,但训练时间拉长会让热量累积。若以长期训练为目的,要么选 115W 以上的型号,要么本地只用于开发、训练放到服务器上,时间效率更高。

来源:性能比例基于公开基准(Notebookcheck 等)的平均值,因机型、散热存在偏差。tok/s 区间是以 7B INT4 量化、批次 1 推理为基准的相对值,未包含价格信息。