
过去三年里要搞AI开发的公司都在做同一件事——给云计算公司送钱。但现在情况变了:Meta开源的Llama大模型只有30亿参数就能写诗编程;微软的Phi系列小到能在手机跑却懂高等数学——既然小模型越来越聪明,为什么还要花大价钱租远程服务器?
问题卡在电脑内存上。哪怕是最顶配的工作站,想加载一个70亿参数的AI模型也会被内存撑爆。科研机构要么得把模型拆成碎片,要么只能排队等云服务器空位。医疗金融这些敏感行业更惨——数据根本不允许上传到别人的机房。
戴尔上周扔出了个王炸解决方案:一台比咖啡机还小的GB10设备,却能当200亿参数AI模型的训练场(相当于半个ChatGPT)。秘密藏在三个地方——
1️⃣ NVIDIA最新Grace Blackwell芯片像给数据修了条高速公路
2️⃣ 128GB超大统一内存让CPU和显卡不再抢地盘
3️⃣ 预装全套AI工具包开机就能跑模型
更疯狂的是两台GB10拼起来能训400亿参数的大模型。"这就像把超算中心压缩成乐高积木,"参与测试的斯坦福实验室发现,他们现在能直接在办公室调试Llama3完整版,"省下的云服务费够买十台设备"。
这场硬件革命来得正是时候——研究显示2024年将有60%的企业尝试在本地部署AI。"当小模型的智商追上大模型时,"半导体分析师李明指出,"未来三年每张办公桌上都可能摆着这样的'AI发电机'。"
精选评论
评论加载中…