
过去三年里跑AI就像租房子——所有人都挤在昂贵的云端服务器上排队烧钱。但现在情况变了:Meta开源的Llama等中小型语言模型越来越聪明,开发者突然发现,为什么非得看云计算平台的脸色?
问题卡在硬件上。普通工作站想加载30亿参数的AI模型,就像让家用轿车拖集装箱——内存根本不够用,要么把模型拆得七零八落,要么外接显卡当拐杖。"我们实验室80%的时间都在等云服务商排期",斯坦福AI实验室的研究员向记者吐槽,"更别提医疗、金融这些敏感行业,数据根本不敢往外送"。
戴尔上周扔出一对"王炸":Pro Max主机配GB10加速器的组合,重量不到两斤半,却能塞下128GB内存,足够200亿参数模型在家门口撒欢跑。这个巴掌大的黑盒子藏着NVIDIA最新Grace Blackwell架构,运算速度达到每秒1000万亿次——相当于把半个超级计算机塞进了台式机箱。
最狠的是玩法升级:两个GB10可以像乐高一样拼接,立刻变身400亿参数模型的训练平台。"现在博士生都能在工位上调试Llama了",MIT媒体实验室的测试报告显示,同样的任务比云端便宜67%,还不用忍受数据传输的卡顿。"就像从集体宿舍搬进了精装公寓",某AI初创公司CTO这样形容解放感。
这场硬件革命来得正是时候:当开源社区不断推出7B、13B等精巧模型时,"算力平权"正在打破科技巨头的垄断局面。"未来18个月,我们会看到更多'车库里的GPT'",硅谷风投a16z在最新报告中预测,"2025年可能成为分布式AI的元年"。
精选评论
评论加载中…