苹果M4芯片一发布，开发者们就盯上了它的本地AI能力。最近，一位叫jola的开发者真的动手干了一件事：在24GB内存的M4 MacBook Pro上，成功跑起了本地大语言模型。测试结果让人眼前一亮——优化后的Qwen 3.5-9B模型，每秒能生成40个单词（tokens），足够应付离线办公和私密开发。
jola可不是随便选个模型就开跑。他试了一圈，从4B到20B的各种模型，用Ollama、llama.cpp、LM Studio这些工具反复对比。结果发现：20B以上的模型虽然理论上能装进24GB内存，但一跑起来就卡死，根本没法用。而4B的模型虽然快，但一碰到需要调用工具或复杂逻辑的任务，脑子就不太灵光，逻辑乱糟糟的。最后，他相中了Qwen 3.5-9B的Q4_K_S量化版——这个版本把模型压缩了一部分，牺牲一点精度，但内存占用大幅下降，还能给其他开发工具留出空间。更牛的是，它支持128K的上下文窗口，也就是一次能看十几万字的长文档或者分析一大坨代码。
为了让模型在编程和推理时更聪明，jola在LM Studio里调了调参数。他把Temperature设为0.6，Top_p设为0.95，这样回复既不会太死板，也不会太胡说。最关键的一步，他手动开启了思维链（Thinking）模式——在提问模板里注入特定参数，让模型在回答前先“自言自语”推理一遍，就像人思考问题时会打草稿一样。前端方面，他用Pi和OpenCode这些工具连上本地API，自由调整上下文长度和输出限制，一套完整的本地AI助手就这么搭起来了。
jola也老实承认：本地9B模型跟Claude、GPT-4这些云端巨无霸比，还是有差距。遇到多步骤复杂任务，它容易分心、死循环、或者理解错意思。但换一个角度看，这种“不完美”反而带来了新的工作体验。用云端模型时，很多人习惯丢一句模糊的需求就等结果，容易变成“认知外包”。而用本地模型，你必须把指令写清楚、步骤拆精细，像个老师带着学生一步步走。这时候，AI的角色不再是全知全能的管家，而是个有即时记忆的“橡皮鸭”——你边想边跟它聊，它帮你记细节、提建议，但你始终是主导者。
对看重数据隐私、不想付月费订阅、希望控制开发环境的人来说，在M4 MacBook上搭这套离线方案，不只是一次技术尝试。在大模型越来越像“黑箱”的今天，这更像是对个人计算主权的一次成功回归。