过去一年,端侧大模型从概念走向实用。旗舰手机芯片的 NPU 算力持续提升,使得数十亿参数的精简模型可以在本地流畅运行,应用不再需要把每一次请求都发往云端。这个变化看似底层,却实实在在地改变了许多 App 的交互形态。
最先受益的是输入法、智能相册、笔记与摘要类应用。它们大多是高频、轻量、对延迟敏感的任务:用户敲几个字就期待联想,拍一张照就希望立刻分类。把这些能力放到本地,响应几乎零等待,也顺带避免了把用户输入持续上传到服务器。
本地运行的另一个优势是离线可用。地铁隧道、飞机起降、信号微弱的区域,云端模型会直接失效,而端侧模型依然能调用基础能力。对注重隐私的用户而言,数据不出设备本身就是一种安心,敏感内容不必离开手机。
当然,端侧并非万能。复杂推理、长文写作、跨领域知识整合,仍然依赖云端大模型。因此“端云协同”成为主流思路:简单、私密、低延迟的任务在本地完成,复杂任务再唤起云端。未来一年,随着模型压缩与蒸馏技术成熟,本地模型质量会进一步逼近云端,手机将真正成为随时待命的随身智能。