今年新发布的手机，厂商们不约而同地强调同一卖点：我们的手机，能在本地运行大模型，无需联网，算力完全由终端芯片承担。这种趋势不仅局限于手机，眼镜和汽车座舱也在跟进。两年前，这或许只是噱头，但到了2026年，它正逐渐成为行业常态。为何偏偏是今年？因为三条原本独立的技术曲线，在这一年首次交汇了。
第一条曲线是模型的“浓缩”。早在2024年底，清华大学孙茂松与刘知远团队便提出了“能力密度”的概念。简单来说，就是一个模型每亿个参数能承载多少智能。他们的结论很直接：大模型的能力密度大约每100天翻一番。这意味着，每隔三个多月，你只需一半大小的模型，就能达到当前最强模型的水准。若将此与摩尔定律对比，芯片算力大约每两年翻倍，而模型密度则是一百天翻倍。前者决定了手机能塞进多大的模型，后者决定了模型有多聪明。这并非空谈，截至今年7月，清华的MiniCPM系列全球下载量已达3800万次，GitHub上超过14万颗星；今年5月发布的MiniCPM5，参数量仅为1B，效果却优于三个月前发布的Qwen3.5-2B，体积减半，性能反升。
第二条曲线是芯片算力的突破。模型再聪明，最终也需运行在硅片上。2026年，这条曲线终于跨过了一道关键门槛。我查阅了最新数据，高通骁龙8 Elite Gen5和联发科天玑9500的AI算力均达到了100 TOPS，且功耗比上一代降低了50%以上，同时支持低比特推理技术，大幅提升能效。PC端的骁龙X2 Elite NPU也有80 TOPS。这些数据意味着，这批芯片将在2025年底至2026年大规模量产，为端侧AI提供硬件基础。
第三条曲线是监管的“准入证”。这条线虽非技术范畴，但其约束力丝毫不亚于技术。今年7月15日，国家网信办发布公告，7款手机端侧AI服务完成备案。细看数据，全国已完成备案的生成式AI服务已近千款。苹果Apple Intelligence在2024年6月的WWDC上就已亮相，端侧基础模型约30亿参数，技术准备已两年有余。它在中国市场等待了两年半，最终依靠国行版接入阿里千问、百度，才得以落地。两年半的等待，只为换取那张备案清单上的名字。
当模型密度每百天翻倍、百TOPS芯片普及、合规许可生效这三条线汇聚于2026年时，端侧AI的落地才具备了现实条件。
然而，这并非全是好消息。关于“100 TOPS”这个数字，业内有不同声音。端侧部署工程师通常认为，这个参考价值有限。决定手机能跑多大模型的，从来不是纸面上的算力，而是内存容量、带宽、数据搬运效率及缓存管理。很多时候，模型是被内存拖慢的，路窄车再快也跑不起来。
以iOS的Jetsam机制为例，当App占用内存超限时，系统会直接杀掉进程，不给任何弹窗。安卓的LMK机制逻辑相同。因此，运行端侧大模型需预留三到四成内存。手机标称8GB，实际能分配给AI的远不止8GB。这是端侧与云端的本质区别：云端受限于成本，增加机器即可；端侧则受限于物理条件，内存有限、电池有限、散热面积有限。
智源研究院发布的《端侧智能2026》报告中，有一张表格极具参考价值，它按INT4量化口径估算了不同设备的模型承载上限。规律显而易见：越贴身、越省电、越实时要求的设备，能装的模型越小；电源充足、散热空间大的设备，尺寸则更大。例如，国产无屏AI眼镜整机重量普遍控制在40克以内，留给内存和散热的空间微乎其微；而AI盒子插电放置，可容纳70B+模型；手机夹在中间，通常在3B到4B之间。
此外，这张表也展示了动态变化。随着座舱芯片从8295迭代至8397、8797，本地能承载的模型规模也从0.9B提升至4B到8B，旗舰平台甚至触及14B。面壁的MiniCPM-V 4.6便是一个例子，1.3B参数经Q4量化打包后体积约1.6GB，能在6GB内存手机上流畅运行，正好落在“手机3B到4B”的区间内。
既然硬件限制了模型大小，为何端侧模型厂商都在死磕量化？因为量化是连接“模型能力”与“硬件跑力”的桥梁。在精度、体积、速度三者间寻找最优解，已成为衡量厂商工程能力的标尺。同时，续航能力也是关键，端侧推理不能只看首字响应速度，更需关注长时间高负载下的稳定性、发热和后台存活率。目前端侧模型的上下文长度通常限制在512到2048，远低于云端的128K，这也是受限于内存。
除了硬件，监管架构也构成了三层壁垒。
第一层是“持牌”方，拥有最高权限。苹果、华为、小米、夸克、小度等，均通过备案，拥有系统级权限和跨应用调度能力。它们能进行深度定制，利用私有数据进行个性化训练，实现“越用越懂你”。
第二层是“租牌”方。若不自行研发模型，仅调用备案API，则走“登记”程序，流程较短（约4-5个月）。但代价是受限：不能修改模型，不能喂入私有数据，产品只能提供通用回答。Rokid、INMO等厂商多属此类。
第三层是“不碰牌”的群体，即芯片厂商。瑞芯微、恒玄科技等卖硅片的厂商，无需备案，只需关注终端出货量。牌照决定了产品能否上架，出货量则决定了它们的业绩。
当然，行业仍有三大堵点。
首先是芯片适配的碎片化。手机端高通、联发科架构各异，PC、汽车、IoT又各有不同。主流AI开发默认基于英伟达CUDA，国产芯片若无适配，难以接住社区更新。智源推出的FlagOS 2.0试图统一算子库，覆盖18家厂商32款芯片，虽有所突破，但距离全面普及尚需时日。
其次是“不可能三角”的束缚。端侧AI面临精度、省电、便宜三选二的难题。模型越大越聪明，但越耗电、越占内存；要省电则需压缩模型，牺牲精度；要便宜则需用低端芯片，其算力和内存又难以承载大模型。密度定律虽在推高边界，但三角结构依然存在。
最后是合规与个性化的冲突。端侧AI的核心价值在于个性化，但这需要微调模型。一旦微调，租牌方即失去资格，必须重新备案。大厂持牌，可随意定制；小厂若想深耕个性化，则需付出巨大时间成本。这种制度设计，实际上将最值钱的个性化能力，保留给了持牌的大厂。