随着人工智能技术迅速发展，大模型这把“火”已经烧到了越来越多的领域，手机正是其中之一。有评论甚至认为，“大模型将重新定义手机”。可以预见未来五年，AI 对手机行业的影响，完全可以比肩当年智能手机替代功能机。那么，大模型加持的智能手机会长什么样？大模型如何颠覆手机影像、交互体验？对于程序员来讲，手机操作系统和开发相关技术栈大概会是怎样？
近日，InfoQ《极客有约》特邀微软软件工程师姜雨生，对话 OPPO 技术规划总监陈晓春，小米相机部 AI 算法团队负责人王晓涛，vivo 技术规划专家袁东，一起探讨大模型时代下的手机。
以下为访谈实录，完整视频参看：
https://www.infoq.cn/video/MutbJzsLtiucBSG0sxAR
如何理解 AI 手机？
姜雨生：随着技术的发展，大模型正在逐渐走向手机端。所谓 AI 手机，是指接入端侧大模型和云端大模型的手机吗？各位老师是如何理解 AI 手机这个概念的？
陈晓春：关于 AI 手机的看法，行业内部存在多种定义。IDC 对 AI 手机给出了严格的定义：端测算力需达到 30TOPS 以上，内存也有特定要求，且必须能在端侧运行包括大语言模型和大视觉模型等要求。这样的定义使得大多数高端手机都符合 AI 手机的标准。典型的芯片如苹果的最新 A17 芯片、骁龙 888 第三代、联发科 9300 等都属于此类。
从 OPPO 的角度来看，我们更倾向于从技术带来的便利性和与过去技术的差异来定义 AI 手机。我们思考的是，AI 手机与传统智能手机在提供的能力上最大的不同点是什么。我们之前发布的白皮书中提到，AI 手机可能具备以下几个特点：
1. 高效的算力应用能力：AI 手机需要在端侧运行复杂的模型，这要求有更高效的算法和存储带宽。
2. 强大的感知能力：AI 手机可能需要更多的传感器和多模态交互，能够理解用户的肢体语言和微表情，以及感知周围环境。
3. 自学习能力：AI 手机能够根据特定用户的交互习惯进行学习，比如用户的输入习惯和偏好。
4. 生成创作能力：AI 手机能够提供创新的创作工具和服务。
这些都是我们对 AI 手机的看法，我们愿意与行业同行交流这些观点，虽然它们可能不是标准答案。我们希望这些观点能够引发更多的讨论。
王晓涛：关于 AI 手机，我想补充一些个人观点。目前大家讨论 AI 手机，主要是因为看到了大模型带来的性能优势，这些性能超出了我们最初的想象。因此，人们开始将大模型与手机结合起来。实际上，智能手机并不是一个新概念，这几年我们一直在使用智能手机。但现在，为什么又出现了 AI 手机这个概念呢？我认为，这是对大模型与手机结合的未来发展抱有很高的期望。
目前，各大手机厂商都在投入大量精力进行研发。从现状来看，AI 手机可能只是在现有功能上的拓展或升级，使得手机更加好用，功能效果更佳，或者增加了一些具有 AI 属性的新能力，但 AI 手机目前还处于起步阶段，至于 AI 手机未来真正的形态，这将随着各家厂商的投入和时间的推移而逐渐清晰地展现出来。这是一个逐步发展的过程，最终的形态还需要时间来证明。
袁东：AI 与手机的结合最初可以追溯到 iPhone 首次发布 Siri 时，那时人们开始期待智能手机能够拥有智能助手，带来人工智能的美好前景。经过多年的发展，传统的 AI 开发方式并没有实现这种期待，直到生成式 AI 的出现，特别是像 ChatGPT 这样基于 Transformer 模型的大模型出现，才让人们感受到了智能涌现的感觉。
这种智能涌现让人们开始思考，是否可以在手机上实现那些美好的 AI 愿景，让手机更加理解用户，成为个人得力的助手。我认为当前这波 AI 智能手机的定义，可能正是基于生成式人工智能和智能涌现的概念。这种范式的变化预示着未来用户的数据或内容可能会是生成式的，用户生成的内容也可能具有生成式的特点，这可能成为未来智能手机的一个标志。当然，无论是智能涌现还是生成式内容，都需要基于云端或端侧的模型来生成。这是我对 AI 智能手机未来发展的理解。随着技术的进步，我们可以期待智能手机在理解用户需求和提供个性化服务方面将有更大的突破。
姜雨生：有了大模型的加持，智能手机发生了哪些根本性的变化？大模型是如何改善手机交互体验、影像处理、智能推荐……的，各位老师可以挑选几个点来展开介绍下。其中哪些变化是传统 AI 无法做到的？
王晓涛：智能手机的根本性变化可以从小米最近发布的产品中窥见一斑。在 2 月 22 日，小米发布了专业影像旗舰小米 14 Ultra，其中首次引入了基于大模型的 AISP 影像处理平台。小米的 AI 超级变焦（Ultra Zoom）功能简单来说是在 30 倍以上的焦段，常规传感器和光学系统接受的信号非常微弱，导致拍摄的图片缺乏细节信息。在这种情况下，传统方法和第一代 AI 技术几乎无效。我们引入了一个大模型的方案，采用生成式的方式，生成符合客观条件和实际情况的高质量图像。
换句话说，我们使用大模型来处理传统方法和第一代模型无法达到的场景或焦段。生成式模型在这个场景中确实取得了突破性的效果，比如传统方法和第一代模型无法达到的效果。目前，我们这个版本还存在许多问题，其中一个众所周知的问题就是生成问题，即如何确保生成的内容符合用户的意愿。这实际上是一个行业内较为困难的问题，但我们一直在努力解决，努力确保生成的内容尽可能符合客观条件。
袁东：我们正在从传统的多模态交互和图形用户界面（GUI）交互，转向与具有智能的实体进行交互。即使在没有大模型的智能手机中，AI 技术也在多个方面得到应用，比如摄影和翻译。但当智能交互真正出现时，这种交互可以被总结为智能化加上多模态交互。用户与 AI 手机的互动，实际上是通过 Prompt，也就是多媒体形式的提示来进行的。这些提示不仅仅是语言，还可以是照片或视频。对于大模型来说，这些都是有效的输入。
以 Sora 模型为例，它可以通过文本、图像或视频进行 Prompt。这意味着，当我用手机拍摄一只小猫或小狗时，可以使用文本加上这段视频或图片，让 Sora 帮我生成一个 60 秒的短视频。这样，Sora 不仅理解了我的意图，还能帮我创造出新的内容。对于用户来说，最根本的变化在于交互方式的这种转变。从底层技术来看，智能手机现在具备了智能涌现的能力，它们能够自主学习和适应，以更好地理解和响应用户的需求。
陈晓春：我非常认同刚才两位老师的观点。除此之外，在理解方面，我们可能会迎来许多新的发展。让我举个例子，在过去，我们使用传统的智能手机和一些传统的 AI 方法，比如搜索式或决策式 AI 算法。比如，如果我们想了解 OPPO 这家公司，通过搜索引擎可能会得到 10 条信息，其中 3 条可能是关于销售手机的，剩下的 7 条从不同维度描述公司。这需要我们进一步阅读和理解。而大模型给我们带来的是，它能帮助我们理解这些信息，将其转化为知识，让我们快速得到正确的答案。
第二个维度是，过去我们通过 NLP 技术实现的主要是人机之间的语义和交互理解。现在，通过大模型，它还能理解服务和周边设备。当我们要求它执行某项任务时，比如点餐或叫车，它能找到相应的方式实现这些服务。这些方式可能包括 OpenAI 定义的插件（plugin）方式，或者手机厂家定义的原生服务方式。
更大的变化是，它可以实现更好的个人专属性。例如，一个初中生在搜索题目时，她可能得到的答案是不匹配的，因为搜索结果可能更适合大学生。如果她问一个数学题，得到的答案可能使用了微积分，这对她来说并不适用。在这种情况下，我们需要 AI 非常理解用户的需求。大模型通过 LLM、fine-tuning，或者谷歌推动的 Tuning Project 等技术项目，可以微调模型，使其与用户的认知对齐，使用用户的语言进行描述，从而提高专属性。我认为在语义理解的各个方面，大模型能够提供完全不同的体验。