极氪：单点交互迈向多模感知，AI大模型拓展智能座舱交互边界

随着生成式AI的兴起，智能座舱将迈向新高度。对此，2024年7月12日，在第二届智能座舱车载显示与感知大会上，浙江极氪智能科技有限公司整车功能集成主任工程师罗梦琦谈到，未来可预见的中长期，无感交互、主动推荐等智能座舱交互功能将有机会逐一落地。

罗梦琦｜浙江极氪智能科技有限公司整车功能集成主任工程师

以下为演讲内容整理:

AI大模型带来座舱演进新思路

智能座舱的概念已历经十多年的发展，自互联网兴起之际，汽车行业便致力于将智能化操作融入汽车。初期，车内交互以机械物理按键为主，逐步引入了移动中控屏、智能后视镜等，尝试复刻手机上的多媒体与智能功能，提升用户体验。

随后，电子时代的到来标志着智能座舱空间定义的深化，车辆从单一交通工具向娱乐休闲空间转变。车内屏幕普及，电子与软件交互按钮兴起，标志着智能座舱的初步成型。

图源:演讲嘉宾素材

当前正处于智能时代，车辆已搭载完善的软件系统，实现了手机内容消费、通信模块、基本提醒及远程车控等功能的车内应用。语音助手普及，用户可通过语音指令完成基础任务与舱内交流，交互体验显著提升。

随着生成式AI的兴起，智能座舱将迈向新高度。预计在未来可预见的中长期，无感交互、主动推荐等智能座舱交互功能将有机会逐一落地。通过AI大模型的思考与推荐能力，模型可以处理复杂的自然语言任务，还能在更广泛的场景中自动执行任务，实现全栈式服务闭环，用户仅需简单指令即可享受跨场景服务。

AI大模型的核心优势在于其数据规模扩大后产生的涌现能力，扩大了人工智能的使用范围，这将推动车内服务从单点向全场景联动闭环转变，提升用户体验至无感智能新境界。同时，这也对企业研发、运营、管理系统提出了更高要求，需加强大模型算法、芯片等新技术，及相关人才储备与部门设计。

此外，多模感知技术的逐步成熟将成为改变车辆交互形式的关键，手势识别、眼动识别等技术将为用户带来更加直观、便捷的操控体验。还将探索后排儿童监测等多模交互新场景，不断拓展智能座舱的应用边界。

AI定义座舱的使用范式

图源:演讲嘉宾素材

随着智能座舱的普及，各主机厂纷纷探索车内屏幕布局的最佳方案。屏幕已不仅仅是科技感的象征，更深度融入车辆功能，兼顾安全与娱乐。

在具体应用场景中，大模型展现出强大的意图理解与综合推荐能力。以双人出行找餐馆为例，模型能准确捕捉主副驾的意图，理解模糊表述背后的偏好，甚至处理多条件请求，如“好吃不贵又近”的餐厅推荐。此外，大模型还能实现多意图判别，如同时推荐餐厅及附近影院，打破了传统场景剧本的限制。这一过程中，主副驾屏幕协同工作，既体现科技感又确保安全性，计划年底前实现部分推荐能力的上车应用。

在多模态感知方面，追求舱内外信息的深度融合与智能交互。通过识别舱外环境及舱内对话内容，模型能生成跟出行过程相关的创作作品，丰富座舱内的交流，如绘本故事，让智能座舱成为更加人性化、互动性强的空间。

车端AI技术的展望

在探讨了AI大模型在车端产品形态的设想后，我们进一步思考了未来技术上车的工作方向。Agent作为大模型实现智能感知、理解、决策和执行的关键框架，能够高效执行复杂任务，其能力演进分为多个等级。目前我们处于第三等级，通过提示词工程，模型能主动完成类似任务，无需预设。未来L4、L5阶段，Agent将具备更高级的资源调配与自主决策能力，虽尚处探索阶段，但前景广阔。

针对模型部署与训练成本高的问题，我们提出工程化解决方案:采购行业内训练好的模型，云侧训练，端侧推理；同时对任务进行分类和梳理，模型和任务精准匹配；大小模型结合，提升复杂场景处理能力，确保运行稳定性。

图源:演讲嘉宾素材

在生态构建上，致力于打造高效交互空间，接入更多座舱生态模式插件，促进生态伙伴合作。通过搭建应用框架，注入企业数据与能力，利用成熟基座模型，共同推动座舱智能化发展。

目前，已在车端完成座舱样板间搭建，实现反馈闭环与场景融合，具备工程化落地能力。未来，模型部署与生态转化率、新场景的探索，将是我们的工作重点。诚邀各界伙伴交流商业模式，共同打造高效组件与工具，提供更优质的智能座舱，服务市场与用户！

鸣谢:产品团队，座舱团队和合作伙伴