商汤绝影打造了可灵活扩展、性能领先、快慢思考自如切换的MOE多模态大模型,为AIOS构建基础能力底座
绝影打造类人记忆框架,赋予AIOS认知力与成长性,让它越用越懂你
发布业内首个支持MCP协议的端侧原生智能体框架,商汤绝影助力构建AIOS新生态
作为AIOS外显的全新交互能力与体验,New Member全新升级,实现多模态识人、深度思考,还能免唤醒参与多人多轮的对话
当前的车载操作系统不够“聪明”,无法感知环境变化和用户意图,人车交互仍在“指令-执行”,缺少主动交互能力,也没有跨场景的数据整合和记忆能力,不具备数据驱动的自主学习和自我成长的能力。传统的车载OS也缺乏针对智能体(Agent)的开发和运行框架,模型服务接口标准和Agent协同工作标准,无法适应大模型时代的技术进步。
4月23日,商汤绝影在上海车展上重磅发布行业首个专为车载AIOS打造的AI内核“绝影千机”,助力车企打造下一代AIOS。
通过整合语言、多模态等AI大模型能力、类人记忆框架、原生智能体框架等创新技术,“绝影千机”AI内核,深度融入并重构传统车载操作系统,使智能汽车具备自主感知、动态学习、主动决策与实时优化的能力。
基于全新的AI内核,New Member实现突破性技术升级,能够多模态识人、深度思考,还能免唤醒参与多人多轮的对话,展现出“有趣灵魂”该有的模样。
车企打造下一代AIOS,需要全新的AI内核
当大模型上车成为行业共识,越来越多的汽车公司也意识到,只是简单把AI大模型或者智能体应用(Agent)接入车机并不能真正实现智能座舱体验的跨越式提升,生成式AI深度融入智能座舱需要体系化革新,从操作系统到交互体验,再到智能体应用进行全方位升级。
车企需要打造下一代座舱AIOS,来领航汽车智能化的新航向。AIOS是一种以人工智能为核心驱动力的新型操作系统,它通过深度整合AI模型,从底层架构到交互逻辑全面重构传统操作系统。
为此,商汤绝影行业首发专为车载AIOS打造的AI内核“绝影千机”,它可以与车企OS、应用生态深度融合,助力车企打造AIOS生态体系,推动智能座舱全面进化。
“绝影千机”最核心的三大技术模块是MOE多模态大模型、类人记忆框架以及原生智能体框架。同时, AI 运行提供底层支撑的AI 基础系统模块,助力系统的开发与优化AIOS 工具链,以及个性化交互的生成式 UI等外围技术,为三大核心模块提供支持与交互。
商汤绝影MOE多模态大模型,完美契合汽车垂类场景
商汤绝影行业领先的大模型能力为“绝影千机”提供了强有力的底层技术支撑。4月上旬,商汤科技发布行业领先的多模态大模型“日日新V6”,多模态推理能力国内第一。在此基础上,商汤绝影打造了更加契合汽车垂类场景的MOE多模态大模型。
绝影的汽车垂类端云模型矩阵覆盖 0.1B 至 70B 的参数范围,支持模型的灵活扩展,可以满足适配不同算力芯片的需求,为不同场景、不同客户需求定制最优解。
从性能上来看,商汤绝影的模型首字延迟小于 300ms,吐字速度高达 47 Tokens/s,相比DeepSeek的 480ms首字延迟和27 Tokens/s吐字速度,性能更加强大。
不仅如此,车端场景千变万化,时效要求各不相同,绝影的模型能在快慢思考之间,自如切换节奏,该快时极速响应,该慢时深度思考,真正契合每一种场景需求。
类人记忆,让AIOS越用越懂你
强大的模型能力之外,类人情感座舱系统,离不开记忆。商汤绝影模拟人类认知机制,基于“瞬时记忆—场景记忆—长期记忆”结构,打造了端侧类人记忆框架。
绝影的类人记忆框架会感知和理解, 通过对人、车、物、环境四大类数据的实时融合,能够敏锐地感知车内外环境的每一次变化,动态构建对当前场景的理解。
它还会总结和反思,会在智能体与用户的每一次交互中,记住用户的需求和反馈,持续对用户的行为模式与偏好深度总结和反思,沉淀出属于用户的专属经验和知识。
更重要的是,它会保密和守护。在绝影的类人记忆框架里,用户的私密记忆,永远只属于个人,任何人都无法越权访问,不仅能记忆,更懂得保密。
类人记忆赋予AIOS真正的认知力与成长性,每一次交互都让它更懂用户。
业内首个支持MCP协议的端侧原生智能体框架,助力打造全新汽车智能体生态
为了方便在全新的AIOS上打造智能体生态,商汤绝影在AI内核中构建了业内首个支持 MCP 协议的端侧原生智能体框架,通过建立统一的通信标准与动态资源调度机制,解决智能体开发过程中工具调用复杂、数据获取困难以及多源信息整合的难题。
商汤绝影的原生智能体框架具备强大的自主规划能力,能够基于用户的需求和各类信息,自主理解用户意图,最多可以进行10步的精准规划和执行,提供贴心的解决方案。
它还支持 MCP 规范,能够快速接入各类生态服务和工具能力。目前已集成 100多个智能体与超过1000个 API,覆盖如高德地图、百度地图等主流服务,可为用户提供丰富的出行场景服务与内容。
同时,面向未来车机形态,多智能体分工协作将成为主流趋势。我们的框架原生支持多智能体协调机制,能够实现并发、串行及混合模式下的高效协同,有效提升任务执行效率,整体性能提升超过 30%。
New Member突破性技术升级,展现“有趣灵魂”该有的模样
“绝影千机”AI内核的能力外显就是一种全新的座舱交互体验。2024年11月,商汤绝影发布了“A New Member For U”(你的家庭新成员),能够察言观色、无时不在、与你心有灵犀,让每一辆车拥有“有趣的灵魂”。今年上海车展,在全新AI内核的支撑下,New Member实现了突破性技术升级,还能在车展现场上车进行沉浸式体验。
首先New Member拥有了多模态识人能力,不需要用户专门进行注册,它在座舱多人交互的过程推测出每个人的名字,与相貌的结合,人物之间的关系。New member不仅“认识你”,还能“理解你”,在和用户长期的互动过程当中,它不但能够记住兴趣爱好,还能记住生活的点滴,产生共情,从而更贴心地进行互动。
同时,它还具备深度思考的能力,表达会更加生动有趣。同时,当用户提出需求时,小影不是被动响应,而是会结合记忆与场景,主动分析疲惫情绪、家庭需求甚至天气变化进行综合性的深度思考,然后给出最合适的方案,成为懂你、会揣摩的“聪明搭子”。
最后,New Member在业内首次实现免唤醒的多人多轮对话能力。之前行业做到的是大模型一对一的交流,如今New Member未被唤醒也能关注并理解座舱内成员间的对话,并能随时参与到对话当中,做到“不过度打扰,但时刻陪伴”。展现“有趣灵魂”该有的模样。
在现场的演示视频中,车内四人正在讨论去雨崩徒步需要的装备,New Member会主动搭话,称赞那位提示大家注意低温要带羽绒服的朋友;在查漏补缺携带物品的同时,它记得车主喜欢摄影,主动提醒携带单反和三脚架,可以拍摄山顶星空。
另一个场景中,四个同事下班后临时决定一起聚餐,但四个人住的地方分散在上海各区,彼此距离较远,同时饮食偏好也有差异,New Member能够听懂每个人的潜台词,综合回家的距离、口味诉求,就像一个“规划大师”,给出了大家都能接受的推荐餐厅。
New Member还能提供有温度的情感互动和陪伴。一对情侣想去南京旅游,但因为是开车还是乘坐高铁出行产生了分歧和争论,后来女生质问“男生是不是不爱她了”,New Member能理解语言背后的情绪,对女生进行安抚,并提供建议和帮助,给予情感支持。
在汽车智能化变革的浪潮中,车载AIOS正在构建全新的AI汽车生态。商汤绝影将以“绝影千机”AI内核为核心枢纽、New Member为标杆产品,携手车企、芯片厂商、硬件厂商、内容服务商和开发者,共同打造智能座舱的新生态、新体验、新未来。
关于商汤绝影——激发AGI创造力,让智能汽车向超级智能体进化
截至2024年12月,商汤绝影已与本田、比亚迪、长城、广汽、红旗、极氪、奇瑞、蔚来等超过30家国内外车企携手合作,覆盖超130款车型,累计交付总量超360万辆。