|
DriveAGI可解释、可交互,多模态让端到端智驾安保可信任
2022年底,商汤及其联结试验室提出了行业首个感知决策一体化智能驾驶通用模型UniAD,并在次年荣获2023年国际计算机视觉与形式识别会议(CVPR)最佳论文,往年北京车展,商汤绝影展现了UniAD的实车上路成绩,继续引领端到端智能驾驶的翻新潮流。
北京车展以来
,UniAD稳步前行,经过继续的数据采集、真值消费、模型训练、实车测试,UniAD系统稳固性大幅增强,体验延续性和温馨性始终优化。在本届WAIC上,商汤绝影展现了只搭载7个摄像头的UniAD,在无图状况下成功城区复杂路线、农村小路等场景一镜究竟的实车演示,端到端智驾模型继续迭代退化。
UniAD清楚优化了智驾系统的驾驶才干,但纯正的端到端智能驾驶模型不是智能驾驶的最终答案,进一步具有对开明全球的感知、推理、决策及交互才干,将是智能汽车走向超级智能体的关键标记。因此,商汤绝影开创性地研发了首个运行于驾驶决策布局的智驾大模型,即基于多模态大模型打造的DriveAGI,让端到端智驾可解释、可交互。
DriveAGI增强了端到端系统的可解释性,不只让车辆能够更像人一样了解复杂的事实全球,洞察各类交通介入者的行为动机,极速学习各种交通规定,把握瞬息万变的路线消息,还能向用户解释驾驶决策的推理环节。
目前
,商汤绝影DriveAGI智驾大模型能在有限宽标识的路线上,安保顺利穿过两个石墩构成的狭窄通道;它还能准确辨识并了解包含公交车道、潮汐车道及施工车道等各类交通标识,并自主启动变道或规避,甚至以后方没救护车凑近时,DriveAGI会启动思索推理,最终启动及时变道避让。
DriveAGI不只能识别救护车,还能做到被动让行执勤救护车
多模态大模型还赋予了
DriveAGI弱小的可交互性,用户不只可以经过问询让DriveAGI解释自己的决策环节,还能经过语音或手势指令来控制智能驾驶行为。例如,未来在智能驾驶形态下,导航批示车辆需在下个路口调头以达到目标地,但驾驶员通晓可在前方有近路可以间接转弯,那么他只有对系统说出「间接左拐」,系统便会依据以后路况来口头这一指令。
UniAD和DriveAGI智驾大模型的冷艳体现依赖于商汤绝影弱小的模型才干,同时也须要少量的高质量数据允许学习和训练。作为「新质消费劲」,以多模态为代表的大模型极大提高了端到端智驾训练、迭代的消费效率。
以实在的多模态数据为基础
,商汤绝影的全球模型、交通流仿真大模型等一系列云端大模型源源始终消费出高质量数据,同时经过各个大模型之间相互协同,成功场景消费、交通流仿真、真值消费、系统诊断等才干,打造出智驾大模型时代的端到端数据闭环,为端到端智能驾驶打算的落地与退化提供有力的保证。
多模态融入智能座舱
,让智能汽车成为你的专属「贾维斯」
当天的智能汽车装备了丰盛且弱小的配件
,能够为用户打造一个独立的交互环境,它是AGI落地的最佳场景。面向智能座舱,商汤绝影充沛监禁多模态大模型弱小感知和交互才干,激起更多构想空间。
依托行业上游的多模态才干
,商汤绝影正在打造多模态大模型引擎产品「座舱大脑」(CockpitBrain),构建一系列AI大模型座舱产品矩阵,让钢铁侠的人工智能帮手「贾维斯」走进智能汽车,成为每一个用户的AI出行同伴。
在本届
WAIC上,商汤绝影正式颁布行业首个生成式交互界面产品「随心界面」(FlexInterface)以及「轻易操控」(AgentFlow)等多个车载 AI Agent,旨在经过AI技术,彻底扭转用户与车载系统的交互形式。
依托于
AI 大模型的即时生成和修正交互界面的才干,FlexInterface在大模型解析用户需求的基础上,结合设计系统的框架和范式,成功高度灵活和共性化的界面熟成。无论是天气、期间、节日、纪念日,还是周围环境变动,FlexInterface 都能智能变换界面格调,提供最佳用户体验。
AgentFlow 经过大模型的推理才干,模拟人类点击操作,成功对APP和网站的间接操作。用户只有经常使用人造言语,就能让AI自主选用多个工具成功复杂义务,无需服务器厂启动额外的研发适配。这种才干不只优化了操作的方便性,还极大地裁减了车载系统的配置范围。例如,用户能让AgentFlow智能搜查并预定适宜看球的酒吧,提供从搜查到预订的一站式服务。
在商汤绝影的现场演示中
,用户经过FlexInterface生成了一个「欧洲杯」格调的主题,大模型智能生成具有欧洲杯元素的中控屏幕桌面和图标;同时,用户还能经过AgentFlow随时播放欧洲杯或足球关系的音乐,展现了这些翻新产品在实践运行中的弱小才干和灵敏性。
FlexInterface经过大模型生成的「欧洲杯」主题的车载界面
除此之外
,本届WAIC上,商汤绝影在传统智能汽车「哨兵形式」的基础上打造了「多模态哨兵」, 能够片面了解并应答开明全球中或者对车辆形成损害的各种潜在随机风险行为,诸如划车、喷涂车身、拍打砸车、拉拽门把手、撬门以及踹车等,确保车辆安保无死角。
在多模态大模型的助力下
,商汤绝影将让智能汽车成为用户的专属「贾维斯」,让智能汽车向着超级智能体的外形又迈进了一步。
量产片面开花
,开拓出行新范式,减速驶入AGI时代
作为减速智能汽车驶入
AGI时代的策略协作同伴,商汤绝影不只是在大模型技术上领航新时代,产品化量产落地也曾经片面开花。
在智能座舱畛域
,商汤绝影的大模型产品曾经在多家干流汽车制作企业的量产车型中获取宽泛运行。例如,商汤的大模型已片面助力小米SU7的小爱语音助手车载语音场景运行。
6月25日,翼真 L380正式上市,行业上游的最新版本商汤「日日新」大模型成功量产上车,基于「商量」大言语模型和「秒画」文生图模型,商汤绝影为翼真 L380定制化打造了「AI闲谈」、「美图壁纸」、「童话绘本」、「AI问诊」等AI大模型座舱产品和配置,助力「陆地空客」升维智能座舱体验。
在智能驾驶畛域
,商汤绝影的量产智驾产品已落地包含广汽埃安LX Plus、合众哪吒S、广汽昊铂GT、红旗等品牌及车型,高速NOA等配置也开局落地,同时绝影还在推动更多车型交付,已具有了从感知到规控的全栈智驾技术量产交付才干。6月初,广汽和一汽中选国际首批L3试点名目,商汤绝影为他们提供面向L3的感知算法。不止如此,商汤绝影目前的多个量产智驾打算在未来均可更新为端到端架构。
更高阶的
L4智能驾驶畛域,商汤绝影智能驾驶小巴成为WAIC 2024惟一承当接驳义务的L4级别智能驾驶小巴,提供多个地点之间的需求照应式智能驾驶巴士出行体验。
这面前是商汤绝影硬核的技术实力和弱小的落地运营才干。目前
,绝影L4级别的智能驾驶小巴的测试与运营总里程累计已超3,000,000公里,并在江苏无锡、陕西西咸新区等多地展开智能驾驶接驳服务。
在上海临港
,绝影L4级智能驾驶小巴曾经面向群众启动日常运营。商汤绝影与上海临港新片区公共交通有限公司独特打造的智能网联公交场景,驳回“照应式公交”形式按需照应,已实践投入的医疗专线和上海陆地大学专线,预定乘坐人数累计已超越16,000人次。
商汤绝影的大模型产品正在融入智能汽车和智慧出行的方方面面
,开拓全新的出行范式,减速智能汽车驶入AGI时代。
商业
门户；
| 
