在9月3日“数智论坛：探索智能时代前瞻技术和创新产品的实现路径”中，北京工业大学教授、中国人工智能学会副秘书长马楠发表了题为“人车路协同无人驾驶智能交互认知”的演讲。
北京工业大学教授、中国人工智能学会副秘书长 马楠
以下为演讲实录：尊敬的各位专家，大家下午好，很荣幸接到邀请参加中国汽车产业发展（泰达）国际论坛的数智论坛，探索智能时代前瞻技术和创新产品的实践路径。
今天我向大家分享的主题是“人车路协同无人驾驶智能交互认知”。
我来自北京工业大学，团队长期以来跟随李德毅院士，从事无人驾驶智能交互技术的理论研究、技术研发和产业落地，先后获得了国家自然科学基金、北京市基金等相关项目的支持，并且与北汽集团等企业进行合作，进行产业落地。团队成果获得了中国电子学会技术发明的二等奖，多次获得国内外的无人驾驶比赛奖项，通过这些奖项来锻炼团队。
我们团队长期得到从高校到企业到国家基金委、北京市科委、北京市基金委的支持，开展各项工作。团队在近十年的发展过程中，先后开发了面向乘用车的智能交互系统，面向巴士的智能交互系统，及面向特种车辆的智能交互系统，今天将从以下四个方面进行汇报：
首先，研究人车路协同无人驾驶交互认知的意义。我们首先提个问题，在无人驾驶智能汽车发展过程中，我们多关注感知、规划和决策，那么在无人驾驶过程中，驾驶员与环境、行人、周边车辆的交互认知去哪里了呢？驾驶员的经验和临场处置的能力又有谁来进行替代呢？智能交互就是通过跨媒体感知、机器学习和认知计算等技术，构建与实体世界统一的智能表达与学习方法，增强机器的智能化呈现，促进人机共融。交互是人类社会形成共同认知的基础，那么智能交互就是人机行为协同的重要保障。
我们来看一下国际汽车工程师学会SAE的J3016标准。自动驾驶从驾驶操作、周边监控、复杂情况下动态驾驶任务的执行者、系统支持的路况和驾驶模式等划分为L0-L5等6个等级，L1级、L2级需要人类驾驶员监督驾驶环境，而L3-L5级则是自动驾驶系统掌控驾驶。
我们来看一看，在J3016标准中，从L2-L3级的转化是明确、可度量的，但是这个标准有没有涉及到作为替代驾驶员的自动驾驶仪所具备的任何交互认知的能力呢？
2020年3月，国家部委发布了《智能汽车创新发展战略》，在突破关键基础技术中，就重点阐述了要实现人机交互及人机共驾、车路交互等前瞻性的技术研发。针对感知元多、数据异构、控制通讯架构不统一、语义多样、驾驶环境复杂等环境，无人驾驶应该如何去执行呢？
现实情况是我们往往对无人驾驶车的行为不清楚，对它的决策不理解，从而造成人车协同不一致。我们希望通过智能交互技术，使无人驾驶车更懂得人情世故，能交互、会学习、可信任。人工智能是无人驾驶的核心技术，自主驾驶+智能交互，使无人驾驶车成为可交互的轮式机器人。
第二点，人车路协同无人驾驶交互认知组成及基础架构。
无人车与人进行多种交互。从物理空间的角度可分为车内交互、远程云端交互和车外交互，根据无人驾驶车交互认知对象的不同，可以分为车与人的交互、车与车的交互，以及车与环境之间的交互。我们团队长期聚焦感知交互，重点研究面向无人车感知数据跨模态融合的交互架构；关注人机交互，重点研究基于自适应可靠控制的人机交互方法；关注环境交互，重点研究基于经验知识的跨媒体环境理解交互技术。
下面我向大家汇报团队在无人驾驶交互认知中的研究和应用。首先，如何在云端更好地管理无人驾驶各种工况的数据。我们团队在2018年北京国际车展，在顺义水上公园和北汽集团合作，开发了基于云端数据管理的无人驾驶智能交互系统，对无人驾驶车辆进行运营的监控，包括智能约车ROBOTAXI等服务的运营演示，实时回传的速率在100毫秒以内，当时应用在北汽福田、欧马可电动车以及相关类型的无人驾驶车上。
我们开发了移动终端无人驾驶智能交互系统，继而也开发了无人驾驶园区交互式的监控系统来监控园区无人驾驶车辆的运营状况。团队开发的无人驾驶智能交互应用项目可以分别应用在不同场景。
我们团队还关注了在信息嵌定情况下如何更好地感知数据，提出了多视角、多模态数据获取与处理在交互认知中的应用，并且将文章发表到了《中国科学》等相关刊物上。
我们团队与清华大学合作，长期开展图象与点云数据的信息融合。并且解决触突消解问题，重点和难点就是如何进行统一的表征，实现语义鸿沟的解决。
在这里，2D的图象数据和3D的点云数据模态异构，通过虚拟点云去实现它们之间的匹配，从而更好实现信息的融合和触突的消解。
我们团队还将该技术深入应用，比如针对于复杂的室内场景、动态环境的感知，大家看到的这个是基于楼梯区域的识别，包括预处理点云信息、区域分割、提取特征、判断楼梯区域。这是实现激光点云地图和视觉点云地图更新，并获取实时定位信息的数据方案。
为了更好实现信息感知与智能交互，团队开发了基于时空特征的连续手势识别及在特定场景中的应用，主要面对高动态、强对抗、不确定任务开发了这样一套手势识别的人机交互指令系统。针对21种手势进行识别，识别率均在90%以上。高动态、强对抗主要就是时效性的问题，我们要保证它的时间在1秒以内。目前手势识别效率都是在95%以上，并且采用时空卷积神经网络来提取高阶语义特征，可以在交警手势识别上应用和实现。
下面介绍一下车体语言，基于环境之间的交互，我们知道无人车要行驶在马路上，要跟周边的环境进行不断的交互，包括我们的道路信息、车道线检测以及我们和前车之间的车距和角度检测，这里涉及到的关键技术包括车辆检测、多目标跟踪、相机坐标变化等等。
我们团队设计了车体语言及环境交互，实现我们的路径设置，并且使用在线去调整PID参数，实现智能车的车道跟随控制。此论文也进行了公开发表。我们采用自适应模糊PID进行无人驾驶轨迹跟随任务，实现逆向车辆超车并道、取线等多种工况的驾驶车路协同交互认知。
在这里非常感谢中汽中心等组织方给我们团队提供锻炼的机会。各种工况都是模拟实际的无人驾驶工况。通过数据感知到决策控制到仿真平台的输入，我们去实现无人驾驶的稳定操控。
我们团队近年来也在思考如何将无人驾驶智能交互技术的科研成果转变成人才培养的一个一个生动教学案例，所以第四点向大家汇报的就是智能交互技术产学研建设。我们团队围绕着新形态教材、实践教学案例及教学载体、虚拟仿真实践平台建立了一系列的新课程。
我们在2018年开始撰写《智能交互技术与应用》教材，并于2019年出版。同时在中国大学MOOC开设智能交互技术的在线课程，目前已经开课第六轮。
我们还开设了智能交互技术的实践课程，并且建设了教学载体。这样一系列智能交互的小车，可以实现轮式机器人智能交互实战，基于目标检测与定位的智能交互训练、智能语音交互训练、人体手势识别以及三维的人脸识别等系列教学案例。在这里也希望跟各个学校的老师们共同研讨和合作课程建设。
基于上述教学内容，我们就在思考，尤其疫情到来的时候，我们同学不能到课堂上课，如何更好地让同学们进行实践教学，随时随地都可以进行实操，我们开发了虚拟仿真的实践教学平台，并且已经上线在中国大学MOOC，可以让同学们通过虚拟仿真软件，将自己编写的程序去控制网上的虚拟小车，并且通过移动端控制我们的虚拟交互智能小车。团队还开发了其他新型态教材，比如《人工智能英语入门》，今年围绕着无人驾驶、智能交互云端的数据库系统，撰写并出版了《数据库系统智能应用》教材。
在这里衷心感谢国家和北京市自然科学基金委等单位支持，感谢李德毅院士的长期指导，感谢我的团队，谢谢大家！
