我今天的发言题目是：如何打造中国特色城市NOA。
轻舟智航现在已经不止是一家L4自动驾驶公司，今年上半年发布了新的「双擎」战略。“ 双擎”是指动力引擎和创新引擎。其中动力引擎指的是我们自动驾驶技术能力以及研发体系，在这个引擎之要不断夯实技术深度，支持长线发展。创新引擎是基于自动驾驶能力之上实现商业化，不断拓宽场景的宽度，反哺技术的发展。
其中最重要的应用是前装量产的高级别辅助驾驶，在国内想要实现最终的无人驾驶，“双擎”的方式，通过渐进式的高级别辅助驾驶反哺自动驾驶的方式是最务实的一条道路。
今天我要分享的重点在于创新引擎中的前装量产，也就是高级别辅助驾驶城市NOA应用，看怎么将城市NOA带进现实。
首先分享一下我们对辅助驾驶产品的认识，我们认为，在不同阶段把产品分成三个不同的阶段：能用、好用和爱用。
什么是能用？最基本的L2功能，大家可以在高速上、高架上用起来，可以实现我们想要的辅助功能定义。但同时，也会看到经常会有一些需要接管的场景，比如说加塞的时候表现的不够安全，有时候跟大车靠的很近的时候让大家觉得不是非常安心，是不是需要接管？只是处在能用的状态。
什么是好用？随着硬件的升级、方案的迭代，处理场景的能力会不断增强。包括加塞、大车并行以及其他偏长尾的场景能处理的比较好，基本上在高速上能实现点对点的辅助驾驶能力。
毕竟大家开车开高速的机会不是很多，大部分时候都是在城市里开。所以往下一步看的话，要做到让用户爱用，一定要涵盖大部分驾驶场景。一定要涵盖城市的场景。当我们把城市场景覆盖90%以上的时候，把产品做得更加安心、安全，用户会不断形成对它的依赖，就到了爱用的阶段。
为了做到爱用，城市一定要把几乎所有的场景都覆盖到，无论是高架，还是城市里的路口、泊车的功能。目标是实现城市NOA在场景中的驾驶能力。
为什么非常重视城市NOA的开发？因为我们认为它是辅助驾驶里的天花板，是技术含量最高的功能。轻舟的使命是将无人驾驶带进现实，希望能通过持续打磨城市NOA功能，不断反哺L4技术，最终实现无人驾驶，所以它也是无人驾驶的入门槛。
城市NOA功能市场趋势是怎么样的？到2025年的时候，我国智能驾驶市场渗透率到65%以上，其中L2及以上的功能渗透率是40%以上。右边可以看到用户在购买车辆的时候，越来越看重的是辅助驾驶，尤其是高级别辅助驾驶带来的疲劳环节，包括解放双手的功能，会形成很强的购买车辆的意愿参考。
趋势非常明显，在当然的时间节点，我们认为轻舟已具备了天时、地利、人和这三个重要因素。
“天时”就是大的行业趋势，做的产品会越来越受到用户的接受和欢迎。
“地利”是跟广大的上下游合作伙伴达成深入合作，无论是软件、硬件还是主机厂。特别要提到的一点是跟地平线的深入合作，双方已经达成了很深的生态和战略合作。轻舟目前专注于在征程5的平台上做城市NOA开发。
“人和”是来自于轻舟这些年积累的L4经验，人才及研发体系。
集齐了这三个因素，轻舟非常有信心，能够把城市NOA做好。
在当前这个阶段，如何更快地把城市NOA做好？可以看一下当前辅助驾驶的主要配置方案，大致分成三类：
1.低配，主要在5000人民币以下的成本，用单目的方案解决高速场景的车道保持和自适应巡航，这个领域已经比较成熟了。
2.中配，成本会高一些，到将近1万的成本，以多目视觉为主，解决高速上NOA的功能。
3.高配，增加至少1颗激光雷达，以解决城市NOA的场景，成本会更高一些。
我们认为，当前最快的实现城市NOA的方式还是高配的方案，至少需要1颗激光雷达。
为什么会需要一颗激光雷达呢？大家也知道，中配的方案在国外就能实现城市很好的功能。但是，在国内场景上有很大差异的，无论是道路设计、交通拥堵状况、人车混行、施工情况、道路使用者规范性也不是使用很强，本身场景就比国外要复杂很多。
同时，在场景之中能看到很多情况，对于纯视觉是非常有挑战的。比如像有些人可能会扛着杆子，视觉能把人检测出来，但是杆子却看不到。还有地上经常坠落的未知障碍物，对视觉也是非常有挑战的。实际上，这些场景通过1颗激光雷达就可以解决的非常好。
在测试过程中碰到了路边突然放了一些建筑材料的情况，这种情况是平时开车很少碰到的，如果用纯视觉的话会带来很大的风险，但是激光雷达可以轻易绕开障碍物。
当然，还是要用发展的眼光看待自动驾驶技术的发展。我们认为随着技术的不断迭代，随着大量数据的回收，大量长尾问题的回收。相信纯视觉在未来的某个时间点也可以把城市场景解决的比较好。但是当前因为用户对于城市场景产品的需求特别急迫，再加上它是新事物新产品，希望它用到用户手中的时候是以一种比较安全的方式送达的。所以建议用带激光雷达的方案提供功能。
通过大量经验积累也注意到，最需要解决的感知方向主要在前方和侧前方，用1颗雷达放在车顶的方案就可以把这个问题解决的比较好，这种方式也是性价比最高的方式。当然了，考虑到很多车厂出于车型造型设计的考虑，可能会把雷达放在下面的某些位置。这样的话至少需要2-3颗，这种方案我们也是可以适配的。
城市NOA方案刚刚发布了名称，叫做“轻舟乘风”。接下来想和大家介绍一下技术上的优势，从感知到规划到数据驱动。
感知叫“超融合”方案，综合融合了多传感器不同的信息，并且实现了穿插的融合。说到融合，大家比较了解前融合、中融合、后融合。前融合主要指的是数据层面，中融合主要是特征层面，后融合是目标层面。不仅把前、中、后全部做进了系统里，同时也加入了时序融合。
以中融合为例，他是在特征层面上对来自激光雷达和相机的数据特征在BEV空间下进行了融合，把图像特征映射到BEV框架下，可以很自然的和点云特征进行融合，坐标器是全局坐标器，可以实现时序的融合。不仅可以提高感知的整体性能，同时也能实现对于周围物体方向、速度预测的输出。
非常高兴地宣布，我们把国内首个超融合模型部署在了量产方案中，已经在征程5的芯片上实现了部署。
说到大模型，这些年大模型的趋势非常明显。这里介绍下我们的感知大模型叫OmniNet，Omni的意思是无所不能的，把各种传感器的输入通过前融合的方式进行特征提取，在BEV下进行中融合的特征匹配融合，之后在BEV之下再输出检测、分割等多任务的感知结果。同时，在图像空间也会输出2D检测、分割等结果，一个模型就可以实现感知所有任务的输出。
OmniNet模型有3个优点：
（1）感知更精准
（如图所示）左边是在BEV之下的感知结果，右边是在图像空间中的输出，像2D监测、分割、深度估计。还可以进一步把2D检测下的结果（深度、语义分割）合在一起，形成三维的重建结果，这对于解决未知障碍物是很有帮助的。
同时，如果拿掉激光雷达的话，用纯视觉也可以实现很好的BEV结果。左侧是只用6个相机就能实现很好的检测结果。当然，如果有雷达的话，做中融合的效果也会更好。BEV确实能带来很大的优势，可以天然地把跨相机的特征融合在一起，这样就能解决掉大型车辆单路相机看不全，会有极端的闲心，通过跨相机的融合可以对大物体（卡车、公交车）识别做得更好。同时，可以实现点云和图像的融合，以及时序融合。
（2）车端更适配。
以前传统模型的模式有算力浪费，把多个模型并成一个模型之后，会形成多个任务共享一个主干网络，就是Backbone特征提取部分，把算力降低60%以下，很方便地部署在算力有限的车辆之上。
同时，对传感器的配置非常灵活，不论是1颗、2颗、3颗激光雷达，甚至是纯视觉，都可以用这个框架进行开发部署。
（3）迭代更高效。
大模型天然非常适合用数据去驱动，我们开发了大量的自监督、半监督、弱监督的框架。使得可以充分挖掘数据中的价值，通过无需人工标注的方式把数据中可学的部分学到。同时，还有数据合成处理很多长尾的问题。
刚才介绍的是感知，在城市NOA的场景下，决策规划的能力是定高下的。
介绍一大亮点，在做决策规划时用的是时空联合规划算法，优势在什么地方呢？举一个例子。
左边是超车的场景，传统是用时空分离的方法做规划优化，先从空间上搜索一条路径来，之后在路径之上搜索速度的结果。这种分开式的优化，解空间比较小，很多时候搜不到最优解，往往需要通过大量规则，hack的方式才能把场景处理掉，这种方式扩展性比较差。
轻舟采用的是“时空联合规划”的方法，同时搜索空间和时间的结果，解空间就会大很多，在复杂动态场景下往往能搜出最优解来，甚至某些场景下比人类的行为做得更好、更舒适、更安全。
当然，好的决策规划也离不开好的预测，预测也是很先进的模型，能输出周围物体10s的预测轨迹，同时可以支持数百个物体的预测。针对征程5芯片做了大量的适配优化，只需要20毫秒就可以跑完预测。
模型这两年参加了一些比赛，像CVPR里的Argoverse是世界顶级的比赛，去年拿了冠军，今年拿了亚军，证明了模型的能力。
最后，分享关于数据驱动的优势和思考，大家知道，城市场景非常复杂，用规则肯定解决不掉，肯定是用数据驱动的方式来让能力越来越强。
轻舟作为一家L4公司，已经积累了数百万公里的测试数据，基于数据有大量长尾数据采集。同时，之后会跟车厂达成深度合作，通过量产车的数据回收把更多的海量数据收回来。
但是数据回收是一部分，想把数据给用好需要很好的工具链。轻舟经过将近四年的开发，已经把数据的供应链做得非常完善。目标是把数据中的“黄金”给挖出来，需要一整套数据链路。通过数据链路，随着数据的回收，形成自动化的数据闭环。这样后面无论做新的车型还是新的场景，就变成了自驱动的方式，极大地降低开发的成本。
举个例子，数据挖掘就是从数据中挖掘黄金，有时候处理长尾问题，之所以长尾，因为很少见，需要把它从海量数据里找出来。会碰到一些人从车里打开车门走出来，这个例子对于车门的检测，对于人行为的预测是比较有挑战的。发现它是长远问题之后，就通过挖掘工具从数据库里把类似的场景都挖出来，之后会送到模型里训练，解决问题。再之后，通过仿真工具验证这个问题已经得到很好的解决，形成了闭环。
这里展现的是单颗激光雷达用在城市中实现的功能demo，包括像白天的高架，晚上的高架下面，包括跟大车的博弈，包括拥堵的路段，包括停车场的场景。
最后，很高兴地宣布，轻舟将率先推出基于地平线征程5的城市NOA解决方案，请大家期待！
再说一下价值主张，基于数据，成于感知，用对强的决策规划来引领城市NOA的新高度。同时，携手生态伙伴，打造使用范围最广的自动驾驶解决方案。
分享一下关于智能驾驶的世界观，提出一个新的概念叫“小四化”， “新四化”大家很熟悉，是电动化、智能化、共享化、网联化。但对于智能化提出“小四化”：
第一是让入门体验标配化。也就是不断地把最成熟的基本驾驶功能模块化，不需要车企花费额外的适配成本，能够快速上车，成为每辆车的标配。
第二是让终端体验标准化。是正在发生的阶段，包括NOA功能的标准定义，不同车辆、不同车型对于NOA的实现会有差异化，使得用户对于车辆行为的预测不是很标准，不同车辆的驾乘体验也不是很一致，应该标准化中配的体验。
第三是让高端体验大众化。目前高端体验只是在高端的车型上部署，随着硬件方案的迭代，成本下降，随着技术方案的迭代，我们认为高端方案一定会越来越大众化，装配率应该越来越高，应该会下沉到终端车型甚至低端车型上去，这也是很大的趋势。
第四是让极致体验革新化。相信未来L3、L4一定可以实现，L3一定能解锁新的场景和体验。比如说在某些特定场景下，可以真正解放双手双眼，实现出行真正意义上的革新。
