图1 百度地图ar导航功能展示
但在真实产业中，要实现高精度的驾驶环境感知不是一件容易的事，在实际的路况中存在着各种各样的问题：
摄像头采集到的图像会受到树木、建筑遮挡以及车辆移动的影响；
天气多种多样，要适应白天、黑夜、雾天和雨天等；
车道线磨损程度不一，且不同区域的车道线新旧对识别也有很大的影响。
针对上述场景，本次飞桨产业实践范例库基于真实场景中的车载影像数据，推出了目标检测和车道线分割多任务处理的智能驾驶感知实践示例，提供从数据准备、技术方案、模型训练优化，到模型部署的全流程可复用方案，有效解决了不同光照、不同天气等室外复杂环境下的目标识别问题，适用于ar地图导航、机器人教育、厂区自动巡检、自动驾驶等多个产业应用。
⭐项目链接⭐
https://github.com/paddlepaddle/awesome-deeplearning
所有源码及教程均已开源，欢迎大家star鼓励~
基于深度学习
实现驾驶环境感知
基于深度学习实现驾驶环境感知要对机动车、非机动车、行人以及交通信号灯(红灯, 黄灯, 绿灯,灭灯) 这7类对象进行目标检测, 同时对实车道线、虚车道线和斑马线3类目标进行分割, 并且要求检测速度不低于20 fps才能进一步端侧移植，因此，如何在有限算力下实现多任务的高精度识别将会是驾驶环境感知应用最核心的问题。
图2 场景识别目标说明
项目难点
任务多：需要同时解决检测和分割两个任务，选模型和优化时要权衡精度与速度两方面。
效率高：模型要尽量小，训练与预测速度要尽量快，在v100的平台至少实现20fps才能端侧移植。
项目方案
paddledetection中的pp-yolov2和飞桨图像分割套件。paddleseg中的hardnet模型作为baseline模型进行相应的优化，使用多进程异步处理，进一步提升了部署性能。
图3 baseline模型选择策略
方案优化
图4 场景说明
检测模型优化历程
数据处理：
1、数据为车载记录仪拍摄的道路画面，其目标均为交通目标，尺寸和比例相对稳定，但经常会受到光照、传感器噪声等因素影响，偶尔还会出现运动模糊，为此在数据增强过程中，调整randomdistort（随机像素替换） 中参数hue、saturation、contrast、brightness范围由到[0.8, 1.2]，从而使得模型收敛效率显著提升。
2、为了提高模型的泛化能力，针对车载摄像头的场景，在训练全过程中随机加入albumentations库中的jpegcompression(降画质) 、motionablur(运动模糊)、randombrightnesscontrast(亮度对比度)等数据增强的方法。
图5 数据增强策略说明
模型结构优化：
1、模型检测头复现，使用飞桨复现yolox decoupled head，相比之前的yolox head检测精度提升了2%。
图6 不同检测头的精度对比
2、在pp-yolov2的matrix nms的处理结果之后增加merge nms，增加保留框位置平滑策略(重叠框位置信息求解平均值)，使框的位置更加精确。
图7 更换nms后位置精度示意
分割模型优化
1、由于项目中数据为车载记录仪拍摄的道路画面，分割的语义都是地面标识，所以在大小、尺寸、色彩方面都相对稳定，因此数据增强不需要太多，只需要能体现一定的变化规律即可，同时为了避免随机裁剪过程中导致实车道线和虚车道线产生混淆，因此在数据中去掉了随机裁剪的数据增强方式。
2、调整模型分辨率:hardnet 1024 (w) * 1024(h) ->1056(w) * 608(h)，训练采用多尺度 。
项目效果
经过一系列的优化，模型实现了对驾驶过程中的机动车、行人、红绿灯、车道线等目标的识别，最终整体识别精度达到85%。
图8 效果展示说明
部署优化
图9 推理流程说明
部署方面使用飞桨原生推理库paddlelite进行部署，满足用户批量预测、数据安全性高、延迟低的需求，快速在本地完成部署方案，当前部署方案已经发布，欢迎小伙伴们使用尝试。
图10 安卓app示范
产业实践范例教程
助力企业跨越ai落地鸿沟
飞桨产业实践范例，致力于加速ai在产业落地的前进路径，减少理论技术与产业应用的差距。范例来源于产业真实业务场景，通过完整的代码实现，提供从数据准备到模型部署的方案过程解析，堪称产业落地的“自动导航”。
真实产业场景：与实际具有ai应用的企业合作共建，选取企业高频需求的ai应用场景如智慧城市-安全帽检测、智能制造-表计读数等；
完整代码实现：提供可一键运行的代码，在“aistudio一站式开发平台”上使用免费算力一键notebook运行；
详细过程解析：深度解析从数据准备和处理、模型选择、模型优化和部署的ai落地全流程，共享可复用的模型调参和优化经验；
直达项目落地：百度高工手把手教用户进行全流程代码实践，轻松直达项目poc阶段。
本文转载自网络,ag真人官方网的版权归原作者所有,如侵犯您的权益请联系wyl860211@qq.com,我们将第一时间删除。