基于投影统计与双曲线拟合的车道识别算法

王其东1.2 魏振亚1 王乃汉1 陈无畏1 谢有浩3

1.合肥工业大学汽车与交通工程学院,合肥,230009 2.合肥学院,合肥,230601 3.安徽猎豹汽车有限公司,滁州,239064

摘要提出了一种运用投影统计与双曲线拟合的车道线识别方法。首先对采集的图像进行预处理,利用车道线宽度等信息提取车道线的特征点;然后根据特征点的位置及方向角分布对消失点进行定位,并基于消失点位置提取近视场直道模型,再结合直道模型对当前车道进行补充;最后利用近视野车道直线信息和双曲线拟合,对存在弯曲车道的车道线进行车道线寻优。实验结果表明,提出的算法能有效检测不同曲率的车道线,所提出的车道检测方法准确率高,在复杂行驶环境下表现出较高的鲁棒性。

关键词车道线识别;投影统计;双曲线;实时性

0 引言

车道识别是车辆辅助驾驶系统的重要组成部分,在自主导航系统和车道偏离辅助系统中发挥至关重要的作用。其中,弯道车道线的准确获取对车道保持系统的转向控制或弯道车速自适应控制系统的纵向运动控制尤为重要[1-3]。目前弯道车道线的检测算法主要有以下两类。

(1)基于特征的方法。主要利用道路的图像特征,如边缘[4-7]、颜色[8-10]、纹理方向[11]等,利用特征将图像分割成几个部分,根据分割之后的结果,利用相应算法得到道路的表达式。CHENG等[12]对RGB图像的每种颜色通道做了线性的操作分析,对公路以及路面标志的颜色分布进行分析,将提取车道线区域划分出来,从而获取车道线。该方法对道路形状的适应性比较好,但是受外界因素影响较大。ALY[13]基于 Hough 变换统计特征点灰度直方图,在直线约束框中进行 RANSAC 验证以提取车道线,能满足实时性要求,对于直车道具有很好的鲁棒性,但是在弯车道和车道污损等条件下鲁棒性降低。

(2)基于模型的方法。采用很少参数的直线模型[14-15]或者二次曲线模型[16-18]等来代表道路边界,该方法可有效去除噪声,并且对噪声或断裂的车道线具有更好的鲁棒性。主要分为3个步骤:建立道路模型、提取车道线像素、拟合车道模型。常用模型有:直线模型[19-20]、同心圆曲线模型、多项式模型(二次曲线和抛物线)[21-23]等。可以对左右车道线分别建立模型,也可以将图像分为远近区域,建立分段直线模型。毕雁冰等[22]用 LMedSquare曲线拟合技术进行弯曲车道线检测,此方法的缺点是在拟合时需要的数据点较多且计算量较大。

针对上述情况,本文提出了一种基于投影统计和双曲线模型的车道线识别算法,研究了该算法在实际路况中的车道线快速检测中的应用。

1 车道线检测流程

本文的弯曲车道识别算法见图1。首先对采集的图像进行预处理,包括滤波处理和边缘检测等。再由预处理后的照片筛选满足预设条件的车道线特征点,并提取近视场的车道线,得到车道宽度信息完成模型匹配。若近视野车道线提取成功,说明道路中有车道线,此时可以直接进行下一个检测环节,若车道线提取不成功则对下一帧图片进行提取。使用双曲线模型描述弯道,并对弯曲道路中的车道线进行参数寻优。

图1 车道线检测算法流程图
Fig.1 Flow chart of the proposed lane detection algorithm

2 图像预处理

2.1 灰度化

首先需要将彩色图像转换为灰度图像,实验采集的图像大小为640像素×480像素。因为车道线一般是黄色和白色,而且绿色的信道和红色的信道与白色和黄色之间有着鲜明的对比,所以采用RGB颜色空间模型:

F=t1R+t2G+t3B

(1)

其中,R代表红色分量;G代表绿色分量;B代表蓝色分量。本文实验中取t1=0.5,t2=0.5,t3=0,适合车道线的检测。实验结果见图2。

图2 图像灰度化
Fig.2 Image gray processing

2.2 划分感兴趣区域

为了提高算法的实时性,同时减少非车道区域检测带来的噪声对结果的影响,在图像平滑滤波和边缘检测阶段前划分感兴趣区域(region of interest, ROI),这里将感兴趣区域分为初帧检测ROI和车道线识别成功时跟踪ROI两类。当上帧图片未检测出车道线时,根据车辆行驶在车道上时左右侧车道线出现在像素坐标下的极限位置划分初始预处理ROI;当上帧车道线检测成功时根据消失点位置划分预处理ROI。

预处理阶段ROI左右侧车道线极限位置如图3所示,左侧车道线极限位置为右侧车道线处于像素坐标系中央时对应的位置,右侧车道线极限位置为左侧车道线处于像素坐标系中央时对应的位置。

像素坐标下两极限位置车道线方程为

(2)

其中,φ为摄像机安装俯角;H为摄像机安装高度;dmax为左右侧车道线极限位置与道路中心的距离,左侧车道线取单个最大车道宽度负值,右侧取单个最大车道宽度正值;(xv,yv)为消失点位置,初帧检测时取道路消失行和图像左右侧中间位置。ROI的上下位置被限定在消失线以下和车头线以上,最终预处理的ROI为图3标示区域。

图3 感兴趣区域划分
Fig.3 Definition of ROI

2.3 双边滤波

由于双边滤波较高斯滤波具有更好的边缘保存效果,所以本文对MN列的图像采用双边滤波以减少噪声点的干扰,M=640,N=480。

在双边滤波器中,输出像素的值依赖于邻域像素值的加权值组合,即

(3)

w(i,j,k,l)=d(i,j,k,lr(i,j,k,l)

(4)

i∈(0,M) j∈(0,N)

其中,k,l为像素所在的位置;f(k,l)为其对应的强度;w(i,j,k,l)为加权系数,取决于定义域核和值域核的乘积;σd,σr分别为定义域和值域的方差;d(i,j,k,l),r(i,j,k,l)分别为定义域核和值域核。

3 近视野直线型车道线检测

3.1 车道线特征点提取

通过Canny算子计算得到车道线特征点,并由梯度方向对车道线特征点进行筛选。首先对图像进行逐行扫描处理,对左侧车道线依照行的顺序进行搜索,直到搜索到满足设定阈值的最大图像梯度上升沿,然后继续找寻和它相邻的最大图像梯度下降沿。采用相同的方法寻找右侧车道线与其相邻的最大图像梯度下降沿。遍历搜索结果见图4。

图4 车道线特征点筛选
Fig.4 Lane edge point screening

3.2 消失点检测

由于消失点(即灭点)像素行位置已经确定在消失线上,即xv已知,因此只需检测消失点的列位置yv。采用投票算法确定列位置:

(5)

其中,vote Γ(xv,yj)为投影空间;xv代表消失点的x轴坐标;f(xi,yj)代表(xi,yj)车道线特征点处的方向角;f(xv,yj)代表候选消失点与特征点之间连接线的方向;σ1为方向角度偏差的阈值。当梯度差值满足阈值σ1时,则认为是车道线的特征点,在投影空间相对应的单元进行投票,即vote Γ(xv,yj)vote Γ(xv,yj)+1,如此循环,直至完成整个感兴趣区域的遍历。消失点即得票最多的候选消失点,其坐标为

yv=max(vote Γ(xv,yj))

(6)

根据该投票算法统计的结果见图5,消失点见图6。

图5 车道消失点检测
Fig.5 Lane vanishing point detection

图6 车道消失点提取
Fig.6 Lane vanishing point extraction

3.3 直道模型提取与匹配

当消失点被检测到以后,再针对部分车道线特征点进行方向角统计和分类(这些特征点此前投票于消失点):

vote θ(xi,yj)=

(7)

其中,(xi,yj)为ROI中的点;vote θ(xi,yj)为方向角投票空间;f(xi,yj)∈max(vote Γ(xv,yj))为投票到消失点处的方向角梯度,否则为不属于投票到消失点处的方向角梯度。通过对消失点处不同方向角投票数进行排序即可获得左右车道线的梯度信息,即

αl=max(vote θ1(xi,yj))

(8)

αr=max(vote θ2(xi,yj))

(9)

式中,αlαr分别为左右车道线的方向角。

方向角统计结果见图7。

图7 角度检测
Fig.7 Gradient of lane edge points detection

由消失点坐标和左右车道方向角信息即可获得直道参数,直线提取结果见图8。

图8 直道提取
Fig.8 Straight lane extraction

利用车道宽度判断函数进行直道模型匹配,如下所示:

(10)

式中,KlKr分别为左右侧直线的斜率;d为标准车道宽度;λ为宽度阈值。

若某侧车道线缺失则根据前帧检测结果基于车道宽度补充相应的车道线。不同路况下的候选车道线搜索结果见图9。

图9 模型匹配与补缺
Fig.9 Model matching and lane supplement

3.4 弯曲车道检测

当前方出现弯曲道路时,由获取的近视场直道模型进行弯曲车道检测,以获取更准确的道路信息。检测流程见图10。

图10 检测流程图
Fig.10 Flow chart of detection

按照我国高速公路的设计要求,当车道由大地坐标系经过多重坐标系转换投影到像素坐标系下时,得到的车道线方程如下[24]

(11)

其中,K1K2可通过摄像机参数及安装位置计算获得。

寻优过程见图11,以式(11)中不同的K1K2值所对应的双曲线边缘点个数为评判指标,边缘点越多,表征的弯道效果越好,选取边缘点最多的参数值作为最优解。

图11 车道线参数寻优分布图
Fig.11 Distribution of lane line parameters

4 实验验证

为验证本文算法的可靠性和实时性,进行道路实车实验。系统布置见图12,选用MCIMX6Q5E为开发平台的主处理器,通过开发板显示屏观测检测结果。

图12 实验系统布置示意图
Fig.12 Schematic diagram of experimental system layout

检测结果见图13和表1。结果表明,本文提出的算法受车辆颠簸以及道路不清晰等情况的干扰较小,在强光、雨雾天气下都能较好地检测并跟踪车道线。本系统以每秒35帧的速度采集并处理像素为640像素×480像素的图像,在结构化道路中不同路况下的平均识别率能达到91% 以上。

图13 不同天气路况的检测结果
Fig.13 Test results of different conditions

表1 不同状况下的车道线识别率

Tab.1 Lane detection rate under different conditions

道路状况总帧数识别率(%)晴天结构化道路13 00096.43雨雾天气12 00084.50遮挡干扰车道9 00093.12大曲率道路4 00092.20

5 结论

(1)本文提出通过对消失点与方向角进行检测,在近视野区域对当前车道的左右侧直线型车道线进行识别,并提出模型匹配的方法对车道线进行补充,可有效提高算法的准确性。

(2)采用双曲线模型提取存在弯曲道路的车道线,利用近视野车道直线信息对弯曲车道线进行车道线寻优,提高了算法的实时性与准确性。

(3)实车实验结果表明,本文算法在结构化道路不同路况下的平均识别率能达到91%以上,具有良好的准确性与实时性,且能有效抑制噪声干扰。

参考文献

[1] 郭磊, 李克强, 王建强, 等. 应用方向可调滤波器的车道线识别方法[J].机械工程学报, 2008,44(8):214-218.

GUO Lei, LI Keqiang, WANG Jianqiang, et al. Lane Detection Method by Using Steerable Filters[J]. Journal of Mechanical Engineering, 2008,44(8):214-218.

[2] 王家恩, 陈无畏, 王檀彬,等. 基于期望横摆角速度的视觉导航智能车辆横向控制[J]. 机械工程学报, 2012, 48(4):108-115.

WANG Jiaen ,CHEN Wuwei ,WANG Tanbin , et al. Vision Guided Intelligent Vehicle Lateral Control Based on Desired Yaw Rate[J]. Journal of Mechanical Engineering, 2012, 48(4):108-115.

[3] YAN X P, ZHANG R, JIE M, et al. Considering Variable Road Geometry in Adaptive Vehicle Speed Control[J]. Mathematical Problems in Engineering, 2013, 2013(30): 1-12.

[4] JU Q, FORSTHOEFEL D, AZMAT S, et al. Path Mark: a Novel Fast Lane Detection Algorithm for Embedded Systems[C]//International Symposium on Information Science and Engineering. Shanghai: IEEE Computer Society, 2012: 68-73.

[5] 易世春,李克强,郭君斌,等. 基于边缘分布及特征聚类的车道标记线检测[J].汽车工程, 2014,6(10): 1210-1215.

YI Shichun, LI Keqiang, GUO Junbin, et al. Lane Marker Detection Based on Edge Distribution and Feature Clustering[J].Automotive Engineering, 2014,36(10): 1210-1215.

[6] LIN Q, HAN Y, HAHN H. Real-time Lane Departure Detection Based on Extended Edge-linking Algorithm [C]//2nd International Conference on Computer Research and Development. Kuala Lumpur: IEEE Computer Society, 2010: 725-730.

[7] SON J, YOO H, KIM S, et al. Real-time Illumination Invariant Lane Detection for Lane Departure Warning System[J]. Expert Systems with Applications, 2015, 42(4): 1816-1824.

[8] YOO H, YANG U, SOHN K. Gradient-enhancing Conversion for Illumination-robust Lane Detection[J]. IEEE Transactions on Intelligent Transportation Systems, 2013,14(3):1083-1094.

[9] MA Chao, XIE Mei. A Method for Lane Detection Based on Color Clustering[C]// International Conference on Knowledge Discovery and Data Mining. Phuket: IEEE Computer Society, 2010:200-203.

[10] CHENG H Y, JENG B S, TSENG P T, et al. Lane Detection with Moving Vehicles in the Traffic Scenes[J]. IEEE Transactions on Intelligent Transportation Systems, 2006,7(4):571-582.

[11] RODOLFO T E, MIGUEL T T. A Comparison of Gradient Versus Color and Texture Analysis for Lane Detection and Tracking[C]// Latin American Robotics Symposium. Valparaiso: IEEE Computer Society, 2009:1-6.

[12] CHENG H Y, JENG B S, TSENG P T, et al. Lane Detection with Moving Vehicles in the Traffic Scenes[J]. IEEE Transactions on Intelligent Transportation Systems, 2006, 7(4):571-582.

[13] ALY M. Real Time Detection of Lane Markers in Urban Streets[C]// Intelligent Vehicles Symposium. Eindhoven: IEEE, 2008:7-12.

[14] LIU G, WORGOTTER F, MARKELI I. Combining Statistical Hough Transform and Particle Filter for Robust Lane Detection and Tracking[J]. Intelligent Vehicles Symposium Ⅳ, 2010, 44(1):993-997.

[15] KUK J G, AN J H, KI H, et al. Fast Lane Detection & Tracking Based on Hough Transform with Reduced Memory Requirement[C]//IEEE Conference on Intelligent Transportation Systems. Madeira Island, 2010: 1344-1349.

[16] LIM K H, SENG K P, ANG L M. River Flow Lane Detection and Kalman Filtering-based B-spline Lane Tracking[J]. International Journal of Vehicular Technology, 2012:465819.

[17] 王科, 黄智, 钟志华. 基于不定Bezier变形模板的城市道路检测算法[J]. 机械工程学报, 2013, 49(8):143-150.

WANG Ke, HUANG Zhi , ZHONG Zhihua. Algorithm for Urban Road Detection Based on Uncertain Bezier Deformable Template.[J]. Journal of Mechnical Engneering, 2013, 49(8):143-150.

[18] PARK J W, LEE J W, JHANG K Y. A Lane-curve Detection Based on an LCF[J]. Pattern Recognition Letters, 2003, 24(14):2301-2313.

[19] SON J, YOO H, KIM S, et al. Real-time Illumination Invariant Lane Detection for Lane Departure Warning System[J]. Expert Systems with Applications, 2015, 42(4): 1816-1824.

[20] LIN Q, HAN Y, HAHN H. Real-time Lane Departure Detection Based on Extended Edge-linking Algorithm[C]// 2nd International Conference on Computer Research and Development.Kuala Lumpur: IEEE Computer Society, 2010:725-730.

[21] WANG Y, SHEN D, TEOH E K. Lane Detection Using Spline Model[M]// Pattern Recognition Letters. Amsterdam: Elsevier Science Inc., 2000: 677-689.

[22] 毕雁冰, 管欣, 詹军. 车道识别过程中搜索车道线的方法[J]. 汽车工程, 2006, 28(5):439-442.

BI Yanbing, GUAN Xin, ZHAN Jun. A Method of Mark Line Searching in Lane Detection Process[J]. Automotive Engineering, 2006, 28(5):439-442.

[23] CHEN Q, WANG H. A Real-time Lane Detection Algorithm Based on a Hyperbola-pair Model[C]// Intelligent Vehicles Symposium. Tokyo: IEEE, 2006: 510-515.

[24] WANG Y, TEOH E K, SHEN D. Lane Detection and Tracking Using B-snake[J]. Image & Vision Computing, 2004,22(4):269-280.

Lane Detection Algorithm Based on Projection Statistics and Hyperbolic Fitting

WANG Qidong1,2 WEI Zhenya1 WANG Naihan1 CHEN Wuwei1 XIE Youhao3

1.School of Automotive and Transportation Engineering, Hefei University of Technology, Hefei, 230009 2.Hefei University, Hefei, 230601 3.Anhui Leoparrd Automobile Co., Ltd., Chuzhou, Anhui, 239064

Abstract:A lane detection algorithm was proposed based on projection and hyperbolic fitting. Firstly, the collected images were preprocessed, and the feature points of lane marks were extracted by the informations such as the widths of lane lines. Secondly, the vanishing points were located according to the positions and the direction angles of feature points, lanes of near field were extracted based on the vanishing points, and then supplemented the lane. Finally, lanes of near field information and hyperbolic fitting were used to find the best lanes where there were a crooked road. The experimental results show that the algorithm proposed herein may effectively detect the lanes with different curvatures, and the proposed lane detection method has high accuracy rate. The algorithm exhibits high robustness under various environments.

Key words: lane detection; projection statistics; hyperbolic; real-time performance

中图分类号TP391.41

DOI:10.3969/j.issn.1004-132X.2019.04.003

开放科学(资源服务)标识码(OSID):

收稿日期2017-09-05

基金项目国家自然科学基金资助项目(51375131);国家自然科学基金联合基金资助项目(U1564201);安徽省科技重大专项(17030901060);江苏省道路运载工具新技术应用重点实验室开放课题资助项目(BM20082061703)

(编辑 王旻玥)

作者简介王其东,男,1962年生,教授、博士研究生导师。研究方向为车辆动力学与控制。发表论文80余篇。E-mail: qidongwang1964@163.com。