本项目借鉴生物视觉机理,特别是人视觉皮层信息处理的多层、任务共享、上下文融合等特性，利用近年来发展起来的深度学习方法作为主要工具，并以项目组近年在计算机视觉和深度学习领域取得的各项成果为基础,研究开发基于深度神经网络的交通环境的解析和理解方法，研究车道的分割、路牌的检测与识别、场景的分类等方法，研究基于深度联合优化的行人和车辆检测方法。项目取得的主要成果包括以下几个方面：

   1）提出利用全卷积神经网和反卷积神经网络进行交通场景解析，通过多尺度融合全局和局部特征，优化网络结构设计提高解析效果。利用KITTI-ROAD数据库对所开发的模型进行验证，取得了良好的效果。

   2）提出区域共生特征用于场景和纹理分类，该方法速度很快，仅仅需要30ms,就可处理一副图像。开发混合卷积神经网络，该网络融合卷积和全连接层特征，判别性更强，在多个大规模场景分类数据库如SUN，MIT-Indoor取得世界先进的识别率。

   3）提出融合深度网络模型 用于行人检测，在标准行人检测数据集Caltech和ETH上，取得较传统方法更好的结果。提出基于卷积神经网络的场景文字检测方法，在国际公用数据库ICDAR2005 和 ICDAR2011 上,取得较传统方法更好的评测结果。训练了一个7层的卷积神经网络模型用于交通标识识别，在GTSRB测试数据集上取得98.9%的分类准确率。

   4）提出融合多种局部特征，视频的多视角超向量表示方法，在视频行为识别中取得了良好的效果。提出Dynamic poselet模型用于视频中人的姿态检测。