自然环境下，汽车图像背景复杂、光照不均匀，如何在自然背景中准确地确定牌照区域是整个识别过程的关键。对采集到的视频图像进行大范围相关搜索，找到符合汽车牌照特征的若干区域作为候选区，然后对这些侯选区域做进一步分析、评判，后选定一个佳的区域作为牌照区域，并将其从图象中分割出来。
完成牌照区域的定位后，再将牌照区域分割成单个字符，然后进行识别。字符分割一般采用垂直投影法。由于字符在垂直方向上的投影必然在字符间或字符内的间隙处取得局部小值的附近，并且这个位置应满足牌照的字符书写格式、字符、尺寸限制和一些其他条件。利用垂直投影法对复杂环境下的汽车图像中的字符分割有较好的效果。
采用计算机视觉技术识别车牌的流程通常都包括车辆图像采集，车牌定位，字符分割，光学字符识别，输出识别结果5个步骤。车辆图像的采集方式决定了车牌识别的技术路线。目前国际ITS通行的两条主流技术路线是自然光和红外光图像采集识别。自然光和红外光不会对人体产生不良的心理影响，也不会对环境产生新的电子污染，属于绿色环保技术。
