完成牌照区域的定位后，再将牌照区域分割成单个字符，然后进行识别。字符分割一般采用垂直投影法。由于字符在垂直方向上的投影必然在字符间或字符内的间隙处取得局部小值的附近，并且这个位置应满足牌照的字符书写格式、字符、尺寸限制和一些其他条件。利用垂直投影法对复杂环境下的汽车图像中的字符分割有较好的效果。
实际应用中，牌照识别系统的识别率与牌照质量和拍摄质量密切相关。牌照质量会受到各种因素的影响，如生锈、污损、油漆剥落、字体褪色、牌照被遮挡、牌照倾斜、高亮反光、多牌照、假牌照等等；实际拍摄过程也会受到环境亮度、拍摄亮度、车辆速度等等因素的影响。这些影响因素不同程度上降低了牌照识别的识别率，也正是牌照识别系统的困难和挑战所在。为了提高识别率，除了不断的完善识别算法，还应该想办法克服各种光照条件，使采集到的图像利于识别。
一个车牌识别系统的后台管理体系，决定了这个车牌识别系统是否好用。清楚地认识到重要的一点是识别率达到是不可能的，因为车牌照污损、模糊、遮挡，或者天气也许很糟（下雪﹑冰雹﹑大雾等等）。后台管理体系的功能应该包括：
1、识别结果和车辆图像数据的可靠存储，当多功能的系统操作使得网络出差错时能保护图像数据不会丢失，同时便于事后人工排查；
2、有效的自动比对和查询技术，被识别的车牌照号码要同数据库中成千上万的车牌号码自动比对和提示报警，如果车牌照号码没有被正确读取时就要采用模糊查询技术才能得出相对“佳”的比对结果；
3、一个好的车牌识别系统对于联网运行，还需要提供实时通信、网络安全、远程维护、动态数据交互、数据库自动更新、硬件参数设置、系统故障诊断。
