本发明提供了一种车辆行为的智能分析方法及系统,相应的方法包括收集包含车辆的样本集和不包含车辆的背景样本集,并选择预定的Haar矩形特征通过AdaBoost算法进行离线训练,获得能够从复杂背景中检测出车辆的级联分类器;获取视频资源,通过级联分类器对视频资源进行检测标识出图像中的车辆;将标识的车辆作为有标识的正样本构造车辆检测器,通过光流法实现对每个车辆的跟踪,得到每个车辆的运动轨迹;检测出视频资源中的交通标志,并结合交通标志对车辆的运动轨迹进行分析,确定车辆是否存在违规行为。本发明能够实现在复杂的场景以及动态的视频中对车辆进行跟踪,并确定车辆的行驶是否存在违规行为。