一种视频异常行为检测系统，包括轨迹提取模块，功能是使用高斯混合模型提取人物轮廓得到轨迹序列；区域划分模块，功能是针对不同的需求，人工或者通过算法将检测视频背景划分为不同的区域，将这些背景块序列人工标定；条件随机场建模模块，功能是将划分的区域与对应轨迹相结合构造特征向量，将其用于CRF模型训练、估计参数；待测视频检测模块，最后通过上述类似方法获得测试序列的特征向量，利用之前估计得到的参数进行推断，计算属于不同异常行为的概率，取最大概率所属的异常行为作为分类。本发明提供具有良好的实用性和较高的分类正确率。
