# TSAD_evaluator TSAD_evaluator是一个用于评估各类时间序列异常检测(Time Series Anomaly Detection) 算法的框架，主要目的是能让研究人员专心于实现算法，而无需关心其他例如数据集处理、评估、可视化等流程，将算法之外的流程标准化、简易化、可配置化，其特性主要有以下几点： - **可扩展**：内置对多种数据集的支持，将多种数据集处理成统一格式 - **可视化**：将数据和结果持久化存储到influxdb，用grafana进行可视化 - **通用性**：适配各类算法以及应用场景，只需实现相应的接口即可 - **简易性**：支持一键脚本化运行，快速评估单个算法/多个算法在一个数据集/多个数据集上的结果 - **全面性**：提供通用评价指标、针对时序数据设计的评价指标、自研指标、性能指标对算法进行全方位评估 ## 目录 - [系统介绍](#系统介绍) - [数据集支持](#数据集支持) - [可视化支持](#可视化支持) - [算法抽象](#算法抽象) - [检测流程标准化](#检测流程标准化) - [效果评估](#效果评估) - [如何使用](#如何使用) - [安装所需依赖](#安装所需依赖) - [导入数据集](#导入数据集) - [实现算法](#实现算法) - [评估算法](#评估算法) - [拓展实现](#拓展实现) - [对聚合函数的扩展](#对聚合函数的扩展) - [对自动确立阈值方法的扩展](#对自动确立阈值方法的扩展) - [对评价指标的扩展](#对评价指标的扩展) - [联系方式](#联系方式) - [参考文献](#参考文献) ## 系统介绍 <!-- 这边是不是应该有一张overview，整个系统的模块图 --> ### 数据集支持 在TSAD_evaluator中，Dataset代表一个数据集，而一个数据集下会有多个时间序列数据TimeSeries，我们把TimeSeries处理成统一的格式: ``` timestamp col1 col2 ... colN ``` - 其中N是时间序列的维度，对于单维度的时间序列数据N=1 - 如果原来的数据集中有timestamp，则会沿用；否则会从2022-01-01 00:00:00开始认为每一分钟一个点的方式填充时间戳 目前已经支持的数据集 <!-- 之后可以显示下这些数据集的维度信息、点数、异常率等等，搞个表格--> | 数据集 | 维度| 时间序列数| 总采样点数 | 总异常点数 | 异常比例| |-----------------------------------------------------------------------------------------------------|----|-------|---------|--------|----------| | [Yahoo](https://webscope.sandbox.yahoo.com/catalog.php?datatype=s&did=70) | 1 | 367 | 572966 | 3915 | 0.68% | | [KPI](https://github.com/NetManAIOps/KPI-Anomaly-Detection) | 1 | 29 | 5922913 | 134114 | 2.26% | | [Industry](https://github.com/OpsPAI/ADSketch) | 1 | 70 | 695293 | 7614 | 1.10% | | [UCR](https://wu.renjie.im/research/anomaly-benchmarks-are-flawed/#ucr-time-series-anomaly-archive) | 1 | 250 | 19353766 | 49363 | 2.55% | | [SMD](https://github.com/NetManAIOps/OmniAnomaly) | 38 | 28 | 1416825 | 29444 | 2.08% | | [JumpStarter](https://github.com/NetManAIOps/JumpStarter) | 19 | 60 | 777600 | 55101 | 7.09% | | [SKAB](https://github.com/waico/SKAB) | 9 | 34 | 37401 | 13067 | 34.94% | | [PSM](https://github.com/eBay/RANSynCoders) | 26 | 1 | 220322 | 24381 | 11.07% | > 打算但是暂未支持的数据集：NAB，SMAP，MSL，SWaT、WADI ### 可视化支持 我们提供对数据、检测结果包括中间结果的一些可视化支持，主要原因是: - 研究算法前：可以了解数据集的特点（是否是周期性、为什么是异常、异常的密度如何等信息），也能启发研究者想出针对的解决方案 - 研究算法中：观察算法的中间输出（例如预测类算法可以输出每个点的预测值），从而对算法拟合的效果有所了解（可能欠拟合or过拟合），可以进一步调优 - 研究算法后：直观了解算法对一个序列的检测结果（一般是检测分数）是否契合异常标注（而不仅仅是依赖评估指标的数字），并且可以与其他算法的结果进行对比 但为了减少依赖，避免该框架过于冗余，我们选择将数据和结果全部持久化到[Influxdb](https://github.com/influxdata/influxdb) ，然后用[Granfana](https://github.com/grafana/grafana) 来展示其中的数据，目前我们新建了5个Dashboard来展示特定的界面： - 原数据查看：查看「选定数据集」的「选定时间序列」的统计信息、时间序列信息、标签  - 检测结果查看：查看「选定算法」在「选定数据集」的「选定序列」上的异常分数、中间结果、检测耗时和指标   - 检测结果对比：查看「多个选定算法」在「选定数据集」的「选定序列」上的异常分数、检测耗时和指标对比  - 数据集结果查看：查看「选定算法」在「选定数据集」下的整体检测指标和「各个序列」的检测指标  - 数据集结果对比：查看「多个选定算法」在「选定数据集」下的整体检测指标的对比  ### 算法抽象 我们根据输入的数据维度、训练是否需要有标注数据、应用场景将一个检测算法解耦，拆成三个可灵活组合的模块: - 输入的数据维度：单维度/多维度 - 训练是否有标注：有监督/无监督/无需训练 - 应用场景：离线/流式/触发式 > 关于触发式 > - 定义：主要是对于某些时间序列数据，我们只对它在**特定时间范围**内有没有发生异常感兴趣，而不需要算法在每个时间点给出它是否异常或者异常分数，这在某些故障定位场景（而不是故障发现）中是比较常见的 > - 实现：需要输入窗口大小和正负样本比例，我们对于测试集中的每一个（段）异常，都挑选其开头前后共计窗口大小的数据作为正例，然后再按照正负样本比例采样若干完全正常的数据作为负例组成触发异常检测的**时间范围**，在前端会用蓝色区域标识我们选择的区间 实现算法时，需根据每一模块所属的具体类别继承特定的类，实现其中的接口即可 ### 检测流程标准化 除了基本的算法外，我们也提供将单维度检测算法应用于多维度数据集以及多个算法集成的功能，思路比较简单，具体来讲就是通过提供一个聚合函数，可以把单个算法在不同维度的检测结果 / 不同算法在同一数据集上的检测结果聚合成一个最终的检测结果，该聚合函数可以自定义（内置了取max和取mean）并且配置 因此总体来讲，对于一个「特定算法」在「特定时间序列数据」上的检测，我们有以下几步: 1. 训练：根据算法所需数据喂给算法 2. 对于触发式，要根据配置生成正负例 3. 预测：根据算法应用场景进行预测 1. 离线：把测试数据全部喂给算法，得到检测的异常分数 2. 流式：每次喂一个时间点的数据给算法，拼接起来得到检测的异常分数 3. 触发式：将第2步中生成的**时间范围**以及一个获取历史数据的接口（具体获取多少依赖于算法内部调用）逐个喂给算法，得到一个检测的异常分数