改变种监控姿势 基于深度学习+流处理的时序告警系统
发布时间：2022-06-04 09:18:36 所属栏目：安全 来源：互联网
导读：告警系统是运维人员的眼，是维护生产安全的第一层保障。传统基于规则的告警系统是通过同比、环比、差分、设置阀值等手段来判断当前指标是否存在异常，但往往不尽人意，存在维护成本高、准确率低等问题。随着人工智能的兴起，大数据运维也迎来了新的契机，同
|
告警系统是运维人员的“眼”，是维护生产安全的第一层保障。传统基于规则的告警系统是通过同比、环比、差分、设置阀值等手段来判断当前指标是否存在异常，但往往不尽人意，存在维护成本高、准确率低等问题。随着人工智能的兴起，大数据运维也迎来了新的契机，同时也对自身告警系统的实时性提出了更高的需求。 于是我们结合Tensorflow深度学习算法，基于大数据平台天然原生的分布式流处理框架Spark，打造了一套高覆盖性与强实时性的告警系统，有效的减少了人工规则的参与，并降低了维护成本。 引用一段百度文库对时序分析原理的介绍：“承认事物发展的延续性, 事物的现实是历史发展的结果，而事物的未来又是现实的延伸，事物的过去和未来是有联系的。时间序列分析预测法的哲学依据，是唯物辩证法中的基本观点，即认为一切事物都是发展变化的，事物的发展变化在时间上具有连续性。” 时序分析的过程分为以下三个操作步骤： 第一步：数据预处理; 第二步：核心指标分类; 第三步：选择算法训练模型。 下面对以上步骤展开叙述。 时序预测基于历史数据预测未来，历史数据中的“空值”、“异常值”将会极大的影响到预测的质量，因此在训练预测模型前需要对训练集时序数据进行清洗。可以先对数据绘图直观的看一下是否有周期性，然后对于空值采取补齐的方式，具体补齐方式可以根据原序列有明显周期性则可以用历史多个周期在这一个时间点的平均值，无明显周期性则可以用前后两点的均值代替，对于异常值同理。 （编辑：东莞站长网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
站长推荐