本实践数据是基于电商网站——“苏宁易购”的业务访问流量,进行的深入数据挖掘。在此基础上,建立机器学习或统计算法模型,进行离线分析,选取最优模型,对流量波动趋势进行实时预测,实现智能化的异常流量预警。
1.1. 流量预测的价值
流量预测,是流控的重要环节,也是流控迈向智能化的关键一步。对苏宁易购而言,业务系统流量趋势的预测、异常流量的及时预警极为重要,它能够及时提醒用户验证是否有CC攻击、黄牛刷单、爬虫等危害企业网络正常经营活动的行为。
1.2. 流量预测的几大难点
对于流量波动趋势预测、异常流量检测,存在以下难点:
l 需要检测的流量系统种类繁多流量特征各不相同。苏宁易购业务系统众多,每一个系统每分钟产生的流量大小、流量趋势不同,每一分钟的访问业务系统个数不同。
l 流量受业务系统经营活动影响较大。活动力度大、活动频繁,则流量大且稳定;活动力度大、活动稀疏,则流量波动大。面向易购的销售系统,则流量大且稳定;面向内部用户系统,则流量小且波动大。
l 不同用户对流量异常的关注点不同,流量预测难以满足所有场景需求。促销、CC攻击、黄牛刷单、爬虫等,都有可能带来流量的暴增异常。不同人员的关注点不同:运维人员关注流量的暴增是否带来了系统压力;用户则关注流量的异常是否存在某种刷单,是否会带来经济损失;安全人员则关心是否存在某种攻击及信息泄露。要做到一种检测,多方满足,实则难度很大。
l 流量预测需要较高的实时性、有效性。及时感知异常流量,方能及时的进行有效的流控。易购业务总流量TPS大,大促期间流量暴增。需要一种实时高效的计算框架,进行流量的实时计算、在线训练,及时发出异常预警,流量的预测检测才有实际意义。
2. 应用系统流量趋势特征分析
2.1. 横向流量的按天规律性波动
流量受到不同时间段的用户行为影响较大。不同时间段的流量阈值、峰值不同。白天08-18点用户多、流量大,夜间00-08流量下降。
2.2. 横向阶段性流量规律分析
a. 夜间流量小,波动大,如下图所示夜间00-06点流量图(按分钟统计):
b. 白天流量大,波动小。如下图所示白天11-18点流量图(按分钟统计):
(正文已结束)
推荐阅读:叶紫网
免责声明及提醒:此文内容为本网所转载企业宣传资讯,该相关信息仅为宣传及传递更多信息之目的,不代表本网站观点,文章真实性请浏览者慎重核实!任何投资加盟均有风险,提醒广大民众投资需谨慎!