准确率与误报率的数字游戏
时间:2022-03-23 12:39:01 | 来源:行业动态
时间:2022-03-23 12:39:01 来源:行业动态
我们对安全攻击的预警准确率已经达到99%以上,这样的宣传口径在利用AI技术实现的主动防御方案中逐渐成了主流,但这个数字背后所隐藏的秘密却很少有人注意,只有对安全行业有一定了解的人才会对这样夸张的数字产生疑问,如果真的达到99%以上的预测准确率,那说明这项技术已经十分成熟,早就应该大规模商用了。
但遗憾的是,这一数字背后隐藏着一个巨大的坑,就是误报率的问题,我们知道当我们把所有异常现象都视作攻击威胁的话,系统预测的准确率将达到最高,甚至可以做到100%报警,因为所有的攻击事件都包含在所告警的范围之内,但这有什么意义呢?因为在安全领域还有一个不能忽视的参数是误报率,如果预警报告100次攻击威胁,但最终只有50次攻击是准确的,剩下的50次异常没有出现威胁,那误报率就达到了50%,相对实际的预测准确率就只有50%,而如此之高的误报率还会对安全维护工作造成极大的干扰和负担。
由于误报会对系统的正常使用造成重要影响,所以目前安全厂商大多只强调自己产品的预测准确率,而对误报率避而不谈,这其实还会带来一个比较严重的后果,就像狼来了的故事一样,当屡屡出现误报之后,维护人员很容易把真正的威胁忽略掉。因此,我们要对一款具备主动防御能力的安全产品性能指标进行评估时,准确率和误报率应该同时考虑,而厂商也应该在这两者之间做好一种平衡性,给出一个更加客观有效的性能参数,这样才会对实际应用具备参考价值。而目前看来,基于AI的智能安全产品大多都存在这样的问题,但我们要承认智能安全的演进方向必定将成为未来安全市场中的主要方向,其产品的成熟度也将在市场中进一步得到验证。