误报率太高？AI+流量安全分析，将误报率控制在10%以内 – 作者:abtnetworks2018

误报率是衡量网络安全设备的重要技术指标，但如何正确检测和计算这项指标，没有统一科学的方法。安博通基于自主研发的网络流量安全分析系统，总结自身技术和经验，得出了一套安全设备误报率的检测计算方法，并基于深度学习技术将误报率降到业界较低水平，可减少企业机构安全运维的人力和时间投入。

误报率是什么？

• 误报：在网络安全设备报警规则集 合C中，事件A触发报警时，发生了B事件报警或未发生报警。
• 误报率：在规则集C中，由于算法或事件定义导致安全设备产生误报的概率。

通用的误报率计算方法是，以设备规则集为出发点，对规则集事件进行加权处理，但业界暂无统一的权值标准，因此造成计算困难。

由于安全设备规则集较多，全面覆盖往往不现实。在实践中，通常以抽样测试方法来统计误报率，即随机挑选事件库中的部分事件，使用攻击工具触发这些事件，或以抓包工具对捕获的包进行回放，分析报警结果，从而得出安全设备的误报率。

基于深度学习技术的流量安全分析，降低误报率

安博通网络流量安全分析系统在传统流量采集、流量分析、流量回溯的基础上，集成自研的威胁情报技术，并应用深度学习技术，降低误报率。

深度学习技术是机器学习技术的一种，而机器学习是实现人工智能的必经路径。深度学习概念源于人工神经网络的研究，其通过组合低层特征形成更加抽象的高层表示属性类别或特征，并以发现数据的分布式特征表示。研究深度学习的动机在于建立模拟人脑学习分析的神经网络，它模拟人脑机制解释数据，如图像、声音、文本等。

基于深度学习的恶意文件、恶意URL、DGA域名等检测技术无需沙箱环境，可以直接将样本文件转换为二维图片，进而应用改造后的卷积神经网络Inception V4进行训练和检测。

Step 1：二进制文件转换

将样本文件初步处理后转换为二进制文件，转换后每个字节范围在00-FF之间，对应灰度图像素在0-255之间（0为黑色，255为白色）。将二进制文件转换为矩阵，矩阵又可以转换为灰度图。

Step 2：CNN图像识别

单靠观看很难区分恶意样本与白样本在纹理上存在的细微差异，采用成熟的CNN图像识别算法可以进行图像分类。

CNN（卷积神经网络）是一类包含卷积计算且具有深度结构的前馈神经网络，是深度学习的代表算法之一。它的构成包括：

• 输入层（Input Layer）

用三维矩阵代表一张图片，矩阵的长宽表示图片的大小，矩阵的深度表示图像的色彩通道，黑白为1 。

• 卷积层（Convolution Layer）

这一层的输入是上一层神经网络的一小块，它试图对神经网络的每一小块进行更深入分析，以得到抽象程度更高的特征。一般来说，本层处理后的结点矩阵深度会增加。

• 池化层（Pooling Layer）

不改变三维矩阵的深度，但能够缩小矩阵的大小，达到减少参数的目的。可以看做是将分辨率较高图片降低分辨率的过程。

• 全连接层（Fully Connecced）

经过多轮卷积和池化后，经过1-2个全连接层进行输出。可以将卷积层、池化层看做特征提取，最后由本层进行分类。

•  Softmax层

转化为概率分布。

   这一技术简化了检测流程，速度也优于沙箱技术，可将误报率控制在10%以内，最低降至1%。

   以下是最近一次恶意文件训练后在测试集上评估的结果：

• 各项指标在97-98%左右，优于以往模型。
• 表现较差的几种格式，主要原因为正样本中样本数较少。
• dex是一种特殊的安卓文件格式，在负样本中没有收集到，导致测试结果可能偏向正样本。
• rar、zip压缩后对检测有一定影响。

以下是DGA和恶意URL检测在验证集上的结果，可以看到误报率最低降至1%（1-准确率）。

创新提出全栈分析概念

安博通网络流量安全分析系统集成了会话分析、WAF、IDS告警、威胁情报分析、未知威胁分析、全流量溯源、文件还原取证等功能，并创新性地提出了全栈分析概念。

除了基于深度学习从技术层面量化降低误报率外，还可以从实际操作层出发，根据实践经验，应用这些措施降低误报率：

• 应用自研威胁情报，可实时更新离线库，保障准确率。
• 应用未知威胁分析，通过加白名单操作排除误报。
• 应用异常流量检测、网络攻击检测，通过配置审计的精确IP，降低误报率。
• 应用内置的WAF功能，也可以通过减少配置审计的IP降低误报率。

在技术发展日新月异的今天，将先进技术应用于网络安全领域，不断提升产品功能精度，是安博通自主创新的不懈追求。未来，公司将继续以人工智能技术赋能网络安全产业，切实保障在等保合规、红蓝对抗、日常运维中的安全需求，为各行业用户创造安全业务价值新体验。

来源：freebuf.com 2020-07-10 15:40:41 by: abtnetworks2018