nDPI:开源的深度包检测项目 – 作者:ja50n

DPI

DPI是Deep Packet Inspection的缩写,全称深度包检测,是对数据包负载进行实时分析的一类技术的总称,它的其中一种应用是对流量进行分类。

在互联网发展的早期,每一种协议或者应用都和一个端口关联。比如当我们说80端口时,我们指的就是HTTP协议。但是,端口和协议的关联并不是强制性的,而只是大家约定的共识。后来,许多新出现的协议都没有再和一个固定的端口关联,有的协议为了绕过防火墙的管控,会直接使用HTTP协议来传输。对于网络的监控和管理来说,识别当前流量中有哪些应用和协议,从而采取进一步动作——记录日志或者阻断连接——就变成了一件非常困难的事情。

为了识别流量的类型,DPI技术应运而生,它有三种基本的实现思路:

1. 基于特征的。这种方式主要是使用模式匹配来匹配协议中的关键字。比如,通过GET/POST关键字来匹配HTTP协议。

2. 基于语义的。这种方式主要是通过尝试不同的协议规范来解码数据包,从而确定它是哪一种协议。其中又可以分为不同层级,因为有些协议是借助其它协议来传输的。比如,许多P2P协议通常会使用HTTP协议。

3. 基于统计的。这种方式主要是针对加密数据,因为它能被观测到的信息只有数据包数、大小以及建立加密连接时的过程和参数。

基于特征的实现不能很好地应对协议中有编码的情况,从而造成漏报。基于统计的则有很高的误报率。所以,nDPI采用的是基于语义的实现方式。

OpenDPI

因为nDPI是在OpenDPI的基础上开发的,所以有必要先介绍一下OpenDPI。

OpenDPI是少有的几个开源DPI库之一,使用的是C语言,现在已经没有人维护。它由两个部分组成:

1. 核心部分。负责处理数据包,解析IP层、tcp/udp层,然后提取出IP地址、端口等基本信息。

2. 插件部分。每个插件就是一个解码器,负责解析对应的协议。

OpenDPI存在以下问题:

1. 每一次检测协议时,OpenDPI都会尝试使用所有的解码器来解码,即使可以通过端口来猜测协议类型。

2. 代码并不是可重入的,因此在多线程的程序中使用会有些困难。

3. 不支持从分析流量中提取元数据信息。

4. 不支持运行时配置。

nDPI

nDPi是在OpenDPI代码的基础上修改的,它做出了两个比较大的改动:

1. 通过端口来猜测真实的协议。这个设计基于一个前提,就是假设大部分协议仍然是和端口有关系的。当使用和端口关联的协议解码器解码失败时,才会像OpenDPI那样尝试所有其它的解码器,直到解码成功。

2. 可以通过配置文件声明端口和协议以及关键字和协议之间的关系。解码时优先使用端口或者关键字对应的解码器。

nDPI的协议识别流程如下:

1. nDPI解码数据包的3层、4层部分。

2. 如果有注册了和数据包协议、端口相对应的解码器,首先尝试使用这个解码器。

3. 如果没有匹配,会尝试使用已经注册的和数据包协议(比如UDP)相关的所有解码器。当其中任何一个解码器失败时,有两种情况,要么是真的失败了,要么是还需要更多的数据包。当数据包到来时,后一种情况会继续尝试解码。

4. 只有有任何一个解码器匹配了,协议识别就会结束。

通常来说,nDPI只要分析了前8个数据包,就能够识别出协议类型。

从设计上来看,如果不能依靠端口猜测出真实的协议类型,性能开销将会是比较大的。因为这时nDPI会像OpenDPI那样尝试每一种解码器,依据的也仅仅是这些解码器注册的顺序。

用户可以通过配置文件来声明传输层协议、端口和协议的关系,配置文件的格式如下:

# Format:
# <tcp|udp>:<port>,<tcp|udp>:<port>,…..@<proto>
tcp:81,tcp:8181@HTTP
udp:5061-5062@SIP
tcp:860,udp:860,tcp:3260,udp:3260@iSCSI
tcp:3000@ntop
# Subprotocols
# Format:
# host:”<value>”,host:”<value>”,…..@<subproto>
host:”googlesyndacation.com”@Google
host:”venere.com”@Venere
host:”kataweb.it”,host:”repubblica.it”@Repubblica

在上面的例子中,当传输层协议是tcp且端口是81或者8181时,‘@’符号后面是“HTTP”,就表示我们认为的最有可能的协议是HTTP。下面host对应的行又声明了特征对应的子协议。当HTTP中的host字段匹配了“venere.com”时,我们就认为它有可能是Venere协议,并交给对应的协议解码器处理。

在官方的测试中,单核的处理性能能够达到3.5Mpps/8.85Gbps。因此使用两个核心就能够处理10Gbps的流量。

参考资料

[1]L. Deri, M. Martinelli, T. Bujlow和A. Cardigliano, 《ndpi: Open-source high-speed deep packet inspection》, 收入 2014 International Wireless Communications and Mobile Computing Conference (IWCMC), 2014, 页 617–622, doi: 10/ghmq3k.

[2]F. Risso, M. Baldi, O. Morandi, A. Baldini和P. Monclus, 《Lightweight, Payload-Based Traffic Classification: An Experimental Evaluation》, 收入 2008 IEEE International Conference on Communications, Beijing, China, 2008, 页 5869–5875, doi: 10/dkftbj.

来源:freebuf.com 2021-01-03 19:39:52 by: ja50n

© 版权声明
THE END
喜欢就支持一下吧
点赞0
分享
评论 抢沙发

请登录后发表评论