Sumap 网络空间测绘
互联网在高速发展的今天，传统的网络安全大多面向局部安全未曾考虑整体全网环境下的网络安全，这样也造成了近年来攻击者频繁面向全网展开攻击。数亿的物联网设备安全问题被大范围的暴露出来。同时攻击者在面向全网攻击既包括传统攻击方式WEB攻击，缓冲区溢出攻击，数据库攻击。同时也涵盖新型的针对物联网设备和工控设备层面的攻击也越发频繁。
备注：全网（整体互联网空间，包括ipv4,ipv6,域名信息等）
SUMAP全球网络空间超级雷达
SUMAP项目全称”全球网络空间超级雷达”，项目出发点针对全球网络空间测绘方向。整体SUMAP项目下主要包括，sumap大数据搜索平台，sumap探测引擎，sumap漏洞扫描引擎以及基于机器学习模型的智能资产标签化管理等。
SUMAP大数据搜索平台：主要功能包括关键词搜索，资产搜索，ipv4 ipv6搜索，域名搜索，ico搜索，漏洞搜索，漏洞编号搜索，国家地区搜索，风险监测报告等。可以实现用户通过不同维度展现出全网环境下的测绘效果。在搜索平台背后集成了大数据解决方案可弹性扩充并存储数据。做到探测引擎可实时同步大数据平台，大数据平台可实时提供数据给搜索平台展现，做到数据联动。
（图为sumap大数据搜索平台展示）
（图为sumap大数据搜索平台地图测绘展示）
SUMAP探测引擎：主要功能探测全球网络空间，引擎程序完全自主研发并在探测性能上已经突破单台服务器每秒60万并发的探测扫描能力。2小时内即可完成单个端口在ipv4网络环境下的探测扫描。在探测速度上远超国内外同类项目或产品。同时探测功能上目前已支持ipv4,ipv6,域名等，探测内容上支持端口信息，指纹信息，版本信息等。在探测指纹上构造特殊探测报文可有效避免触发防火墙等设备。
SUMAP漏洞引擎：通过结合主被动方式以覆盖全网扫描探测，重点以地区维度的中高危漏洞探测，相比传统漏扫的不同在于可以针对漏洞快速覆盖全网检测。同时做到对已知漏洞持续监测，未知漏洞通过重点风险资产重点关注目的测绘全网。
智能资产标签：主要负责对资产进行标签化计算，分析，识别。利用智能标签对探测指纹，识别指纹以及ip属性端口属性域名属性做综合智能标签。用于解决以往传统扫描器探测指纹单一，识别指纹单一的问题。同时对于传统网络扫描器往往根据默认端口号来识别资产如开放80端口默认识别为http资产，开放3306端口默认识别为mysql数据库资产。不经校验的对资产进行属性标签。而智能资产标签对探测指纹，返回包指纹要求必须进过验证，如80端口发送http探测指纹，根据返回包验证是否返回了正确的http数据在对资产做智能标签。以及在网络测绘应用场景中对全网中的资产中通过模型迭代对探测指纹，识别指纹反复更新确保能够准确的对资产进行智能资本标签。
深度学习智能标签
深度学习智能标签主要包括：探测指纹标签，识别指纹标签，资产标签，资产属性标签等。在复杂的全网环境下传统单一的探测指纹，识别指纹均无法做到有效的全网资产识别。其主要原因包括：
1. 应用服务开放到其他特殊端口非标准默认端口；
2. 用户自建或封装的业务端口；
3. 端口业务基于TLS不同版本的加密协议传输；
4. 探测指纹单一无法根据端口业务构造探测报文；
5. 识别指纹单一无法根据不同的返回包进行识别鉴定。
智能探测指纹与识别指纹迭代技术：
传统探测指纹如http协议探测指纹,ftp探测指纹,ssh探测指纹等协议指纹通常通过抓包工具分析发情请求报文之后形成单一探测指纹，不会在具体深入到协议中的每个字段含义分析。这样就造成了探测指纹可能无法覆盖这一类协议中的所有资产。基础标签，sumap探测引擎首先基于传统指纹探测时候对返回包进行基础的识别指纹识别，对资产进行基础标签在有了基础标签资产之后，对同类型资产进行字段级别探测指纹测试。形成更为有效的探测指纹用来对同一种协议不同服务或者不用应用进行探测。形成更为有效的探测指纹后在重新对全网环境下探测识别，根据返回包字段内容信息重新梳理出识别指纹。基于上述模型在通过利用大数据架构，AI深度学习使之更快速的分解出智能探测指纹，与智能识别指纹。聚类分类算法用于对探测指纹识别指纹进行更有效的运算，具体实现方式为先对30%的样本数据进行了层次聚类(cluster.hierarchy)，得出聚簇中心之后，根据出现关键字频率进行类别自动化定义，对于无法判别类别的聚簇，人工进行识别再对剩下的70%数据进行k均值聚类(K-means)运算，其中k为聚簇中心聚类个数，及聚簇中心的分类。从而判定出的智能探测指纹，智能识别指纹。
资产模型标签技术：
通过构建智能标签模块可对全网环境下的资产进行标签化处理包括：基础网络服务http,ftp,ssh,telnet等，以及终端设备，路由器，防火墙，安全代理、Web服务器集群，数据中心，云服务等资产的识别，识别设备类型包括厂商、品牌、型号、软件及版本、域名资产等已知的设备进行标签，也可对未知指纹进行迭代模型学习分析之后在进行标签。
在智能识别指纹下，对同类资产非同类资产，同类资产不同结构，同结构不同的资产，都会进行资产识别之后对资产进行属性标签。达到贴合用户业务的属性标签。其中关键技术点包括可对资产属性进行人工干预，如通过智能探测指纹探测出去之后返回包内容无法进行智能识别指纹识别无法对资产归类时，人工干预之后对无法识别资产可以重新归类。
高效迭代的ipv6创新探测
不同于传统ipv4探测，在ipv6广泛的地址范围下通过针对ipv6的特点目前已迭代了四代探测算法模型。现已累计全球ipv6数据超42亿+条，并保持日均千万级别数据更新量持续迭代更新。
（图｜ipv6探测演示）
第一代模型通过ipv6公开地址段信息使用活跃度算法针对大网段化整为零计算网段活跃程度后在细化扫描，以此模型调度探测引擎重点探测活跃度相对较高网段地址。
（图｜ ipv6地址段）
第二代模型通过使用针对互联网全量域名信息采集，通过解析域名AAAA记录得到域名ipv6地址信息，在通过对ipv6地址信息扩散后持续探测。并结合第一代模型计算活跃度扩大探测地址段。
第三代模型通过数据挖掘针对目前群集大数据中的信息检索分析报文内容中存储的ipv6地址信息，提取后同样结合第一代模型进行扩散探测。
第四代模型通过深度学习结合前面三代累计获取的ipv6地址网段数据，演算ipv6地址中新的有效地址探测。
总结
基于sumap网络空间测绘方向的探测引擎的快速资产探测能力，以及资产监测能力，资产漏洞管理能力形成了一套基于全球网络空间资产安全整体安全解决方案。项目自身以及项目中繁衍的各项技术点已经被广泛引用到政府，金融，运营商，媒体，教育，高校，公安等单位或者企业内网，外网，专网等复杂的网络环境下。为用户提供全局的资产发现，资产监测，漏洞管理等一体化不间断的安全保障，为信息系统安全决策提供有效的数据支撑。也同时将传统的被动安全发展成为主动安全，在事前事中事后各个阶段提供有效的资产变化情况，资产检测情况，漏洞变化情况。
联系方式：[email protected]
来源：freebuf.com 2020-11-23 15:24:44 by: 安恒sumap网络空间测绘
请登录后发表评论
注册