3分钟了解大数据前世今生丨看似遥远的大数据,与你的生活紧密有关 – 作者:Hillstone

随着科技的发展,大数据时代轰轰烈烈又悄无声息的到来。精准定位的网约车、量身推荐的短视频、越发普及的在线医疗……曾经看似遥不可及的大数据已经走进每个人的生活。在网络安全行业,大数据也开始发挥越来越重要的作用。想要了解大数据如何应用于网络安全领域,我们需要从大数据的诞生说起……

大数据简史

2004年前后,Google发表了三篇划时代论文,也就是大家常听到的“三驾马车”。之后大数据技术就基于“三驾马车”开启了波澜壮阔的发展历程:

0426-1.png

图注:大数据技术2003年至2012年发展史


大数据技术不断更迭,在技术之上的应用,也经历了一个发展过程。

 

从最早的 Google公司,解决搜索引擎业务,到目前最火的AI技术。大数据应用越来越广泛,与我们的生活关系也越来越密切,影响也越来越深远,其中很多已进入寻常百姓家,如自动驾驶、无人机、网约车、智能家电、电商推荐、人机对话机器人等等。

 

同样的,大数据技术也已应用于信息安全领域

在网络安全行业,随着网络架构日趋复杂,网络安全分析的数据量呈指数级增长,从TB 级向PB 级迈进,且数据来源丰富,内容更为细化,数据分析的维度更为广泛;同时随着设备性能的增长,数据源发送速率更快,对安全信息采集的速度要求越来越高;0 day 等漏洞日益增多,影响也更加广泛,需要能够更快更及时地检测出安全隐患及安全攻击行为。

0426-2.png

图注:网络安全行业现状劣势分析

以往网络安全分析主要基于日志流量这两大类数据,同时辅以资产、漏洞、配置、访问、用户行为、应用行为、业务行为、外部情报等信息进行关联分析。

 

引入大数据技术,就是在这些安全应用的基础上,将分散日志和数据整合起来,通过高效采集、存储、检索与分析,提高安全检测与处理的效率,减少分析与响应时间;同时通过大量安全信息的关联分析、多阶段组合关联分析、攻击场景关联分析等技术,找出安全事件之间的联系和异常,有效发现0 day、APT 等攻击和数据泄露,提升安全防御的主动性。

 

在这样的网络安全新态势下,山石网科推出了基于大数据平台和智能分析技术的安全运营产品——山石智·源(山石网科智能安全运营平台)。

 

0426-3.png

图注:山石智·源的工作原理

基于机器学习的DGA检测

面对不断更新的域名生成算法(DGA),传统的域名黑名单虽然也可以检测一些已知的DGA域名,但是对于一些未知DGA域名却束手无策。

山石网科基于DGA域名具有伪随机性、与正常域名存在一定的差别,以及存在大量的正负样本。从DGA算法的特征(例如长度、元音、辅音以及n-gram模型等)入手,对几十种特征归一化、向量化,通过深度机器学习算法,对样本进行学习,生成模型。实现高准确率低误报率的DGA检测,检测效果远远优于现有的一些技术,有效的避免恶意软件利用DGA算法对客户网络造成的攻击。

 

智能安全数据分析

对于数据实时分析,用流式计算框架作为分布式数据处理引擎,支持数据的ETL实时聚合机器学习等。结合山石自主研发的异常行为分析高级威胁检测技术,对全网数据进行安全检测、分析和呈现全网安全状态。

同时,基于山石攻击链理念,平台内置的主流威胁检测规则用户自定义规则,可实现基于状态进行多维度、多跨度的威胁事件横向关联分析。发现潜在网络威胁,提高分析确信度,使网络攻击威胁识别的精度和可靠性最大化。

 

智能数据检索

为方便用户溯源查证,快速检索威胁事件。山石智·源平台提供智能检索引擎,支持自然语言搜索、预定义条件搜索以及SPL语言搜索,满足客户不同场景下的威胁事件、安全日志及流量元数据的组合快捷查询。

 

从上述分析可以看出,山石智·源通过底层大数据采集、存储、分析、检索等技术的引入,可以切实提高安全分析的效率,且在辅助以运维响应、资产管理等能力,可形成一整套闭环安全运营体系。帮助用户把握全局安全态势,及时掌控安全威胁提升安全管理效率构建完善的态势感知防御体系

来源:freebuf.com 2020-04-26 18:01:43 by: Hillstone

© 版权声明
THE END
喜欢就支持一下吧
点赞0
分享
评论 抢沙发

请登录后发表评论