本文作者：同盾科技安全部

1 态势感知简介

态势感知的概念最早是由美国空军提出，是为提升空战能力，分析空战环境信息、快速判断当前及未来形势，以作出正确反应而进行的研究探索。上世纪90年代这个概念被引入了信息安全领域，最知名的2003年开始的美国的爱因斯坦计划(正式名称国家网络空间安全保护系统The National Cybersecurity Protection System)，2013年已经开始第三期的建设，美国CERT及后续DHS(国土安全部)对态势感知进行了不断探索。美国国家安全系统委员会对态势感知的定义是：“在一定的时间和空间范围内，企业的安全态势及其威胁环境的感知。理解这两者的含义以及意味的风险，并对他们未来的状态进行预测。”

信息时代越来越发达，黑客或者恶意员工攻击系统、盗取数据的利益也越来越大。面对新的安全形势，传统安全体系遭遇瓶颈，需要进一步提升安全运营水平的同时积极的开展主动防御能力的建设。企业安全建设初期会在IT基础设施中部署各类威胁检测/防护系统构建纵深防御体系，此后安全挑战从开始的没有威胁感知能力变为真正的安全威胁被海量安全日志和告警淹没。此时态势感知平台的建设将会被提上日程。

安全态势感知平台被给予希望解决企业安全运营阶段中网络安全监控能力和分析能力不足；网络各类资产产生的安全信息孤岛难以形成威胁情报；威胁情报如何高效转化利用进行数据共享；新常态下威胁场景针对性应对方案不足的难题。实现在高级威胁入侵之后，损失发生之前发现威胁并及时响应处置。

2 同盾态势感知平台架构及功能

同盾安全态势感知平台提供从日志采集、事件关联分析、风险预警到安全处置的闭环，提升公司整体安全感知、预警能力。目前平台接入数据源几十个，每日平台处置日志上亿条，查询响应时间少于1秒。每日告警数量约几百。

2.1 系统架构

态势感知平台整体架构如下图所示，在架构设计上，充分考虑系统的适配性和可扩展性。数据源及事件处理流均采用灵活的配置方式。

2.1.1 数据采集

态势感知数据来源包括网络设备日志例如NGFW、WAF、IDS等、主机日志、业务审计日志、邮件、数据库等。态势感知系统数据源支持多种方式数据采集。包括kafka,syslog,imap,mysql等。部分安全日志经由数据采集agnet采集并发送到kafka，态势感知系统消费kafka数据。部分日志则直接由sysog客户端发送到态势感知系统。另外态势感知系统支持定时拉取邮件数据，通过监听mysql数据变化采集mysql数据等。

数据源管理采用灵活的配置方式。新增已有的接入方式的数据源时，不需开发工作，只需新增数据源配置即可完成数据源接入。如果有新的接入方式需求，也可方便地扩展一种新的接入方式。

2.1.2 数据处理

数据在分析之前需要经过预处理，数据预处理管道包括字段抽取、字段丰富、字段重命名、设置事件类型。

数据预处理之后的处理管道由用户在界面上配置事件处理流，包括风险决策、风险告警、风险处置等。风险决策管道支持规则分析及模型分析。规则分析会调用决策引擎专家系统获取分析结果。模型分析则加载训练好的风险决策模型计算得到分析结果。风险告警根据告警配置发送告警。告警配置支持配置告警方式（通知、告警）、通知方式（钉钉、邮件）、告警人。风险处置支持的处置方式包括通过、拦截、重放等。

2.1.3 数据存储

日志以标准化json格式写入本地日志。采用filebeat将日志采集到实时检索存储系统Elastic Search，公司统一日志采集组件将日志采集到公司大数据平台。

2.1.4 平台安全

平台应用经过严格的安全测试。系统以Web页面方式提供操作工作台。web应用接入了公司统一登录系统、权限管理系统、业务审计日志。页面操作进行了严格的权限控制，并记录了完善的审计日志。

2.2 平台功能

2.2.1 日志查询与可视化

平台提供近实时的日志自动采集存储。并提供近实时的搜索、聚合分析、可视化分析功能。使用这些功能，用户可以追踪安全日志，溯源安全威胁；实时查看主机与网络活动，洞察状态与趋势。

2.2.2 实时风险决策与预警处置

平台提供实时风险决策与预警处置机制。在配置好风险决策及预警处置流程后，日志流入平台后实时进行风险决策分析，根据风险分析结果平台进行自动告警及处置。

2.2.3 其他

数据源管理：提供数据源接入配置及数据源字段管理功能

数据视图：提供分层式数据展示，贴合实际分析场景的分析工具。在数据视图上选择多个数据源。配置事件流的时候将该数据视图作为数据源进行分析可实现数据联合分析。在数据视图上选择一个数据源并配置过滤器，即可实现对原有数据源的裁剪。同一个数据源配置多个数据视图可以得到多份数据，实现对同一份数据不同维度的分析功能。

人员风险分析：可方便查看人员的行为日志及风险。

3 技术优势

3.1 多数据源融合能力

任何单一的情况或状态都不能称之为态势，同盾态势感知平台支持以下多种数据采集。

来自网络安全防护系统的数据：例如防火墙、IDS/IPS、WAF、网络安全审计系统等设备的日志或告警数据；
来自重要服务器与主机的数据：例如服务器安全日志、进程调用和文件访问等信息，基于网络与基于主机的协同能够大大提升网络威胁感知能力；
漏洞数据：基于主动的漏洞评估、渗透测试发现的漏洞数据；
直接的威胁感知数据：例如Honeynet（蜜网）诱捕的网络攻击数据，对网络攻击源及攻击路径的追踪探测数据；
协同合作数据：包括权威部门发布的病毒蠕虫爆发的预警数据，网络安全公司或研究机构提供的威胁情报等。
业务审计日志数据

对于以上不同格式数据，经过统一的数据预处理方式后，可进行分析处理及入库查询等。

3.2 同一事件多维度分析

同一事件支持配置多个事件流进行多维度分析、预警、处置。

3.3 分析策略/模型闭环优化

事件经过实时分析触发告警，通过对告警的有效性进行分析，对分析策略或模型的准确性进行评估。对于准确性不高的分析策略，安全人员可调整阈值设置等来优化策略。已经经过标准是否有效的事件可以作为标签数据进一步优化模型。系统内部形成良好的策略、模型闭环优化机制，分析准确性能持续提高。

3.4 数据分析能力可拓展

同盾基于长期积累的经验打造了稳定、高效的大数据处理、分析平台，例如决策引擎专家系统，大数据平台、机器学习平台、深度学习平台，复杂网络、知识图谱等。态势感知平台的事件流管道机制可方便拓展接入外部平台。目前风险分析管道接入公司决策引擎系统，提供200ms级的实时决策响应，支持可视化的规则修改，学习成本低，支持规则修改实时生效，支持规则全生命周期的管理。态势感知平台数据存储到大数据平台，机器学习平台上可对数据进行模型训练，风险决策阶段可以通过机器学习模型计算结果来进行进行风险分析。

4 应用价值

4.1 提升分析预判能力，优化防御能力

WAF是保障业务数据安全的重要防护手段，为了不断提升和保障WAF的安全性和可用性，需要对攻击日志进行分析，收集攻击特征和IP，进而提炼和优化防护规则。传统方式需定时登录WAF管理界面进行日志查看，并人工进行分析，工作量大，效率低，无法实时发现威胁。

WAF日志接入态势感知平台后，安全分析人员只需根据特定的攻击特征配置分析规则及处置方式，即可在规则被触发时收到告警通知并进行处置。如下图所示，安全分析人员针对高频攻击配置了攻击源来自国外、非正常工作时间访问、一段时间内该IP攻击持续时间长达N(可配置)天以上，命中威胁情报等检测规则。2019年9月15日12点40到50分收到大量告警，经排查，命中规则的IP为国外IP，在态势感知平台上查询业务访问日志，该IP无业务访问记录，查询WAF访问日志，该IP访问域名不对，判定为扫描行为。最终决定拉黑该IP。在态势感知平台处置阶段一键操作将该IP加入WAF拦截名单，拉黑该IP。

4.2 内部数据泄漏行为监控，保障数据安全

根据“2018年IBM X-Force威胁情报指数”调查报告，2017年数据泄露的事件中有三分之二是组织内部人员无意造成的结果。组织管理内部威胁的传统方法是采用安全意识培训和访问治理来降低风险。虽然这些措施至关重要，但它们不足以减轻所有类型的内部员工风险。传统针对人员审计一般在泄漏事件发生之后，或者人员有岗位异动、离职等情况发生时，对于威胁的感知具有较长时间的滞后性。

态势感知平台接入了业务系统操作审计日志、gitlab日志、proxy日志、LCE日志、安全监控邮件数据等。通过对这些数据联合分析，形成人员行为分析视图。安全人员针对可能造成数据泄漏的操作例如外发邮件、数据下载等行为进行监控。当有风险的操作发生时，安全人员可及时收到告警，并对操作的风险进行辨识。对于疑似有风险的行为进而可以查询行为分析视图，通过用户行为分析进一步对风险进行确认。