聊聊威胁狩猎那些事儿 – 作者:SSZZ

HW期间，为防范钓鱼，即日起FreeBuf将取消投稿文章的一切外部链接。给您带来的不便，敬请谅解~

什么是威胁狩猎

注：国内多种叫法：威胁狩猎、威胁捕获、威胁搜寻，本文章用词为：威胁狩猎

在威胁狩猎过程中，我们假设攻击者已在内网环境中潜伏，威胁猎人的工作为尽可能快的发现其攻击痕迹，最大程度的降低攻击者造成的危害；该过程极为考验威胁猎人的分析能力，因为威胁猎人需要查找入侵痕迹，从而忽略已有的自动化检测过程；总之，威胁猎人的目标就是缩短攻击者在内网环境中的停留时间。

根据SANS 2018威胁狩猎调查，平均而言，攻击者可以在受到感染的环境中驻留90天以上。

我们需要了解到减少攻击者在内网环境中的驻留时间的攻防斗争是无止境的；攻击者会不断提升/优化他们的攻击手段，以避开防御者的检测手段，实现内网环境中的渗透行为，获取所需的数据或执行破坏行为；威胁猎人可以通过相关平台进行分享攻击者的攻击手段，不断学习攻击者的攻击手段，以再次减少攻击者在内网环境中的驻留时间；只要攻击者不断的针对我们进行攻击，那么该攻防行为就会不断持续下去。

总体而言，我们可以理解威胁狩猎就是人为驱使的行动，需要主动并反复的在组织环境内（网络、终端、应用系统等）进行分析查找被入侵的痕迹，从而缩短攻击者在组织环境内的驻留时间，最大程度的减少攻击者对组织环境造成的危害。

威胁狩猎的类型

1、数据驱动（DATA_DRIVEN）:Hunt triggered by data observation（观察数据触发的狩猎）.

2、情报驱动（INTEL-DRIVEN）：Hunt triggered by threat intelligence information（由威胁情报触发的狩猎）

3、实体驱动（ENTITY_DRIVEN）:Hunt around high risk/high value entities（搜寻高风险/高价值的实体）

注：在计算机网络中，实体这一较为抽象的名词表示任何可能发送或接受信息的硬件或软件进程。

4、TTP（TTP-DRIVEN）: Hunt around threat actors’known TTPs（搜寻已知的TTP）

注：TTP：战术Tactics、技术Techniques和过程Procedures，是描述高级威胁组织及其攻击的重要指标；

军事定义：

* 战术—协调使用并有序部署军队。

* 技术—用于执行战斗行动、履行职责或任务的非规定方式或方法。

* 过程—规定如何执行特定任务的标准和具体步骤。

5、混合动力（HYBRID-找不到合适的中文翻译这个词）：Hunt blending all the different approaches（狩猎融合了所有不同的方法）

#5种类型分类为

1、UNSTRUCTURED（非结构化）：数据驱动（DATA_DRIVEN）

2、STRUCTURED   （结构化）：情报驱动（INTEL-DRIVEN）、实体驱动（ENTITY_DRIVEN）、TTP（TTP-DRIVEN）、混合动力（HYBRID）

威胁猎人技能

1、了解威胁情报：例如：高级持续性威胁（APT）、恶意软件类型、危害指标（IOC）、威胁参与者的动机和意图等等；

2、了解攻击者如何进行攻击：熟悉网络杀伤链（Cyber-Kill-Chain）和ATT&CK框架会对理解攻击有所帮助，特别是熟悉在不同技术环境（Linux、macOS、Windows、云、移动和工业控制系统）中进行攻击的方式，则ATT&CK框架更为有用；

3、熟悉数据科学方法和SIEM的使用，能够识别网络活动、终端以及应用程序等日志中的异常行为；

4、熟悉组织内部相关系统、工具、流程等，例如网络拓扑、应急响应流程、正常的基线/活动流程。

痛苦金字塔（The Pyramid of Pain）

链接：https://detect-respond.blogspot.com/2013/03/the-pyramid-of-pain.html

痛苦金字塔是一种用于CTI和威胁狩猎的模型，上层指标比下层指标更有价值。

#指标类型 让我们从简单定义构成金字塔的指标类型开始：

1. 散列值（浅蓝）：SHA1，MD5或其他与特定可疑或恶意文件相对应的散列。通常用于为恶意软件的特定样本或入侵所涉及的文件提供唯一的引用。

2. IP地址（深绿）：IP地址。

3. 域名（绿色）：这可以是域名本身（例如“ evil.net”），甚至可以是子域或子子域（例如“ this.is.sooooo.evil.net”）

4. 网络工件（浅黄）：网络上的敌对活动引起的可观察到的东西。从技术上讲，由于对手的交互而在您的网络上流动的每个字节都可能是伪像，但是实际上，这实际上意味着那些可能会将恶意活动与合法用户区分开的活动。典型示例可能是URI模式，嵌入在网络协议中的C2信息，独特的HTTP User-Agent或SMTP Mailer值等。

5. 主机工件（浅黄）：由您的一个或多个主机上的敌对活动引起的可观察到的结果。再次，我们专注于倾向于将恶意活动与合法活动区分开的事物。它们可能是注册表项或已知由特定恶意软件片段，文件或目录创建的值，这些特定恶意软件，文件或目录放置在某些位置或使用某些名称，名称或描述或恶意服务或几乎所有其他独特的东西。

6. 工具（黄色）：对手用来完成任务的软件。通常，这将是它们带来的东西，而不是计算机上可能已经安装的软件或命令。这将包括旨在创建用于欺骗的恶意文档的实用程序，用于建立C2或密码破解程序的后门程序，或可能希望在入侵后使用的其他基于主机的实用程序。

7. 战术，技术和程序（TTP）（红色）：对手如何完成其任务，从侦察一直到数据渗漏以及中间的每一步。“网络钓鱼”是用于在网络中建立状态的常见TTP。“使用木马PDF文件伪造图片”或“ …带有伪装为ZIP的恶意.SCR文件的链接”将是更为特定的版本。“转储缓存的身份验证凭据并在“哈希传递”攻击中重新使用它们”将是一个TTP。请注意，这里没有讨论特定的工具，因为有许多方法可以使PDF武器化或实现哈希传递。

威胁狩猎成熟度模型

威胁狩猎小组的组成以及专门用于狩猎的时间将由您所属组织的规模和需求决定；若组织内无专职团队的预算/需求，则需安全分析师自行找时间进行研究，分析师一般属于SOC或事件响应团队的一部分。

为了成功执行威胁狩猎，我们有必要制定详细的计划和狩猎方法，将我们的流程和经验与相关工具的功能进行充分的结合，发挥出最大的效果。

确定组织的威胁狩猎成熟度模型

若组织要进行有效的威胁狩猎，则需对基础结构和相关工具进行投资；为获取良好的投资回报/效果，组织许具备足够成熟的流程/模型；若威胁狩猎团队不具备所需的必要技能，工具和数据，则威胁狩猎的效果则会受到限制。

威胁狩猎循环步骤	HM0 初始阶段	HM1 最小规模阶段	HM2 程序化阶段	HM3 创新阶段	HM4 领先阶段
数据收集	很少，或者没有	能够收集IT环境中一些关键节点的数据	能够收集IT环境中某些类型的数据	能够收集IT环境中某些类型的数据	能够收集IT环境中某些类型的数据
建立假设	仅仅去处理SIEM/IDS/防火墙中的告警	根据威胁情报去构建新假设	根据威胁情报、专家经验去构建新假设	根据威胁情报、专家经验、人工风险评分去构建新假设	根据威胁情报、专家经验、自动化的风险评分去构建新假设
通过工具和技术去验证假设	在告警终端、SIEM中搜索，没有主动的调查	以全文检索或者sql的方式，利用SIEM或日志分析工具进行搜索	基于现在的捕获流程，利用简单的工具去搜索分析数据，来验证假设	具备可视化和关联分析能力，构建新的捕获流程	具备高效的可视化和关联分析能力，实现了新流程的构建自动化
检测模式&TTP	无，或者仅有SIEM/IDS告警	通过金字塔底层的IOC检测	通过金字塔中层和下层的IOC进行检测，并根据时间分析这些ioc的趋势变化	能够根据对手的TTP和金字塔顶层的IOC进行检测	自动化的检测复杂TTP，追踪战役，支持组织间的情报IOC共享
分析自动化	无	使用威胁情报feed进行自动化告警	建立有效的捕捉流程库，并定期运行	建立有效的捕捉流程库，并经常运行，具备基础的数据分析能力（基线、离群点分析）	自动化的捕捉流程发布与构建，高水平的数据分析能力（机器学习）

威胁狩猎成熟度模型定义了5个级别，用于对团队的检测能力进行分类：初始、最小、程序、创新和领先。次模型可用于确定组织处于哪个阶段以及需要采取哪些措施将他们上升至另一高层次阶段。

在初始和最小阶段，高度依赖自动化检测工具，但是在最小规模阶段，一些威胁情报也可用于检测。

在威胁狩猎中，威胁情报有两类来源，分别为内部和外部。 内部威胁情报：来源于历史事件的记录以及针对组织基础架构进行侦查尝试获取到的相关情报； 外部威胁情报：威胁情报团队使用OSINT（开源网络情报）进行分析获取到的情报，通过付费购买专业威胁情报供应商提供的情报和报告。

程序、创新和领先阶段都是由高水平/超高水平的数据收集确定，他们之间的差异取决于团队可以创建自己的数据分析程序，以及是否可以提供自动化程序以避免重复的搜索检测。

威胁狩猎过程

选择合适的SIEM系统，集中收集各类型日志（安全设备、终端、应用程序等），以进行高效的数据分析。

依据以创建好的威胁狩猎程序进行搜寻，搜寻过程中着重关注对组织感兴趣的特定攻击者；尽可能记录并自动化执行该操作。

要始终假设攻击者已进入组织内部，并且已产生了违规行为，请考虑攻击者的运作方式和原因，也要依靠狩猎活动来开辟新的调查渠道，并根据与威胁相关的风险等级对狩猎进行优先级划分，不断搜寻，不要等待告警发生，尽可能在告警发生之前找到攻击者。

威胁狩猎循环流程

威胁狩猎过程的最初定义是由Sqrrl制作，他们将其标记为“威胁狩猎循环”：

Sqrrl威胁狩猎循环（上图）

1、建立假设

2、使用我们（已有的）可以使用的技术和工具开始调查

3、执行分析，威胁猎人试图在组织环境中发现新模式或异常

注：此步骤的目的为验证假设是否成立

4、尽可能自动化执行成功搜索的结果

注：此步骤为防止团队重复相同的过程并使他们将精力集中在发现新的异常/违规行为上

威胁狩猎模型

通过丹冈特和Marc Setiz中的实用模型开展网络威胁狩猎，该模型可以区分为6个不同的步骤，并强调了威胁狩猎过程的迭代性质：

https://www.semanticscholar.org/paper/Interested-in-learning-more-about-cyber-security-Gunter/2af7029f87cafdaa8aa00774714b85e2789c88e9?p2df

SANA威胁狩猎模型

1、目的

在牢记组织目标的同时进行威胁狩猎；

例如狩猎可能会受到业务系统的限制。在此阶段，我们需要说明狩猎的目的，包括执行狩猎所需的数据以及所需的结果。

2、范围

此阶段设计定义假设，并从网络、系统、子网或主机中识别并提取我们所需的数据；

应当事先确定范围，以减少可能干扰我们成功狩猎的“噪音”数量。它不能过于具体单一，因为这样可能会导致我们忽略/检测不到攻击者在组织环境内的潜伏。该假设主要用于防止我们偏离狩猎路线，从而帮助猎人在从一个数据转向另一个数据的同时保持焦点。

3、装备

在此阶段，重点在于操作方法；

如何收集数据？能否收集彻底？如何进行分析？如何避免偏见？到本阶段结束时，威胁猎人应该能明确并解答这些问题。通过内容管理框架（CMF）可以帮助我们跟踪记录这些数据，以及记录数据的来源等等。

CMF：度娘解释：https://baike.baidu.com/item/cmf/17779543

4、计划审查

顾名思义，团队或狩猎的责任人需要审查到目前为止已完成的所有计划，以确保威胁狩猎满足组织的目标，并且狩猎团队具有他们进行成功狩猎所需的资源（人员、数据、工具和时间）。

5、执行

执行阶段是指计划获得批准后的狩猎本身。

6、反馈

此阶段与所有先前阶段相关联；

分析结果将帮助团队以更高的效率进行未来的狩猎。反馈阶段的目的是改善所有的先前阶段（即前5个阶段）。它不仅可以帮助我们确定目标是否以实现，而且还可以确定团队的任何可能偏见，可能需要改进的可见性和手机差距，资源是否正确分配等。

数据驱动的方法

罗德里格斯兄弟设计了另外6个不同的阶段，同时他们还提供了威胁狩猎社区和四个开源项目，可以使用他们在组织内进行狩猎。

罗德里格斯兄弟定义的六个阶段如下：

1、确定研究目标

为了在执行任务时定义研究目标数据驱动的狩猎，了解数据并将数据映射到对手的活动非常重要。罗德里格斯兄弟提出了一系列我们应该能够解决的优秀问题回答以定义我们的研究目标：

我们要查找什么，我们了解自己的数据吗，我们是否有数据wiki，数据是否存储在我们的内部环境中，是否已将所有日志进行收集，是否需要具体到某类日志，每个假设可以涵盖多少种技术/子技术，我们关注的重点在技术检测上还是行为检测上？

2、数据建模

该过程的这一阶段围绕着数据来自哪里，将日志发送到数据湖进行查询，并通过创建数据字典来构造数据，其中每个数据源“都需要映射到事件”。如果你想真正了解并收集数据，则此过程非常有用。

OSSEM：为减轻繁重的工作，Rodriguez兄弟创建了OSSEM，用于记录和标准化安全事件日志。该项目为开源项目，可通过Github存储库进行访问。 链接：https://github.com/OTRF/OSSEM

3、模拟对手

模拟对手在组织环境内进行攻击。通过复现攻击者攻击行为，将其使用的技术链接在一起以创建狩猎计划。

Mordor：为此阶段，Rodriguez兄弟创建了Mordor项目；

链接：https://github.com/OTRF/mordor

Mordor项目以JavaScript对象表示法（JSON）文件的形式提供了预先记录的安全事件，这些事件是在模拟对抗性技术后生成的，以便于使用，而Packet Capture（PCAP）文件则作为附加上下文（如适用）。预记录的数据按MITER ATT＆CK框架定义的平台，对手群体，战术和技术分类。预先记录的数据不仅代表特定的已知恶意事件，还代表周围发生的其他上下文/事件。这样做是有目的的，因此您可以测试各种数据源之间的创意关联，从而增强检测策略，并有可能减少自己环境中误报的数量。

莫多（Mordor）这个名字源于令人敬畏的书籍/电影系列《指环王》，它是索伦恶魔居住的地方。该存储库是由已知的“恶意”对抗活动生成的数据所在的位置，因此也称为项目的名称。

4、定义检测模型

基于数据建模后，我们确定进行搜索的方式，我们可以在实验环境中进行验证检测。如果没有结果，则应返回至之前的步骤进行反思和调整。

5、验证检测模型

一旦实验环境中的数据质量符合我们的预期，我们就可以尝试将其在实际生产环境中进行运行检测；可能会产生三种结果：

1.零结果，攻击者在生产环境中不存在；

2.至少有一个结果，我们需要仔细研究结果，确认是否为违规/异常行为；

3.检测出大量结果，该情况意味着我们需要对该检测模型进行进一步优化。

HELK：这是一个罗伯特·罗德里格斯（Roberto Rodriguez）根据Elasticsearch，Logstash和Kibana设计的狩猎平台。它还通过Jupyter Notebook和Apache Spark提供了高级分析功能。你可以在其GitHub存储库中找到有关它的更多信息。 链接：https://github.com/Cyb3rWard0g/HELK Hunting ELK或简称为HELK是具有高级分析功能（例如SQL声明性语言，图形，结构化流，甚至通过Jupyter笔记本和Apache Spark通过ELK堆栈进行机器学习）的首批开源狩猎平台之一。该项目主要是为研究而开发的，但是由于其灵活的设计和核心组件，可以使用适当的配置和可伸缩的基础结构将其部署在更大的环境中。

6、交流、记录和传达检测结果

完成上述步骤后，应记录检测过程中的思路、方法和遇到的问题以及解决方案等。

ThreatHunter-Playbook：这个开源项目由Rodriguez维护兄弟，旨在帮助文档编制项目，共享威胁搜寻概念，开发某些技术并建立假设。您可以阅读更多有关它的内容在项目的GitHub存储库中。 链接：https://github.com/hunters-forge/ThreatHunter-Playbook

Threat Hunter Playbook是一个基于社区的开源项目，旨在通过利用来自各种操作系统的安全事件日志来共享威胁狩猎概念，并协助开发狩猎活动的技术和假设。该项目不仅提供有关检测的信息，还提供开发数据分析，数据建模甚至数据质量评估等其他非常重要的活动。 此外，在此项目中共享的分析仅在主机和网络级别以类似于SQL的格式表示特定的事件链，因此您可以采用它们并以您喜欢的工具或查询格式应用逻辑。此仓库中提供的分析还遵循MITER ATT＆CK的结构，将战术小组中的折衷后对手行为分类。 最后，该项目以交互式笔记本的形式记录了检测策略，以提供一种简便而灵活的方式来可视化预期的输出，并能够通过BinderHub云计算环境针对预先记录的mordor数据集进行分析。

Rodriguez兄弟还创立了开放威胁研究社区:https://twitter.com/OTR_Community 博客：https://medium.com/threat-hunters-forge

TaHiTI –整合威胁情报的针对性狩猎

有针对性的狩猎综合威胁情报（TaHiTI）是由荷兰多个金融机构共同创建的一种进行威胁狩猎的通用方法。

TaHiTI方法论与威胁情报息息相关，它通过威胁情报提供的攻击者信息为起点进行狩猎，使用威胁情报将狩猎中发现的内容进行关联，甚至可以关联到已知/已有的TTP并推动新的狩猎方法。若遵循此模型，威胁狩猎可提供丰富的威胁情报，因为它可用于发现与攻击者有关的未知的TTP和IOC。

TaHiTI分为3个阶段，8个步骤：

第一阶段-启动

在此阶段，触发狩猎后将转换为调查摘要并进行存储；主要通过5种方法进行触发：

威胁情报 其他狩猎方法 安全监测 安全事件响应：从历史事件、攻防演练中收集的数据 其他：例如确认核心数据，思考如何获取/破坏，研究ATT&CK框架，或研究威胁猎人的专业知识

研究摘要是对假设的粗略描述，该假设将在以下阶段得到完善。建议摘要中包含：创建的日期、摘要、狩猎触发的条件和优先级的信息。

第二阶段-搜寻/狩猎

该方法为实际狩猎，也就是说，在执行之前，必须对假设进行定义和完善。这意味着为狩猎而创建的最初摘要要扩展很多细节，因为随后的狩猎过程中肯定会发现很多新证据。

狩猎最重要的是数据源、选择的分析技术和确定的范围。还应包括已知的威胁情报、分配的资源以及狩猎的分类信息。

狩猎/搜寻结果将用于验证初始假设是否合理，每次狩猎都有三种结果：

1、假设得到证明，并且发现了安全事件。 2、假设失败。这种状态很难判定为一定失败，因为找不到某些攻击痕迹并不一定意味着攻击者/异常工具不存在。 3、没有结论的假设。当没有足够的数据来证明或否定该假设时，只能到此为止。在此阶段，有必要继续完善假设，直到达到状态1或者状态2。

第三阶段-完成

TaHiTI方法的最后阶段时记录猎人的发现。该文件必须包含狩猎的结果和狩猎中得出的结论。结论可以包含提高组织安全性的建议、改善团队狩猎过程的方法等。

文档编写完成后需要与有关各方之间共享，方便针对不同的收件人进行相应的调整，并且报告的信息可能需要根据其安全许可进行编辑或分类。

TaHiTI区分了可能由于威胁而触发的5个狩猎调查过程：

1、安全事件响应：启动IR（事件响应）进程 2、安全监控：创建或优化监测规则 3、威胁情报：发行新威胁者的TTP 4、漏洞管理：解决发现的漏洞 5、对其他团队的建议：共享最终文档，以改善整个组织/圈子的安全状况。

如何建立假设

威胁狩猎的主要特征之一为它是人为驱动的活动，无法完全自动化。核心过程的产生来源就是狩猎的假设，假设是指对组织环境的威胁（真实威胁）与威胁猎人的预感（凭空想象，哈哈）以及如何发现威胁（发现威胁的方法）相一致。（理解：通过经验或者其他狩猎团队共享的情报/文档，设计狩猎方法，执行相关程序，最终发现真实的威胁）

假设一般基于观察发现（例如发现与基线存在偏差）、基于其他组织共享的信息。

提出假设对于产生良好效果的狩猎至关重要，但是定义不正确的假设将导致错误的结果或结论，会对组织造成负面影响，这代表防御失效，给攻击者提供了更长的活动时间；同时在可视化层面上会产生一种错误的安全感，从而会引发错误的假设，感觉没有违规/异常行为的发生，感觉组织环境很安全。

明确定义的假设必须简洁明了，必须可测试，需考虑使用的工具和所需的数据，不能太宽泛，也不能太具体，但是必须指定要从何处收集数据以及要搜寻什么。

罗伯特·M·李（Robert M. Lee）和大卫·比安科（David Bianco）撰写了有关为成功进行威胁狩猎产生假设的SANS白皮书（https://www.sans.org/reading-room/whitepapers/threats/paper/37172）。在本文中，他们区分了三种主要的假设类型：

* 基于威胁情报：这种类型的假设考虑到了良好的IOC；也就是说，妥协，妥善处理威胁，威胁态势和情境的指标地缘政治背景。这种假设的主要危险在于对IOC的关注过多，因此我们最终产生了低质量的比赛。最好将重点放在威胁参与者的TTP上，而不要关注包含数百个指标的摘要。

* 基于情景意识：这种类型的假设依赖于我们确定组织内最重要的资产。这也称为皇冠珠宝分析。猎人试图弄清楚对手在组织环境中可能会寻找什么，包括他们的目标。从这个角度出发，威胁搜寻者必须反思他们要寻找哪种类型的数据需求和活动。重要的是要记住，并非所有事物都应局限于网络领域。在执行情境意识假设时，也应考虑人员，流程和业务需求。

* 基于领域专业知识：这种类型的假设是威胁猎人专业知识的产物。猎人产生的假设是由他们自己决定的背景和经验。猎人过去进行的狩猎也将影响猎人的假设。在这里，文档化过程对于记录已学习的课程并将其与团队中的其他成员共享非常重要。有经验的猎人必须非常意识到偏见。尝试避免不良的分析习惯，并实施偏差预防技术。

最好的更成功的假设是结合了这三种类型的知识的假设。

参考

1、参考书籍《实用威胁情报和数据驱动威胁狩猎》 发行日期：2021年2月 链接：https://learning.oreilly.com/library/view/practical-threat-intelligence/9781838556372/ 说明：本文章为此书籍第二章节“什么是威胁狩猎”的总结

2、参考文章： http://cache.baiducontent.com/c?m=1l7ztRHeSgrG0x96w_1ygXgn9c_MYrEHha9xcPqnL7mOJFhMgqZtkVRwQQA9jo0HF-VNTXahvFto1Kw2E-OGrros4Y7frDPanmHNLFFEfAkOxC0vrOqdXZJTfc02tHsP5g76IvwWcr4FqNFYABQs-ZPksw3-MRc7jEtjJUda-8m&p=882a924f82d205fd0be2960c6164&newp=89759a42dc955af51cbe9b7c590092695d0fc20e3bdcd401298ffe0cc4241a1a1a3aecbf2c24140ed4c4786702af4f5feff635723d0034f1f689df08d2ecce7e79937d70&s=41b0db49fd10d959&user=baidu&fm=sc&query=%CD%B4%BF%E0%BD%F0%D7%D6%CB%FE+hunting&qid=c45490040015859b&p1=3

来源：freebuf.com 2021-04-05 20:54:14 by: SSZZ