思路分为两种，第一借助splunk平台的MLtoolkit，即使用splunk的日志收集和预处理方法，将机器学习作为使用工具，类似建立dos的搜索模型，模型使用机器学习算法。
第二是最近火热的AIOPS人工智能运维目前没有完整产品，splunk只是初步的模型，现有的各大公司的开源工具公开产品思路，如腾讯的metis，查时序指标，还有根据时序数据查出内存，主机异常，还有按事件类型，将日志按文根格式汇聚，利用文本机器学习算法将类似的异常日志汇聚，按照文本算法降重查异常。第三类知识流，按知识图谱建立体系。
一 Splunk，ML工具使用
Splunk基础搜索命令search，按照日志标识如时间timestimp。Source_ip,这类可以满足日常逻辑，例如分析室边界流量监测，及统计边界ip的某端口的访问次数，搜索命令类似。Source_ip=’’ AND post=’’ AND timestamp=’’再统计次数，但判断是否有安全问题需要人去挨个排查，当人力资源较高时需要智能进行分析进行预警，如机器学习判断dos是判断流量tcp接入syn链接时间flowbyte等各各流量的特征，可能某方面降低人力。
首先引入python，创建一个app
然后将splunk的pythonsdk导入到bin目录下
cd $PLUNK_HOME/etc/apps/MyNewApp/bin
pip install -t . splunk-sdk
这样就引入脚本例如查询系统输入输出
import sys
from splunklib.searchcommands import dispatch, StreamingCommand, Configuration
@Configuration()
class FoobarCommand(StreamingCommand):
def stream(self, records):
for record in records:
record['foo'] = 'bar'
yield record
if __name__ == "__main__":
dispatch(FoobarCommand, sys.argv, sys.stdin, sys.stdout, __name__)
在commands.conf中注册自定义搜索命令在配置文件设置为true，重启splunk也可以在其他app设置该功能
其他训练模型也可以按照该方式导入，类如识别爆破，识别扫描，识别爆破。目前会出现问题是日志平台收集的流量处理方式与模型训练方式不同，即模型需要的是syn_packet，而splunk并不能提供，需要修改splunk收集方式。
二 借助工具篇
只是借助开源工具类如腾讯开源的 metis 系统(参考了 opprentice 实现)：https://github.com/tencent/metis，arundo 开源的 adtk 时序异常检测 python 库：https://github.com/arundo/adtk，netflix基于 PCA 算法的异常检测，跑在 Pig 上：https://github.com/netflix/surus，twitter 的异常检测库，R 语言：https://github.com/twitter/anomalydetection这些异常监测库通常按照监测系统数据，最常见处理情况是异常监测,故障定位，通常是用来判断设备或业务是否稳定运行。如下是常见时间序列异常上下限。
有事件关联挖掘如微软亚研的 Log3C，日志和 KPI 的关联挖掘：https://github.com/logpai/Log3C，log3c结合系统日志和系统接口信息与流量信息。关联的挖掘，还有开源的https://github.com/zzsza/I-am-an-ai-engineer.git。模仿splunk处理模型，但流程是按照先进行模型训练再搜索，平台展示关于安全信息探测。
三 总结
因为整个日志分析不仅仅是关于安全的问题，还包含运维问题，借助日志平台或工具再添加安全分析在准确率上可能比不上安全人员认真排查几小时，但可以当作工具，简化操作。
来源：freebuf.com 2020-06-01 14:32:26 by: 雷石安全实验室
请登录后发表评论
注册