如何把企业的云上日志采集到本地SIEM – 作者:yidaofeiliu

背景 

对于多说甲方企业，不可避免地会使用公有云服务。公有云上的业务一般与企业内网不通，不能够按照内网的那套日志采集手段进行日志收集。笔者经过调研阿里云日志服务相关文档，并通过测试验证，落地了如下阿里云控制台日志收集的流程。如果要收集阿里云上每台云主机的日志，流程类似。

一、阿里云控制台操作审计日志创建跟踪

创建跟踪-create trail

注意，需要为存储日志的空间收费，详情如下：日志服务价格

对于小客户来说，主要收费项为外网读取流量，0.8元/G：

需要创建存储桶，以便后续消费使用（读取日志到本地）

提交后，创建跟踪成功。

二、阿里云控制台配置审计日志投递

将配置审计投递到日志服务SLS，官方链接如下

投递配置审计日志到SLS

三、创建RAM用户和分配权限

参考创建RAM用户，会得到AccessKeyI D和AccessKey Secrete

其次，需要为创建的RAM用户分配权限，为了有权限消费日志，需要配置权限为AliyunLogFullAccess

四、消费审计日志并发送到SIEM的日志收集服务端

日志投递的官方文档如下：通过Syslog投递日志到SIEM

日志收集的脚本如下：sync_data_to_syslog.py

需要安装aliyun-log-python-sdk

python -m pip install aliyun-log-python-sdk -U

在运行脚本前，需要根据前两步的结果，配置如下参数：

endpoint = "cn-huhehaote.log.aliyuncs.com"
accessKeyId = "LTA*****"  #根据自己的accessId填写
accessKey = "JiV*****"      #根据自己的accesskey填写
project = "aliyun-event-trail"
logstore = "actiontrail_aliyun-event-trail"
consumer_group = "sync_data"

endpoint可以在日志服务对应的project下的概览看到

logstore在project下的如下位置看到

配置好接收日志的服务端IP和端口各项参数后，执行python脚本，为了方便测试观察我们可以加一行日志打印

效果如下：

接下来就是日志收集服务端的处理，提供一条日志样例如下，之后属于SIEM处理的标准动作，本文不再详述。

{
"acsRegion": "cn-hangzhou",
"additionalEventData": {
"loginAccount": "***",
"isMFAChecked": "false",
"callback": "https://account.console.aliyun.com/?spm=5176.10***8.top-nav.daccount.3bd9****u"
},
"eventId": "eb4f64bc-2515-4049-b381-7ca6*****",
"eventName": "ConsoleSignin",
"eventRW": "Write",
"eventSource": "http://account.aliyun.com/account_init/init.htm",
"eventTime": "2021-01-24T13:49:39Z",
"eventType": "ConsoleSignin",
"eventVersion": "1",
"requestId": "eb4f64bc-2515-4049-b3******",
"serviceName": "AasCustomer",
"sourceIpAddress": "220.181.41.*",
"userAgent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:84.0) Gecko/20100101 Firefox/84.0",
"userIdentity": {
"accountId": "15538384*****",
"principalId": "15538384*****",
"type": "root-account",
"userName": "root"
}

||__topic__=actiontrail_audit_event||__source__=actiontrail_internal||__tag__:__pack_id__=5b3977dea4ee*******9||event={"acsRegion":"cn-hangzhou","additionalEventData":{"callbackUrl":"https://home.console.aliyun.com/","mfaChecked":"false"},"errorMessage":"success","eventId":"95.20_161149655*******","eventName":"ConsoleSignin","eventRW":"Write","eventSource":"signin.aliyun.com","eventTime":"2021-01-24T13:55:53Z","eventType":"ConsoleSignin","eventVersion":"1","requestId":"95.20_1611496553*******","serviceName":"AasSub","sourceIpAddress":"220.181.41.*","userAgent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:84.0) Gecko/20100101 Firefox/84.0","userIdentity":{"accountId":"1553838*******","principalId":"25983001*******","type":"ram-user","userName":"sec***"}}

来源：freebuf.com 2021-02-22 17:10:28 by: yidaofeiliu