论坛数据能帮你做什么 | 5分钟风控数据干货系列

相信大家对论坛都不陌生，论坛氛围自由，可以方便的交流信息。信贷领域也有相应的垂直论坛，一方面为金融机构提供信息发布、整合营销的渠道，另一方面为用户提供各类理财、贷款、信用卡产品的比较推荐。

正因为论坛开放自由发言的特性，随着互联网金融的兴起，各类信贷、信用卡论坛成为黑产交流的一块重地。

这些黑产圈里的人们每天会在论坛上沟通不同口子的撸技，询问是否有新口子，找‘老哥’，谈‘上岸’，有的为了撸到几百块钱洋洋得意，有的为了申请被拒宣泄不满，有的鄙视贷款平台的垃圾风控，有的和催收人员展开拉锯战…这群人大部分是信贷饥渴的用户，多数贷款平台不上征信成为了他们不还款的理由，凭本事赚钱成为了他们经久不衰的口号。

身为互联网金融风控机构，我们都知道这里面暗流涌动，却无处着手。这也就引出了本文的写作初衷，把如何运用论坛数据进行建模，服务于风控讲明白，希望给一直想用却不知道如何落地的机构一种思路和逻辑。

1、数据获取

对于论坛的数据，获取方式有2种：爬虫和论坛合作联合建模。

1）爬虫

相信业界对爬虫这个已经证明很有效的数据获取方式很了解。

需求调研：需要业务人员具备对信贷产品的了解，对风控也有足够的理解能力，对于黑产的互联网痕迹能够有一些sense，才能调研论坛里面潜藏的黑产数据，比如说常混的板块，常用的“术语”，交流些什么信息。

需求整理：论坛里面能有哪些信息呢？也很简单，页面上有哪些信息就能拿到哪些信息，总体来说包括个人账户信息和个人发帖/回帖信息。

一般个人账户信息页主要包含昵称、平台id、个人签名、个人链接、好友数、回帖数、主题数、用户组、注册时间、最后访问时间、上次活动时间、上次发表时间、经验值、信用币、好友数等字段。爬取时可将上述字段整理出相应的字段名称、英文名称、字段格式、枚举值，最后附上爬取时间。

个人发帖/回帖信息页面能够获得：大板块名称、小板块名称、小板块分类、主题名称、主题查看次数、主题回复贴数、帖子内容、主题帖内容、发帖还是回帖、帖子发表时间、用户名。同样需求中需要明确字段名称、英文名称、字段格式、枚举值表。

需求还需要明确的是爬取的页面（前100页还是一千页），增量爬取的逻辑，以便开发人员明确开发逻辑。技术开发部分不再赘述。

2）和论坛方合作联合建模

如果能够和论坛达成联合建模方式的合作，是最理想的。能够获得的数据更多，更标准，而且可以将用户注册手机号和用户名称强关联。

其实这种方式是一大趋势，目前BAT巨头中阿里旗下的蚂蚁金服已经公开一些DAS变量供战略合作方进行定制化建模部署工作；银联交易流水数据也已经通过银联智策和银联智慧对外输出变量及联合建模；还有运营商也逐步开放数据进行联合建模…这也是一种双赢：论坛既可以赚取数据费用，而且数据不会流出自有系统；合作商可以依据论坛数据做定制化模型，降低坏账。