教育平台使用案例–防爬虫方案 – 作者:郑州埃文科技

总览

国内领先的在线教育平台

作为国内一家以K12为主的在线教育机构，平台秉承科技让教育更美好的使命，通过直播+辅导的双师模式，提供小学、初中、高中全科，以及语言、职业和兴趣教育等课程，致力于为学生和家长提供个性化、互动化、智能化的在线学习体验。 

挑战

学员信息被爬取

【爬虫作恶给对方带来的数据泄露风险】

该平台作为一家在线教育平台，已经成功为千万学员提供专业化辅导。学员信息作为平台的核心用户资产，其价值更是不言而喻。在近期的调查发现，黑产，竞争对手乃至境外势力，都在非法获取直播平台用户数据，包括学员的账号信息，弹幕信息和评论评价等信息。这些信息，不可避免地被用于了非法牟利的目的，给平台造成了极大的社会和经济负面影响。

【目前传统的防护手段有哪些？】

平台最初只是做了一些简单的策略防护，包括机械地对用户行为判断。例如，如果某个账号每次在固定时间登陆，那么就会被风控系统判定为机器行为。

【当前黑产的攻击方式，给传统攻防手段带来的挑战？】

目前市面上主流的秒拨IP技术，可以实现秒级切换IP，那么普通的用户行为限制在这个时候就无法起到有效的防护作用。这意味着，平台需要一种能实时对抗秒拨爬虫的风控方案，而不是传统机械的用户行为限制模型。

解决方案

【站在黑产的视角解决问题】

使用防恶意爬虫解决方案，我们分析发现，该直播平台90%以上的作恶IP都是来源秒拨代理IP。该方案核心是摒弃了传统的静态IP池概念，首次提出了瞬时有效量的防御机制。基于该平台直播场景中爬虫的IP类型，通过实时捕获恶意秒拨IP的时间，和平台提供的IP时间进行对比，对这些直播用户IP进行动态评分。

经过双方测试评估，平台在直播场景下的敏感风险值是70分。针对70分以上风险请求，平台采用图形验证码等软性方式对可疑请求进行二次验证，这使得黑产在无登录场景下的爬虫效率大大降低。触发验证的请求要么放弃本次爬取，更换ip后重新尝试，要么加入过验证码模块，提高成本。同时，爬取速度也被显著降低。平台也可以根据此类风险标识，给该账号标记恶意标签，综合判断后从更深层次的账号维度进行处置防护。成本大大提高。除此之外，根据IP画像的衰减规则，平台对风险IP分时段监测，动态处置，有效解决了IP时效性问题，更是避免了对正常用户的误杀。

方案价值

【赋能企业走的更远】

自实施防爬虫方案以来，平台对恶意爬虫的预警和处置能力大大提升。目前，该平台对风险IP的捕获增量高达70%以上，是以前风控能力的3-4倍。对教育平台来说，拥有这样一套基于黑产视角设计的IP对抗方案，极大地增强了自身的业务数据安全，不仅可以防范竞争对手的不正当商业行为，同时也是让一些境外做空势力无可乘之机。

来源：freebuf.com 2020-07-24 16:12:26 by: 郑州埃文科技