《2020网络安全行业研究白皮书》| 政务服务网站防爬虫解决方案分享 – 作者:riversecurity

2020年12月，由北京市经济和信息化局、北京市通州区人民政府主办的2020网络安全行业生态大会暨金帽子年度盛典在京盛大召开。会上，嘶吼安全产业研究院正式发布《2020网络安全行业研究白皮书》，瑞数信息《某政务服务网站防爬虫解决方案》《某大型在线支付公司动态安全解决方案》作为典型案例收录其中，为政府和业界提供可供参考的、具有先进代表性的深度内容。

瑞数信息《某政务服务网站防爬虫解决方案》

1  建设背景/客户需求

目前，政务服务广泛分布在交通、社保、民政、旅游、公共安全等多个领域，数据数量大、且大多和国计民生紧密关联，涉及公民个人隐私、企业商业秘密等信息，数据开放性需求带来其附加价值高。一旦遭到攻击，后果不堪设想。然而据统计，目前国内政府网站40%—60%的网络流量均来自爬虫，在提供公众查询的服务性网站业务中，这一比例甚至更高。以瑞数信息客户某政务服务网站为例，其初衷是帮助民众更方便地获取信息以及更快速地线上处理各类生活相关问题，并具备两大特点：拥有大量的信息和数据以及需要较高的稳定性和可用性。而这类系统本身所拥有的大量信息，也成为攻击者觑觎的目标。

2  主要挑战

1） 攻击者利用爬虫程序获取公开的信息，产生大量请求，使得该政务服务网站无法响应请求，形成CC攻击，造成正常用户无法访问，或是查询服务体验下降。

2） 爬虫手段和查询工具快速演变和升级，可以模拟业务操作逻辑的获取，CC攻击等绕过现有验证码、黑名单等防护。工具的使用者鱼龙混杂，不仅有个人还有机构，甚至是合作单位；不仅有外部还有企业内部员工

3） 黑产利用从该政务服务网站获取的信息进行对外收费查询业务，造成不良的社会影响。

4） 盈利机构、国内团体、国外研究机构对不断开放的政府数据进行拖库式爬取，从而实时掌握国家级数据。

3 解决方案及优势

根据该政务服务网站被批量爬虫违规收集信息的情况，瑞数信息在防批量爬虫时，核心方式就是运用“动态安全”技术进行人机识别为独特优势。

1）主动防御：不依赖特征码、阀值、打补丁和策略规划等传统方式；通过核心“动态技术”，识别工具，令自动化工具完全失效。

2）轻量管理：无需修改任何应用服务器代码或业务逻辑，无需部署客户端；释放系统资源、降低运维成本。

3）态势感知：独特和细粒度的自动化攻击行为透视，准确定位攻击。清洗日志中大量自动化工具产生的数据，提供优质有效的威胁数据分析。

4）全面防护：高效甄别模拟正常行为的各类自动化工具，达到对已知和未知的自动化攻击的全面防御。

4 瑞数信息实现客户价值

瑞数信息解决方案上线前，虽然已经部署了传统安全防御产品，但是该政务服务网站系统仍然经常被攻击，网页无法打开，投诉量持续增加。紧急上线瑞数动态安全产品后，60小时内，即识别并拦截了近4500万次异常访问请求，异常请求占到向该网站发起的总请求数的78%。深入分析所得安全威胁数据后，技术人员发现，使用Phantomjs、web_driver等常见的爬虫攻击工具进行非正常访问的情况最为普遍；而大部分爬虫都采用多源低频的方式，通过更换大量IP来规避传统安全检测机制，使得溯源难度加大，传统手段失效。

– 关于瑞数信息 –

瑞数信息成立于2012年，是国内创新推出动态安全技术，全程动态保护企业网站应用、业务交易及数据安全的主动式安全防御厂商。

瑞数信息创新的“动态安全”技术，颠覆当前基于攻击特征和行为规则的被动式防御技术，可对已知和未知的自动化攻击，及各种利用自动化工具发起的恶意行为做到及时、高效拦截。结合“动态安全”与“AI人工智能”两大核心技术的协同效力，瑞数信息防护范围覆盖业务反欺诈、Web安全、App安全、API安全、业务威胁感知、数据透视与分析以及物联网等众多领域。

截至目前，瑞数信息用户群已经广泛覆盖电信、政府、金融、制造、能源、教育、交通、医疗、公共设施等各类需要承载关键信息的网站及业务系统。

来源：freebuf.com 2021-03-01 10:31:20 by: riversecurity