大多数 站点出于安全考虑，都会在robots.txt文件中屏蔽掉搜索引擎对敏感路径页面的爬取。robots文件里的敏感路径在针对一个目标渗透时可以帮助我们识别出重要页面，但它的存在不利于自动化工具的批量采集，所以Censys、Shodan、Zoomeye就不会那么灵敏了。