2 posts tagged with "selenium"

这是一场反爬与反反爬技术人员之间的斗争~

爬虫服务能够在网络上不知疲倦的获取信息，所以一般会带有某些易于常人的特征

反爬则基于这些特征进行拦截，而反反爬有两个思路：
1、消除爬虫特征，使得自己像正常人一样。比如降低爬取频率就是一个不错的方案~
2、破解反爬技术，即使被识别仍然可以获取

在反反爬的技术领域，有这么一类偏方，就是自动化。
它完全模拟常人操作，从而达到"一力破万法"的效果。