分享交流
合作共赢!

爬虫项目实战系列【五】-常见的反爬策略与反爬攻克手段

反爬策略

1.通过UA限制或者其他头信息限制

解决方案:构建用户代理池,或其他头信息(爬虫糗事百科)

2.通过访问者IP限制

解决方案:构建IP代理池

3.通过验证码限制

解决方案:手工打码、验证码接口自动识别或者通过机器学习自动识别

4.通过数据的异步加载限制

解决方案:抓包分析或者使用PhantomJS(如淘宝爬虫)

5.通过Cookie限制

解决方案:进行Cookie处理(爬知乎)

6.通过JS限制(如请求的数据通过JS随机生成等)

解决方案:分析JS解密或者使用PhantomJS(爬裁判文书网、腾讯动漫)

 

赞(0) 打赏
未经允许不得转载:琼杰笔记 » 爬虫项目实战系列【五】-常见的反爬策略与反爬攻克手段

评论 抢沙发

评论前必须登录!

 

分享交流,合作共赢!

联系我们加入QQ群

觉得文章有用就打赏一下文章作者

非常感谢你的打赏,我们将继续给力更多优质内容,让我们一起创建更加美好的网络世界!

支付宝扫一扫打赏

微信扫一扫打赏