浏览器头可以随便写吗?我改了浏览器头里的东西,再把修改后的浏览器头加到爬虫的请求里,也能返回数据,浏览器头有没有规范呢?我只是改了时间。
@Django中国社区 各种免费的shadowsocks服务器、还有Tor网络都可以用
@olivetree 必须是国外的
@Django中国社区 多谢!多搞点美国的哈~
@olivetree 那回头我搞个免费代理列表吧
@Django中国社区 vpn应该不行,总是用一个ip会被封的
@Django中国社区 现在用的就是免费代理,速度太慢了。vpn 是干嘛的
@olivetree 网上有很多免费代理可以使用的,只是不稳定的,万能的淘宝有VPN
@Django中国社区 请问在哪里买代理呢?我想买些代理去抓取页面,改浏览器头不行了。。。
这就是传说中的bad robot :)
问题不大呢,只要一些常用 的不要更改,都可以骗过常用的服务器