头条爬虫UA和IP段

头条开始做搜索引擎了，明显地开始挑战百度。在 BAT 中，之前分别挑战了腾讯和阿里，现在挑战百度。

随着字节跳动的快速崛起，大部分同学都认为字节跳动取代百度成为BAT中的 `B`了，我认为打过之后才能知道。

头条搜索的爬虫 UA 为 Bytespider

PC 端的User-agent为

1
Mozilla/5.0 (compatible; Bytespider;[https://zhanzhang.toutiao.com/] AppleWebKit/537.36 (KHTML, like Gecko) Chrome/[70.0.0.0](http://70.0.0.0) Safari/537.36

Android端的User-agent为

1
Mozilla/5.0 (Linux; Android 5.0) AppleWebKit/537.36 (KHTML, like Gecko) Mobile Safari/537.36 (compatible; Bytespider; [https://zhanzhang.toutiao.com/]

IOS端的User-agent为

1
Mozilla/5.0 (iPhone; CPU iPhone OS 7\_1\_2 like Mac OS X) AppleWebKit/537.36 (KHTML, like Gecko) Version/7.0 Mobile Safari/537.36 (compatible; Bytespider; [https://zhanzhang.toutiao.com/]

头条搜索的 IP 字段总共涉及8个 IP，具体字段如下：

1
2
3
4
5
6
7
8
110.249.201.0/24
110.249.202.0/24
111.225.148.0/24
111.225.149.0/24
220.243.135.0/24
220.243.136.0/24
60.8.123.0/24
60.8.151.0/24

搜索引擎刚开始做，爬的频率有点高，可以根据自己的实际情况进行屏蔽。