你的网站能不能被百度收录,首先要测试抓取
https://ziyuan.baidu.com/crawltools/
如果显示几次抓取失败,那么很有可能防火墙阻止了爬虫。
特别是你使用cloudflare cdn那么默认是阻止的
网上说的添IP xxx.xxx.xxx.xxx/24 然而,我试了并没有用。
解决办法:
进cloudflare选中文语言 防火墙--防火墙规则
分别or添加包含以下 用户代理 (user agent)
百度内容抓取蜘蛛UA关键字:
Baiduspider/2.0
Baiduspider-image
Baiduspider-render/2.0
http://www.baidu.com/search/spider.html
如图示操作。
完成后再次测试抓取,结果可以了
其它蜘蛛爬虫的User Agent你可以自己百度搜索一下,方法相同。