QQ扫一扫联系
| 分类： | Bug反馈 |
| 需求： | 搜索引擎蜘蛛抓取问题 |
| 详情： |
百度和谷歌都存在同一时间，不同的蜘蛛IP对同一个页面进行抓取的现象。这个是网站地图的问题还是什么呢，很异常啊。 |
| 票数： | 0 |
| 状态： | 已拒绝 |
| 提交人： |
1295cn
|
| 反馈： |
不同的搜索引擎有各自的爬虫调度机制，有时候这些调度机制可能会在同一时间决定抓取相同的页面。 |
| 0票 |
