叶哥seo培训

提供网站关键词排名优化培训

什么是robots文件?robots文件常见写法解读(完整版)

2020-5-6 yege 零基础seo入门教程

什么是robots文件 robots协议(也称为爬虫协议、爬虫规则、机器人协议 等)也就是robots.txt,网站通过robots协议告诉搜索引擎哪些页面可以抓取,哪些页面不希望被抓取。 ...

阅读全文>>

标签: robots

评论(0) 浏览(78)