在此之前应该很多SEO优化的新手来说,Robots文件是什么都不知道,但是没关系,看了阿拉介绍的文章,你不仅知道Robots文件是什么,也知道它的目的和怎么样实操,老铁可自动闪开。
一、怎么样检查自己的网站是否有Robots文件?
1、域名+robots.txt,例如:www.seo6b.com/robots.txt
2.百度站长
二、怎么样加robots?
新建 一个robots.txt文件,写上代码:
User-agent: *
Disallow: /d/
Disallow: /e/class/
Disallow: /e/config/
Disallow: /e/data/
Disallow: /e/enews/
Disallow: /e/update/
*号代表通配符,代表所有的搜索引擎
根据自己网站的情况去填写,然后保存,用FTP上传到根目录即可。
三、什么时候会用到robots.txt
1、有一些内容不想让蜘蛛抓到,如后台、404错误链接等,动态链接提前是网站做了静态或是伪静态的情况下可以加。
2、robots设置的目的是网站还没有改好之前,,用来禁止搜索引擎收录和抓取的。
题目:例网站www.XXX.com/news/123?latd=1&id18,假设nees栏目下有这篇文章,我不想让蜘蛛抓取news下的动态URL应该怎么发写robots?
答案:Disallow: /news/*?*
总结:SEO优化不仅仅是理论,更需要去实践,很多时候是我们自己把它想得复杂化了,其实自己去做一次就会发现其实很容易的,并且只有自己动手,才能知道为什么要这样做,而不这样做的后果是什么,做了我们会有什么优势,这就是SEO