百度蜘蛛抓取的基本工作内容
SEO百度蜘蛛
非搜索引擎工作原理抓取网站的流程：为了更好的合作，我们在知道搜索引擎工作原理之前，首先第一步，我们要知道为什么要了解搜索引擎？为了更好的了解搜索引擎，我们要知己知彼，了解搜索引擎和SEO的关系：搜索引擎和SEO是共生的关系。
1、蜘蛛抓取
在抓取之前，我们要知道什么是蜘蛛?蜘蛛，它就是搜索引擎的一个抓取程序。正是这个程序，在我们的互联网上、网络上到处爬行，然后抓取。（不同的搜索引擎，它们的抓取程序不同。）
■ 有道蜘蛛：YoudaoBot
■ 搜狗蜘蛛：Sogou News Spider
■ SOSO蜘蛛：Sosospider
■ 360蜘蛛：360Spider
■ 谷歌机器人：Googlebot
■ 百度蜘蛛：Baiduspid
2
工作内容
（1）爬行：以页面为节点，链接为路径。蜘蛛通过可以点击的链接来抓取网页内容。
（2）抓取：有规则的抓取：从左到右，从上到下蜘蛛怎样在搜索引擎抓取？我们在网络上打开一个页面，如果想看另外一个页面，我们就会点击你想浏览页面的链接，打开另外一个页面，所以页面与页面之间是通过链接来联系的。（蜘蛛认为越靠前的内容越重要）
Q怎样让蜘蛛来我们的网站
（1）让蜘蛛自己来：我们把网站做好，上线之后，搜索引擎自己会有蜘蛛来，但时间可能比较长。
（2）外部链接。就是蜘蛛在抓取、爬行的过程中，遇到一个链接，就会进入链接里面，到达链接的页面，然后再来抓取这个链接里面的内容。（就是把我们网站的链接放到已经收录的网站页面上面，蜘蛛再来抓取其他网页的时候，在其他网页上面发现我们网站的地址，蜘蛛就会顺着链接来到我们的网站）
（3）提交链接 。我们告诉搜索引擎，通知搜索引擎来我们网站。打开站长平台，在站长平台里面找到链接提交，登陆站长平台，在网页抓取里面找到链接提交，我们一个网站可以到手动提交输入框进行提交 。提交链接地址，只是仅仅告诉搜索引擎你有这样一个网站，让搜索引擎派蜘蛛来抓取，但是搜索引擎不一定能够保证你的网站会被收录。
Q判断蜘蛛的真假
反解IP：来判断是否来百度蜘蛛。
命令：nslookup xxx.xxx.xxx.xxx(IP地址）
真：以Baidu。com或baidu.jp的格式。例如：220.181.108.95.启动电脑，在电脑菜单：点击左下角：开始，点击运行，输入cmb ,打开管理员运营窗口：输入nslookup:IP地址日志上有，空格+220.181.108.95
名称：Baiduspider 这个地址不是我们网站的地址，是用户（蜘蛛）来访问我们网页的地址。
robots屏蔽：这是我们的网站和搜索引擎之间有这样一个协议：告诉搜索引擎，哪些内容可以抓取，哪些内容不用抓取。
3、过滤SEO
四大要点
为什么要过滤：
1、低质量内容。2、占用存储资源。图片Alt属性：蜘蛛不能直接识别图片，因为搜索引擎不像人一样，人可以直接用眼睛看到识别图片的内容：知道它是什么内容，图片里面讲的是什么；
1、图像
搜索引擎只能通过Alt属性来识别。网站有很多图片时，我们要通过图片Alt属性，添加文字说明，来帮助搜索，辅助搜索引擎识别。
2、Iframe框架
不利于搜索引擎识别（（搜索引擎不能识别）：击右键，到源代码，用Ctrl+F搜索有没有标签。
JS：鼠标右键，查看源代码and Flash视屏。
3、Table层
击右键，到源代码，搜索table，表格层次不要太深。（表格太深的话同样不能识别）搜索引擎不能识别的内容：搜索引擎就会将它不能是识别的内容视为垃圾内容。
4、内容质量
重复内容。如果我们的网站大部分都是采集、复制别人网站的内容，那么搜索引擎在抓取之前，会和自己数据库里面的内容去比较、对照，如果我们的内容和它（搜索引擎）数据库里面的内容相同，它就会把我们网站相同的内容过滤掉。
4
【排名】
这个基本上都是根据搜索的情况而定的排名，而且会一直在变化当中。
（1）根据用户输入的关键字，在索引库中快速查找出：把跟我们内容、关键词相关度最高的文档展现出来。
（2）基础优化。
（3）用户数据：就是用户访问我们网站的情况：一个网站做的好不好是通过用户来看的，是用户浏览我们网站的反映。用户到一个网站，进行点击、浏览、观看，搜索引擎会把这些数据全部统计下来，然后搜索引擎再根据用户产生数据的反映情况给我们的网站打一个分：如新用户和老用户的反映比例。
——IT小猪。
总结
总而言之，搜索引擎的抓取是基础，也是最基本的前提。如果我们的网页没有被抓取，更别谈之后的过滤、收录和排名，只有我们的网站被搜索引擎抓取了，才有可能被搜索引擎收录，也才有可能在搜索引擎上获得排名，甚至是在排名上取得比较好的名次。
