百度是如何收录网页的?百度蜘蛛收录一个网站的的全过程揭秘
我要评论搜索引擎工作过程非常复杂，今天和大家分享一下我所了解的百度蜘蛛是怎么实现网页收录的。
搜索引擎工作大致可以分为四个过程。
1、蜘蛛爬行抓取。
2、信息过滤。
3、建立网页关键词索引。
4、用户搜索输出结果。
蜘蛛爬行抓取
当百度蜘蛛来到一个页面时，它会跟踪页面上的链接，从这个页面爬行到下一个页面，就好像一个递归过程，这样常年累月，不止疲倦的工作。比如蜘蛛来到了我的博客首页http://blog.sina.com.cn/netSEOer，它会先读取根目录下的robots.txt文件，如果没有禁止搜索引擎抓取，那么蜘蛛就开始针对网页上的链接，进行逐一跟踪爬行。比如我的置顶文章“SEO概述|什么是SEO SEO到底是干嘛的”，引擎就会多进程式的来到这篇文章所在的网页抓取信息，如此循坏，没有终结。
信息过滤
为了避免重复爬行和抓取网址，搜索引擎会有一个记录已爬行和未被爬行的地址库，如果你有一个新网站时，你可以去百度官网提交网站的网址，引擎就会记录它，并把它归类到未爬行的网址，然后蜘蛛就会根据这个表格，从数据库中提取URL，访问并抓取页面。
蜘蛛并不会收录所有的页面，它要经过严格检测。当蜘蛛在爬行和抓取一个网页的内容时，会进行一定程度的复制内容检测，如果网页所在的网站权重低，而且大部分文章都是抄袭来的话，蜘蛛就很可能不喜欢你的网站了，不在继续爬行，也就不收录你的网站。
建立网页关键词索引
当蜘蛛抓取了一个页面之后，首先会对页面文字内容进行分析。通过分词技术，将网页的内容简化到关键词，并把关键词和对应的网址制成表格建立索引。
索引又有正向索引和反向索引，正向索引是把网页内容对应的关键词，反向是关键词对应的网页信息。
输出结果
当用户搜索了某个关键词之后，就会通过前面建立的索引表进行关键词匹配，通过反向索引表找到关键词对应的页面，通过引擎对网页综合评分计算以后，根据网页的评分来决定网页的先后顺序排名。
相关推荐：
怎么查询ip是否为百度蜘蛛ip? tracert指令的使用方法
相关文章
如何用百度排查已收录页面网址的异常？四个方面找出收录页面在百度中的
页面被百度收录了成千上万，但是你知道收录的这些页面有多少是错误页面嘛？有多少页面打不开嘛？你花时间去整理错误页面了嘛？本文将提供四个方面找出收录页面在百度中的错2016-01-08- 想要自己网站有排名从搜索引擎里获得流量，除了仅仅首页有排名是完全不行，众多的内页才是我们优化的途径和获取更多流量的来源。而其中可以获取更多流量的内容页却不被收录2016-01-07
- 网站未收录的页面该怎优化让其快速收录？网站总是出现很多未收录的页面，该怎么解决这个问题呢？关于未录入的页面将推送给spider进行抓取，虽然可以提交收录，但是有时候没2016-01-03
- 众所周知，目前微信公众平台发布的内容仅有两个搜索入口，一个是微信和搜狗联合搞的微信搜索，另外一个就是微信APP搜索。如今用百度同样能搜索到公众平台的文章，是一件非2014-10-10
- 关于新站不收录内页这个问题一直都是新手SEO最头疼的问题，下面的文章就详细为大家介绍下加快新站内页收录的方法。希望可以帮助到大家2014-10-09
- 新站只收录首页不收录内页问题估计已经困扰了很多站长无数脑汁了吧，下面一起来看看吧2014-08-07
- 今天小编和大家分享一下新站带www的网页不被收录的原因及解决方法，有兴趣的朋友可以一起来看看2014-08-07
- 这篇文章主要介绍了百度谷歌等搜索引擎的工作原理及网站收录网页提交入口地址,需要的朋友可以参考下2014-04-08
- 你想知道影响百度收录的网页相似度问题怎么解决吗？该文就是解决这一问题的文章，分享给大家2014-01-15
- 站长朋友需要知道。搜索引擎收录页面的特性，才能更好把网站做好，做真正有价值的网站内容2013-12-28
最新评论