蜘蛛程序的抓取收录标准 - 慕轲博客-建立自己的个人自媒体博客

心情碎语:等雨停的时候往往雨不会停,等人来的时候往往人不会来。

您的位置:慕轲博客 >优化技巧> 蜘蛛程序的抓取收录标准

蜘蛛程序的抓取收录标准

搜索引擎用来爬行和访问页面的程序被称为蜘蛛(spider),也叫机器人(bot)。搜索引擎命令它到互联网上浏览页,从而得到互联网的所有数据,然后把这些数据存到搜索引擎自己的数据库中。当然了,这个数据库是相当强大的。

22a200c4670200b43db853cefc5d6156.jpg
蜘蛛是怎么爬行的?搜索引擎把蜘蛛分为三种级别:1、初级蜘蛛;2、中级蜘蛛;3,高级蜘蛛。

① 初级蜘蛛。

初级蜘蛛的抓取很简单,它一般情况只负责去爬行新站,爬行深度也很低,它抓取到网页的内容后,会一级一级的提交到搜索引擎数据库,然后先把数据存放起来,过段时间再来爬行,直到搜索引擎觉得爬行到的内容是有价值的才会被放出来。这就是为什么新站都有一个考核期,因为都是一些初级蜘蛛在光顾,所以特别的慢,一般情况爬行深度也很低,有时候只爬了一个首页就完事了。所以这个时期尽量不要太着急,如果文章质量不符合要求,即使通过高权重外链提高蜘蛛的爬行频率收录了内页,也是有可能在后面消失的。

②中级蜘蛛。

中级蜘蛛通过爬行外链和反链(友情链接)来到你的网站,然后再从你的网站爬行,从而抓取你网站的内容,然后把抓取的到的内容,和搜索引擎数据库中原来的数据一一进行对比,看看是原创内容否是、伪原创内容、还是直接采集的内容,从而确定要不要放出来。

③高级蜘蛛。

高级蜘蛛负责去爬行权重比较高的网站,高级蜘蛛有专门的权限,就是秒收。这就是为什么你去权重比较高的论坛发帖,会被搜索引擎直接秒收了。高级蜘蛛爬行深度也是非常的高,他几乎能够爬行到你网站的所有链接页面,高级蜘蛛的来访频率也很高,几乎每天都会来访,这样就完全加快了百度快照的更新频率。这就是为什么这么多站长一直在不断努力的提高权重的原因。

通过了解搜索引擎蜘蛛的工作原理和标准,我们就可以根据自己网站的实际情况,来判断我们处在哪个阶段,并采取相应的措施。

---

转载请注明本文标题和链接:《蜘蛛程序的抓取收录标准

发表评论

44 + 50 =
路人甲 表情
Ctrl+Enter快速提交