/

网站不收录原因:网站蜘蛛不抓取原因及解决方法

网站不收录原因:网站蜘蛛不抓取原因及解决方法

  我们在做SEO的过程中,很多时候只看到排名的结果,但实际上有很多排名的过程汇集了SEO优化的关键点,我会分为爬行抓取、收录索引、排名增长和词库流量四节教程来讲解。今天我们来讲第一个知识点,就是爬行和抓取,可能你在无数教程网或者培训视频看过这个讲解,基本都是一带而过,但他们并没有发现爬行和抓取中的细节能够带来多大的影响力!

  实际上,整个排名的过程,我们新上线的网站首先要被搜索引擎抓取和爬行,这样搜索引擎会对我们网站进行收录,对于质量过关的网页会进行索引可能就会达到秒排的效果,然后进一步优化排名的增长过程,最后我们的词库和流量就会慢慢地起来。回过头来,我们做优化的过程中爬行和抓取的作用有多大呢?

  1.网站什么状态下影响我们页面被蜘蛛抓取的多和少?

  我们来思考一个问题,A网站和B网站同时做的站点,为什么有一个网站是2天以后收录了?有一个网站是2个星期以后收录了呢?哪些因素会影响到我们的爬行和抓取呢?

  我们假设一个队列模型,什么叫队列模型呢?比方说我开了一个奶茶店有10个人在排队,A要买1杯,B要买3杯,C要买5000杯(多少杯可以理解对应网站有多少页面)...这样的队列模式说明搜索引擎针对不同大小的站点所分配的抓取资源是不一样的,为什么这么说呢?我开奶茶店,C客户对我来说是5000倍的A客户,是1666倍的B客户,所以我会优先接待C客户,并分配给C更多的资源。

  很多人反馈说为什么我网站没有收录,其实这就是页面量级的结果,页面量级决定了我们的抓取频次,抓取频次影响了我们的网页收录。页面量级也分为两块,第一个是网站总页面数量,第二个网站每天更新的页面数量,而网站蜘蛛抓取频次的大小就取决于这两点,当网站总页面数量越多,每天更新的页面数量越多,网站蜘蛛抓取的频次就会越高,这也是我们做SEO最常规的阶段。

  2.站点服务器压力影响抓取频次

  有的同学为了省钱就买了100或者200块钱的云主机,像伯言的这个站点就是199买的百度云主机,然后就发现一个问题,比方说我网站一天发布了1000篇原创,但是我的网站根本就经不起蜘蛛来抓取1000次、2000次甚至5000次,因为配置太多了。

  以上面奶茶店的例子,假设我奶茶店只有一个小门,然后十个人同时挤进来,你觉得会挤进来吗?最后的结果就是造成网站打不开,这个也是ddos流量攻击的原理,所以百度就会认为你网站打不开,用户体验不佳,然后就降权甚至K站。

  网站不收录原因:网站蜘蛛不抓取原因及解决方法

  如果抓取已经影响到网站正常打开了,可以适当调整抓取频次,建议的话是调整到一半的位置,然后观察并微调,不过我不建议大家在没有爬虫影响网站正常打开的情况下调整抓取频次,大量的抓取代表蜘蛛对你网站的喜欢,可以增加收录和索引,并加快快照更新,何乐而不为呢?与其调整抓取频次,还不如加个几百块钱加强一下站点服务器的配置。

  这里给大家一个建议:页面量级在1000以内的购买虚拟主机就可以了;页面量级在4位数甚至5位数,流量一天几百甚至几千,这个时候你最起码配置个5M带宽的云主机甚至服务器+内存2G,遇到流量攻击,再搞个ipv6即可。

  3.内容质量和内容数量

  可能有朋友要问,“我网站每天蜘蛛抓取几次甚至几十次,为什么还是不收录呢?”这里有两个原因就是内容质量和内容数量,我举个例子,内容更新就好比超市上新商品,用户每天来超市发现都会有点不同,人流量虽然波动但总体上涨,可是有天超市一直就那些商品,用户还是会来,但来的人不会突然增加和持续增长。

  上面说了内容数量会影响蜘蛛抓取,内容质量也会影响蜘蛛抓取什么意思呢?假设我的超市卖的是尖儿货,你买了以后发现很好用,物美价廉,但隔壁超市卖的是水货,你买过一次上当受骗以后,还会去隔壁那家超市吗?很明显是不会的,说不定还要投诉隔壁超市不良心之类的。

伯言营销培训:9年全网整合营销管理经验,擅长用网络营销的18种技术开启互联网生意之旅!让零基础的学员通过学习一步步成为网络营销高手,让互联网生意变得如此简单!