深圳SEO,专业,诚信,可靠的SEO服务 - 诚信SEO

搜索引擎要知道网上的新生事物，就得派人出去收集。在Yahoo创办初期，许多编辑天天泡在网上，访问新鲜网站，然后将收集来的信息整理成序。当时的网站数量少，做起来比较容易。而现在新网站的出现数量，老站的更新都是爆炸式的，靠人工是不可能完成这个任务的。所以，搜索引擎的发明者就设计了计算机程序，派它们来执行这个任务。

探测器有多种叫法，也叫crawler(爬行器),spider（蜘蛛）,robot（机器人）。这些形象的叫法是描绘搜索引擎派出的蜘蛛机器人爬行在互联网上探测新的信息。Google把它的探测器叫做Googlebot，百度叫Baiduspider,MSN叫MSNbot，而Yahoo则成为Slurp。这个探测器实际上是人们编制的计算机程序，有它部分昼夜的进入访问各个网站，取回网站内容，标签，图片等，然后依照搜索引擎算法给它们编制成索引。所以，这可不是“爬行”而是以光速来访问的。

一个搜索引擎会同事派出许多探测器。这些“机器人”或者从站主直接呈递的网站URL去访问，或者由一个网络用户所装的搜索引擎工具栏得知用户去的网站，或者从一个网站中指向另一个网站的链接过去。探测器不一定是从网站的首页进入访问，所以如果你要探测器访问你的其他网页，那么这个进入页就需要和其他页面相连。达到这个目的的最容易办法就是在每一个页面都加入指向首页的链接。

但是探测器对许多网站不能完整取回信息的，这个大多是由于网站的设计没有按照搜索引擎探测器的思路来进行优化。比如，如果一个页面比较大，探测器也只能截取网页的首部，而且只能跟少量的链接走。Google目前能够吸收100KB的文件，Yahoo会多一点。这个可以通过实验来检验。将一个搜索关键词放在一个很长的网页（约160KB）最后部分，然后看Google的缓存（cache）中显现网页的大小是多少。如果不出意料，Google的cache说这个网页只有101KB，很显然，一部分内容没有被Google抓走。

这个现象告诉我们不要将网页设计的很长，很大。将大的网页拆成诺干小的页面具有多个好处：

使得网页容易被探测器抓取

更容易简历合理的网站内部链接关系

每个网页可以更加集中在重要的关键词语

节省服务器的带宽

方便浏览者阅读