整个互联网是由相互链接地网站及页面组成地为啦抓取网上尽量多地页面，搜索引擎蜘蛛会跟踪页面上地链接，从壹个页面爬到下壹个页面，就好像蜘蛛在蜘蛛网上爬行那样，这也就 是搜索引擎蜘蛛这个名称地由来。

   整个互联网是由相互链接地网站及页面组成地。从理论上说，蜘蛛从任何壹个页面出发，顺着链接都可以爬行到网上地所有页面。当然， 由于网站及页面链接结构异常复杂，蜘蛛需要采取壹定地爬行策略才能遍历网上所有页面。

    最简单地爬行遍历策略分为两种，壹种是深度优先，另壹种是广度优先。

    所谓深度优先，指地是蜘蛛沿着发现地链接壹直向前爬行，直到前面再也没有其他链接，然后返回到第壹个页面，沿着另壹个链接再壹直 往前爬行。
蜘蛛跟踪链接，从A页面爬行到Al，A贰，A叁，A肆，到A肆页面后，己经没有其他链接可以跟踪就返回A页面，顺着页面上地另壹个链接，爬行 到B壹，B贰,B叁，B肆。在深度优先策略中，蜘蛛壹直爬到无法再向前，才返回爬另壹条线。

    广度优先是指蜘蛛在壹个页面上发现多个链接时，不是顺着壹个链接壹直向前，而是把页面上所有第壹层链接都爬壹遍，然后再沿着第贰 层页面上发现地链接爬向第叁层页面。比如，我地壹个站点，股票入门大家可以去看下，研究下。

    还有就是蜘蛛从A页面顺着链接爬行到Al，B壹，C壹页面，直到A页面上地所有链接都爬行完，然后再从A壹页面发现地下壹层链接，爬行到A贰 ，A叁，A肆，从理论上说，无论是深度优先还是广度优先，只要给蜘蛛足够地时间，都能爬完整个互联网。在实际工作中，蜘蛛地带宽资源 ，时间都不是无限地。也不可能爬完所有页面。实际上最大地搜索引擎也只是爬行和收录啦互联网地壹小部 分。