做SEO的工作人员都知道，SEO的目的是为了提高网站在自然搜索结果中的收录数量和排位，从而获得更多的免费流量以便于更好的展现网站的形象，因此SEO的工作人员首先需要和搜索引擎打交道，而这其中最基础的就是网络爬虫也就是——Spider。

　　而按照现今网络的情况将Spider分为以下三类。

　　批量型Spider：一般的站长和SEO工作人员一般需要采集数据时使用的工具大多数就是这一类的爬虫，这种爬虫的一大特点就是只抓取固定的网站的固定的内容，而且根据所设定的时间或是数据达到限制的时候就会停止，所以对于SEO人员来说这是最方便的一种爬虫。

　　增量型Spider：这种爬虫又称为通用爬虫，也是人们在使用搜索引擎时所见到的最多的一种爬虫，增量型Spider没有固定的范围和时间限制，只有在将全部的目标抓取完成后才会停止;还有一点就是会对更新的内容进行再次抓取，越是优秀的抓取越是及时，现今优秀的搜索引擎像是百度、谷歌用的都是这类爬虫。

　　垂直型Spider：这种爬虫又称为聚焦爬虫，这是针对特定的内容进行抓取的一种爬虫，对于需求外的目标不进行抓取，这是因为在很多情况下，全部抓取所浪费的资源太大，所以会选择垂直型Spider抓取自己所需的站点。