已经很久没有使用火车头采集器了。想起曾经做站群SEO那段时间,经常会登陆火车头采集器去采集各大相关网站的资讯内容。而且那个时候采集之风盛行,到处是各种采集站,尤其是小说站、文章站等,动不动就是采集数十万的文章,网站做到权重4那是轻而易举。虽然现在大部分网站很少采集了,但采集还是无处不在,因为一些所谓的原创站点,文章内容很有可能也是采集之后再进行加工制作而成的。所以掌握一种采集技巧对SEO站长而言还是很有帮助的。下面陈评评SEO博客分享的便是火车头采集器使用教程,供新手SEO参考。
火车头采集器网址规则设置
第一步、打开火车头采集器,点击【新建】创建一个新任务,填写一个任务名,设置采集网址规则,分别设置列表页采集规则和列表页所在的文章页规则,分为以下两个步骤。
步骤1:添加起始网址,点击【添加】,选择批量/多页,在地址格式设置需要采集的网页链接,点击【添加】和【完成】即可。此步骤目的是确立有多少个栏目分页链接。
采集网页链接技巧说明:首先确定要采集的网页栏目页,分别查看栏目分页1、分页2和分页3链接规律,对比后会发现分页2和分页3链接很像,只有2和3变化了(分页1其实也是如此,为了SEO格式一般做了隐藏,所以分页1和栏目首页链接一致)可以分析是按照等差数列排列,其实绝大多数的网站栏目页分页都是等差数列来排列的,包括尹华峰博客也是如此。因此,在填写规则是选择等差数列,在地址格式处填写分页2的链接,将变化的数字用(*)代替,根据栏目分页的多少设置项数即可。
步骤2:多级网址获取,点击【添加】,选择网址获取选项,添加提取网址的规则,使用熟练后建议使用结果网址过滤功能,将需要包含的网址和不必包含的网址写进去,可以测试一下规则是否填写正确,然后保存即可。此步骤目的是确立每个栏目下的文章页链接。
多级网址获取技巧说明:我们要获取的是该栏目下的文章页链接,去原网页查看栏目分页的源代码,在该源码页找到第一篇文章页链接的位置,然后在上面选取一小段通用代码,一定是每个栏目页都会出现的代码,通常的表现形式会带有list或者article的代码。
火车头采集器内容规则设置
第二步、设置采集内容规则,可以在典型页面处填写一篇文章页链接进行测试,分别设置标题采集规则和内容采集规则,也分为两个步骤。
步骤a:双击【标题】标签,一般网页的标题是
步骤b:双击【内容】标签,内容提取规则和第一步的步骤2多级网址获取方法是一样的。这里是获取内容,所以是查看内容页的源代码,在该页面找到正文内容,在正文首段上面截取一小段通用代码,该代码也是所有文章页都会出现的,通常的表现形式是article标签为起始,