SinSpider

SinSpider是一个用Python+MySQL实现的一个小爬虫。 因为在爬行的的过程中有些网站会检查爬虫标识(User-Agent)，为了能够正常的爬到内容，必须设置一个运行的标识。 现在用了Google的爬虫标识(Googlebot)，只是学习研究而已，切勿胡乱爬行，以免带来不变。当然，你也可以修改为其他的爬虫标识。

现在的SinSpider并没有遵守robots协议，如果你有兴趣可以给它加上去。