51job-广深数据挖掘岗位爬取

scrapy 项目目录下开启爬虫

提取岗位详细信息，为以后数据分析做准备

scrapy的异步性能还是很不错的，同比相同数据量下用request、lxml写的多线程爬虫性能要高出百分之50以上！