来源：AirPython作者：星安果1.前言大家好，我是安果！众所周知，Python最流行的爬虫框架是Scrapy，它主要用于爬取网站结构性数据今天推荐一款更加简单、轻量级，且功能强大的爬虫框架：feapder2.介绍及安装和Scrapy类似，feapder支持轻量级爬虫、分布式爬虫、批次爬虫、爬虫报警机制等功能内置的3种爬虫如下：AirSpider轻量级爬虫，适合简单场景、数据量少的爬虫Spider分布式爬虫，基于Redis，适用于海量数据，并且支持断点续爬、自动数据入库等功能BatchSpider分布式批次爬虫，主要用于需要周期性采集的爬虫在实战之前，我们在虚拟环境下安装对应的依赖库#安装依赖库pip3installfeapder3.实战一下我们以最简单的AirSpider来爬取一些简单的数据详细实现步骤如下（5步）3-1创建爬虫项目首先，我们使用「feapdercreate-p」命令创建一个爬虫项目#创建一个爬虫项目feapdercreate-ptophub_demo3-2创建爬虫AirSpider命令行进入到spiders文件夹目录下，使用「feapdercreate-s」命令创建一个爬虫cdspiders#创建一个轻量级爬虫feapdercreate-stophub_spider1其中1为默认，表示创建一个轻量级爬虫AirSpider2代表创建一个分布式爬虫Spider3代表创建一个分布式批次爬虫BatchSpider3-3配置数据库、创建数据表、创建映射Item以Mysql为例，首先我们在数据库中创建一张数据表#创建一张数据表createtabletopic(idintauto_incrementprimarykey,titlevarchar()null
转载请注明：http://www.aierlanlan.com/rzfs/6932.html
