1.简介 WebMagic是一个非常优秀的Java开源爬虫框架，其功能覆盖了网络爬虫的整个生命周期，包括URL提取、网页内容下载、网页内容解析和数据存储。WebMagic项目的源码可以在github上进行下载。
2.引入依赖 在Idea或者Eclipse中创建Maven工程，并在Maven工程的pom.xml文件中添加WebMagic的dependency，本专栏采用的版本是0.7.3。
<dependency> <groupId>us.codecraft</groupId> <artifactId>webmagic-core</artifactId> <version>0.7.3</version> </dependency> <dependency> <groupId>us.codecraft</groupId> <artifactId>webmagic-extension</artifactId> <version>0.7.3</version> </dependency>WebMagic依赖的jar包含有HttpClient(网页请求开源库)、Jsoup/Xsoup(HTML解析)、slf4j/log4j(配置日志)、Fastjson(JSON数据解析)、jedis/commons-pool(Redis数据库操作)等。 WebMagic核心模块包括Schdule(URL维护和调度模块)、Downloader(页面下载模块)、Processor(URL提取和页面分析模块)、Selector(数据解析模块)、Pipeline(数据存储模块)、Proxy(代理操作模块)。
