将爬虫部署到linux服务器

目录

一、环境搭建1.1、python环境安装1.2、Twisted安装1.3、scrapy安装1.4、scrapy-redis安装（非必须） 二、部署运行2.1、上传项目2.2、启动爬虫2.3、效果查看

一、环境搭建

1.1、python环境安装

参考linux系统安装python3环境

1.2、Twisted安装

因为scrapy爬虫框架依赖Twisted插件，所有需要先安装它 1）cd opt/到目录，执行命令wget https://twistedmatrix.com/Releases/Twisted/18.9/Twisted-18.9.0.tar.bz2，下载对应版本 2）解压 执行命令tar -jxvf Twisted-18.9.0.tar.bz2

[root@localhost opt]# ll drwxr-xr-x. 4 1000 mysql 245 10月 15 2018 Twisted-18.9.0 -rw-r--r--. 1 root root 3088398 10月 15 2018 Twisted-18.9.0.tar.bz2

3）安装 进入Twisted-18.9.0目录，执行命令python3 setup.py install

1.3、scrapy安装

执行命令pip3 install scrapy

1.4、scrapy-redis安装（非必须）

执行命令pip3 install scrapy-redis 如果需要使用scrapy-redis开发分布式爬虫，则需要安装该插件

二、部署运行

2.1、上传项目

将爬虫项目上传至linux服务器的opt/目录下（可使用rz命令或xftp工具）

[root@localhost opt]# ll drwxr-xr-x. 3 root root 40 7月 4 10:40 scrapy03

2.2、启动爬虫

1）进入到/opt/scrapy03/scrapy03/spiders目录

[root@localhost spiders]# ll 总用量 8 -rw-r--r--. 1 root root 161 7月 4 10:40 __init__.py drwxr-xr-x. 2 root root 67 7月 4 10:40 __pycache__ -rw-r--r--. 1 root root 919 7月 4 10:40 quanben.py

2）执行scrapy runspider quanben.py启动爬虫 3）将开启开始写入redis库中，爬虫会正式开始执行 在redis客户端中，执行命令lpush quanben:start_urls + 开始地址

D:\3.dev\soft\redis>redis-cli.exe -h 192.168.1.100 -p 6379 192.168.1.100:6379> lpush quanben:start_urls https://www.quanben.net/8/8583/4296044.html (integer) 1

2.3、效果查看

数据已经成功写入redis库中