网络爬虫升阶之Scrapy(一) scrapy架构安裝(Win

摘要: 所属部位: > Python > 网络爬虫升阶之Scrapy(一) scrapy架构安裝(Windows端,Centos和Ubantu) 什么叫ScrapyScrapy是一个以便抓取网站数据信息,获取构造性数据信息而撰写的运用架构。 能够运...

所属部位: > Python > 网络爬虫升阶之Scrapy(一) scrapy架构安裝(Windows端,Centos和Ubantu)

什么叫Scrapy

Scrapy是一个以便抓取网站数据信息,获取构造性数据信息而撰写的运用架构。 能够运用在包含数据信息发掘,信息内容解决或储存历史时间数据信息等一系列产品的程序中。


这节先详细介绍怎样安裝Scrapy


一、 在Windows系统软件安裝scrapy

1. pip3 install wheel


2.到下边网站地址免费下载Twisted
   a. 进到到 ~gohlke/pythonlibs/#twisted , 免费下载:Twisted-17.9.0-cp36-cp36m-win_amd64.whl(一定要注意,依据你的python版本号和Windows系统软件来挑选相匹配的whl文档;在其中cp36表明python 3.6版本号,amd64表明64位系统软件)
   b. 进到文档所属文件目录
   c. pip3 install Twisted-17.1.0-cp35-cp35m-win_amd64.whl


3.python -m pip install pypiwin32


4.pip3 install scrapy


在windows系统软件上立即pip install scrapy 是会出错的,出错是和twisted相关,因此在Windows端要手动式安裝twisted


怎样分辨scrapy是不是安裝取得成功:

只需进到cmd指令行 

python    #进到python指令行

import scrapy 

假如沒有出错表明安裝取得成功


二、在Linux系统软件Ubantu安裝scrapy

在Ubantu上还要手动式安裝Twisted:


# 安裝相对的依靠

apt-get install python-dev
apt-get install libevent-dev
apt-get install libssl-dev

apt-get install libpython3.6-dev    # 假如你的python是3.6版本号得话,别的版本号则相匹配版本号安裝


# 免费下载twisted
wget packages/90/6942bc22/Twisted-18.7.0.tar.bz2
tar -xjvf Twisted-18.7.0.tar.bz2


# 安裝twisted
cd  ./Twisted-18.7.0.tar.bz2

python3.6 setup.py build
python3.6 setup.py install


# 安裝scrapy
pip install scrapy


三、在Linux系统软件Centos安裝scrapy

在Centos中(我的是Centos 7),安裝scrapy非常简单,立即一句

pip install scrapy 

就可以


张柏沛IT技术性blog > 网络爬虫升阶之Scrapy(一) scrapy架构安裝(Windows端,Centos和Ubantu)

点一下拷贝转截该一篇文章



联系我们

全国服务热线:4000-399-000 公司邮箱:343111187@qq.com

  工作日 9:00-18:00

关注我们

官网公众号

官网公众号

Copyright?2020 广州凡科互联网科技股份有限公司 版权所有 粤ICP备10235580号 客服热线 18720358503