python中安装Scrapy模块依赖包汇总
更新时间：2017年07月02日 10:20:25 作者：lon.y@qq.com
Scrapy的安装有一些依赖包,没有这些包是会安装失败的，下面我们就来详细探讨下
本地虚拟环境开发完成之后，上线过程中需要一一安装依赖包，做个记录如下：
CentOS 安装python3.5.3
wget https://www.python.org/ftp/python/3.5.3/Python-3.5.3.tgz tar -xf Python-3.5.3.tgz cd Python-3.5.3 ./configure --prefix=/usr/local/python353 make & make install
完成安装python3.5.3，在不删除系统自带的python2.x情况下，做几个软链：
#做python3软链 ln -s /usr/local/python353/bin/python3 /usr/local/bin/ #pip3软链 ln -s /usr/local/python353/bin/pip3 /usr/local/bin/
上传程序，安装scrapy及其依赖包：
#user agent包 pip3 install fake-useragent -i https://pypi.douban.com/simple/ #pymysql包 pip3 install pymysql -i https://pypi.douban.com/simple/ #PooledDB依赖包 pip3 install DBUtils -i https://pypi.douban.com/simple/ #PIL模块依赖包 pip3 install Image -i https://pypi.douban.com/simple/
在Centos系统中安装过程中，出现一个较为淡疼的问题：系统没有安装sqlite3，故此一直提示：
解决上面问题，下载sqlite3
sudo wget http://www.sqlite.org/2017/sqlite-autoconf-3190300.tar.gz
编译安装：
tar zxvf sqlite-autoconf-3190300.tar.gz cd sqlite-autoconf-3190300 ./configure --prefix=/usr/local/sqlite3 make && make install
重新编译Python，找到Python3.5.3的安装文件路径，编辑setup.py脚本，找到 “sqlite3”
sqlite_inc_paths = [ '/usr/include', '/usr/include/sqlite', '/usr/include/sqlite3', '/usr/local/include', '/usr/local/include/sqlite', '/usr/local/include/sqlite3', ]
在最后一行加入sqlite3编译安装路径，如下：
sqlite_inc_paths = [ '/usr/include', '/usr/include/sqlite', '/usr/include/sqlite3', '/usr/local/include', '/usr/local/include/sqlite', '/usr/local/include/sqlite3', '/usr/local/sqlite3', ]
重新编译Python3.5.3:
./configure --prefix=/usr/local/python353 make && make install
您可能感兴趣的文章:
- 在python3.9下如何安装scrapy的方法
- Python3环境安装Scrapy爬虫框架过程及常见错误
- 图文详解python安装Scrapy框架步骤
- 详解Python网络框架Django和Scrapy安装指南
- 详解Python安装scrapy的正确姿势
- mac下给python3安装requests库和scrapy库的实例
- Python之Scrapy爬虫框架安装及简单使用详解
- Python2.7下安装Scrapy框架步骤教程
- Python3安装Scrapy的方法步骤
- python安装Scrapy图文教程
- windows10系统中安装python3.x+scrapy教程
- 在Linux系统上安装Python的Scrapy框架的教程
- Python安装Scrapy库的常见报错解决
相关文章
这篇文章主要为大家详细介绍了Tensorflow训练MNIST手写数字识别模型，文中示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2020-02-02
这篇文章主要介绍了Python生成并下载文件后端代码实例,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下2020-08-08
python连接MySQL、MongoDB、Redis、memcache等数据库的方法
这篇文章主要介绍了python连接操作MySQL、MongoDB、Redis、memcache等数据库的方法，大家可以参考使用2013-11-11
这篇文章主要介绍了Python如何把十进制数转换成ip地址,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下2020-05-05
今天小编就为大家分享一篇python抓取网站的图片并下载到本地的方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2018-05-05
这篇文章主要为大家介绍了python上下文管理器使用场景及异常处理示例详解，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步，早日升职加薪2022-06-06
这篇文章主要为大家介绍了python爬虫MeterSphere平台执行报告流程解析,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步,早日升职加薪2023-12-12
这篇文章主要介绍了python使用wxPython打开并播放wav文件的方法,涉及Python操作音频文件的相关技巧,需要的朋友可以参考下2015-04-04
python中pandas nlargest()的详细用法小结
df.nlargest()是一个DataFrame的方法,用于返回DataFrame中最大的n个值所在的行,通过调用nlargest()方法,我们返回了分数最高的三个行,并按照降序排列,本文结合实例代码给大家介绍的非常详细,需要的朋友参考下吧2023-10-10
下面小编就为大家带来一篇flask + pymysql操作Mysql数据库的实例。小编觉得挺不错的，现在就分享给大家，也给大家做个参考。一起跟随小编过来看看吧2017-11-11
最新评论