零基础写python爬虫之爬虫框架Scrapy安装配置
前面十章爬虫笔记陆陆续续记录了一些简单的Python爬虫知识，
用来解决简单的贴吧下载，绩点运算自然不在话下。
不过要想批量下载大量的内容，比如知乎的所有的问答，那便显得游刃不有余了点。
于是乎，爬虫框架Scrapy就这样出场了！
Scrapy = Scrach+Python，Scrach这个单词是抓取的意思，
Scrapy的官网地址：点我点我。
那么下面来简单的演示一下Scrapy的安装流程。
具体流程参照：https://www.jb51.net/article/48607.htm
友情提醒：一定要按照Python的版本下载，要不然安装的时候会提醒找不到Python。建议大家安装32位是因为有些版本的必备软件64位不好找。
1.安装Python（建议32位）
建议安装Python2.7.x，3.x貌似还不支持。
安装完了记得配置环境，将python目录和python目录下的Scripts目录添加到系统环境变量的Path里。
在cmd中输入python如果出现版本信息说明配置完毕。
2.安装lxml
lxml是一种使用 Python 编写的库，可以迅速、灵活地处理 XML。点击这里选择对应的Python版本安装。
3.安装setuptools
用来安装egg文件，点击这里下载python2.7的对应版本的setuptools。
4.安装zope.interface
可以使用第三步下载的setuptools来安装egg文件，现在也有exe版本，点击这里下载。
5.安装Twisted
Twisted是用Python实现的基于事件驱动的网络引擎框架，点击这里下载。
6.安装pyOpenSSL
pyOpenSSL是Python的OpenSSL接口，点击这里下载。
7.安装win32py
提供win32api，点击这里下载
8.安装Scrapy
终于到了激动人心的时候了！安装了那么多小部件之后终于轮到主角登场。
直接在cmd中输入easy_install scrapy回车即可。
9.检查安装
打开一个cmd窗口，在任意位置执行scrapy命令，得到下列页面，表示环境配置成功。
相关文章
这篇文章主要介绍了Python中*args和**kwargs的区别详解,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下2019-09-09
进程(process)和线程(thread)是操作系统的基本概念,是操作系统程序运行的基本单元,本文简要介绍进程和线程的概念以及Python中的多进程和多线程.需要的朋友可以参考下2021-05-05
在Python编程过程中,经常会遇到各种错误,了解这些错误的类型以及如何处理它们是成为一位优秀的Python开发者所必备的技能之一,下面就跟随小编一起学习一下python中的常见错误类型吧2023-11-11
这篇文章主要介绍了python numpy实现rolling滚动案例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2020-06-06
使用python找出list列表中相同元素(指定元素)的所有索引
这篇文章主要给大家介绍了关于使用python找出list列表中相同元素(指定元素)的所有索引,在平时开发过程中经常遇到需要在数据中获取特定的元素索引的信息,需要的朋友可以参考下2023-08-08
Python中的for循环是一种迭代循环,可以迭代容器中的每一个元素,本文通过实例代码给大家介绍Python中的for循环,感兴趣的朋友跟随小编一起看看吧2024-05-05
这篇文章主要为大家介绍了Python中执行MySQL结果限制和分页查询示例详解，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步，早日升职加薪2023-11-11
这篇文章主要介绍了python如何解决指定代码段超时程序卡死，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教2022-11-11
这篇文章主要介绍了一文了解Python 流程控制，Python 中有while和for两种循环机制，其中while循环是条件循环，文章通过展开循环内容展开控制流程详情，需要的小伙伴可以参考一下2022-05-05
这篇文章主要介绍了如何使用Python自动控制windows桌面,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下2019-07-07
最新评论