python爬虫用scrapy获取影片的实例分析

更新时间：2020年11月23日 14:20:37 作者：小妮浅浅

在本篇内容里小编给大家整理的是一篇关于python爬虫用scrapy获取影片的实例分析内容，有兴趣的朋友们可以参考下。

我们平时生活的娱乐中，看电影是大部分小伙伴都喜欢的事情。周围的人总会有意无意的在谈论，有什么影片上映，好不好看之类的话题，没事的时候谈论电影是非常不错的话题。那么，一些好看的影片如果不去电影院的话，在其他地方看都会有大大小小的限制，今天小编就教大家用python中的scrapy获取影片的办法吧。

1. 创建项目

运行命令:

scrapy startproject myfrist（your_project_name）

注意：一般创建爬虫文件时，以网站域名命名

2 编写 spdier

在spiders目录中新建 daidu_spider.py 文件

2.1 注意

爬虫文件需要定义一个类，并继承scrapy.spiders.Spider

必须定义name，即爬虫名，如果没有name，会报错。因为源码中是这样定义的

2.2 编写内容

在这里可以告诉 scrapy 。要如何查找确切数据，这里必须要定义一些属性

name: 它定义了蜘蛛的唯一名称

allowed_domains: 它包含了蜘蛛抓取的基本URL；

start-urls: 蜘蛛开始爬行的URL列表；

parse(): 这是提取并解析刮下数据的方法；

下面的代码演示了蜘蛛代码的样子：

import scrapy
class DoubanSpider(scrapy.Spider):
  name = 'douban'
  allwed_url = 'douban.com'
  start_urls = [
    'https://movie.douban.com/top250/'
  ]
  def parse(self, response):
    movie_name = response.xpath("//div[@class='item']//a/span[1]/text()").extract()
    movie_core = response.xpath("//div[@class='star']/span[2]/text()").extract()
    yield {
      'movie_name':movie_name,
      'movie_core':movie_core
    }

到此这篇关于python爬虫用scrapy获取影片的实例分析的文章就介绍到这了,更多相关python爬虫如何用scrapy获取影片内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！

您可能感兴趣的文章:

用60行代码实现Python自动抢微信红包
这篇文章主要介绍了用60行代码实现Python自动抢微信红包，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
2021-02-02
OpenCV之理解KNN邻近算法k-Nearest Neighbour
这篇文章主要为大家介绍了OpenCV之理解KNN邻近算法k-Nearest Neighbour，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步，早日升职加薪
2023-05-05
Python 实现图片色彩转换案例
我们在看动漫、影视作品中，当人物在回忆过程中，体现出来的画面一般都是黑白或者褐色的。本文将提供将图片色彩转为黑白或者褐色风格的案例详解，感兴趣的小伙伴可以了解一下。
2021-11-11
Python字符串格式化f-string多种功能实现
这篇文章主要介绍了Python字符串格式化f-string格式多种功能实现,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
2020-05-05
详解Python排序算法的实现(冒泡,选择,插入,快速)
这篇文章主要为大家介绍了Python中常见的四种排序算法的实现：冒泡排序、选择排序、插入排序和快速排序，文中通过图片详细讲解了它们实现的原理与代码，需要的可以参考一下
2022-04-04
pycharm代码删除恢复的方法
pycharm是一个很强大的编辑工具，很多朋友在使用过程中容易产生误操作，那么一不小心删除了，怎么恢复呢，今天就给大家介绍pycharm代码删除恢复教程，需要的朋友参考下吧
2021-06-06
Python如何配置环境变量详解
今天带大家学习python如何配置环境变量,文中有非常详细的步骤,对正在学习python的小伙伴们有很好地帮助,需要的朋友可以参考下
2021-05-05
python matplotlib模块基本图形绘制方法小结【直线，曲线，直方图，饼图等】
这篇文章主要介绍了python matplotlib模块基本图形绘制方法,结合实例形式总结分析了Python使用matplotlib模块绘制直线，曲线，直方图，饼图等图形的相关操作技巧,需要的朋友可以参考下
2020-04-04
pytorch 模拟关系拟合——回归实例
今天小编就为大家分享一篇pytorch 模拟关系拟合——回归实例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
2020-01-01
python3利用ctypes传入一个字符串类型的列表方法
今天小编就为大家分享一篇python3利用ctypes传入一个字符串类型的列表方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
2019-02-02

python爬虫用scrapy获取影片的实例分析

相关文章

最新评论

大家感兴趣的内容

最近更新的内容

常用在线小工具