脚本之家 服务器常用软件
快捷导航
您的位置：首页 → 脚本专栏 → python → Python 肯德基官网

Python实战练习之终于对肯德基下手

 更新时间：2021年10月12日 09:16:03   作者：Bitdancing  
读万卷书不如行万里路，学的扎不扎实要通过实战才能看出来，本篇文章手把手带你爬下肯德基的官网,大家可以在过程中查缺补漏，看看自己掌握程度怎么样

请添加图片描述

准备工作

查看肯德基官网的请求方法：post请求。

在这里插入图片描述

X-Requested-With: XMLHttpRequest 判断得肯德基官网是ajax请求

在这里插入图片描述

通过这两个准备步骤，明确本次爬虫目标：
ajax的post请求肯德基官网 获取上海肯德基地点前10页。

分析

获取上海肯德基地点前10页，那就需要先对每页的url进行分析。

第一页

# page1
# http://www.kfc.com.cn/kfccda/ashx/GetStoreList.ashx?op=cname
# POST
# cname: 上海
# pid:
# pageIndex: 1
# pageSize: 10

第二页

# page2
# http://www.kfc.com.cn/kfccda/ashx/GetStoreList.ashx?op=cname
# POST
# cname: 上海
# pid:
# pageIndex: 2
# pageSize: 10

第三页依次类推。

程序入口

首先回顾urllib爬取的基本操作：

# 使用urllib获取百度首页的源码
import urllib.request

# 1.定义一个url，就是你要访问的地址
url = 'http://www.baidu.com'

# 2.模拟浏览器向服务器发送请求 response响应
response = urllib.request.urlopen(url)

# 3.获取响应中的页面的源码 content内容
# read方法 返回的是字节形式的二进制数据
# 将二进制数据转换为字符串
# 二进制-->字符串  解码 decode方法
content = response.read().decode('utf-8')

# 4.打印数据
print(content)
  • 定义一个url，就是你要访问的地址
  • 模拟浏览器向服务器发送请求 response响应
  • 获取响应中的页面的源码 content内容
if __name__ == '__main__':
    start_page = int(input('请输入起始页码: '))
    end_page = int(input('请输入结束页码: '))

    for page in range(start_page, end_page+1):
        # 请求对象的定制
        request = create_request(page)
        # 获取网页源码
        content = get_content(request)
        # 下载数据
        down_load(page, content)

对应的，我们在主函数中也类似声明方法。

url组成数据定位

请添加图片描述

爬虫的关键在于找接口。对于这个案例，在预览页可以找到页面对应的json数据，说明这是我们要的数据。

请添加图片描述

构造url

不难发现，肯德基官网的url的一个共同点，我们把它保存为base_url。

base_url = 'http://www.kfc.com.cn/kfccda/ashx/GetStoreList.ashx?op=cname'

参数

老样子，找规律，只有'pageIndex'和页码有关。

    data = {
        'cname': '上海',
        'pid': '',
        'pageIndex': page,
        'pageSize': '10'
    }

post请求

  •  post请求的参数 必须要进行编码

data = urllib.parse.urlencode(data).encode('utf-8')

  • 编码之后必须调用encode方法
  • 参数放在请求对象定制的方法中：post的请求的参数，是不会拼接在url后面的，而是放在请求对象定制的参数中

所以将data进行编码

data = urllib.parse.urlencode(data).encode('utf-8')

标头获取（防止反爬的一种手段）

请添加图片描述

请添加图片描述

即 响应头中UA部分。

User Agent，用户代理，特殊字符串头，使得服务器能够识别客户使用的操作系统及版本，CPU类型，浏览器及版本，浏览器内核，浏览器渲染引擎，浏览器语言，浏览器插件等。

 headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.71 Safari/537.36 Edg/94.0.992.38'
    }

请求对象定制

参数，base_url，请求头都准备得当后，就可以进行请求对象定制了。

 request = urllib.request.Request(base_url,
  headers=headers, data=data)

获取网页源码

把request请求作为参数，模拟浏览器向服务器发送请求 获得response响应。

 response = urllib.request.urlopen(request)
    content = response.read().decode('utf-8')

获取响应中的页面的源码，下载数据

使用 read()方法，得到字节形式的二进制数据，需要使用 decode进行解码，转换为字符串。

content = response.read().decode('utf-8')

然后我们将下载得到的数据写进文件，使用 with open() as fp 的语法，系统自动关闭文件。

def down_load(page, content):
    with open('kfc_' + str(page) + '.json', 'w', encoding='utf-8') as fp:
        fp.write(content)

全部代码

# ajax的post请求肯德基官网 获取上海肯德基地点前10页

# page1
# http://www.kfc.com.cn/kfccda/ashx/GetStoreList.ashx?op=cname
# POST
# cname: 上海
# pid:
# pageIndex: 1
# pageSize: 10

# page2
# http://www.kfc.com.cn/kfccda/ashx/GetStoreList.ashx?op=cname
# POST
# cname: 上海
# pid:
# pageIndex: 2
# pageSize: 10

import urllib.request, urllib.parse

def create_request(page):
    base_url = 'http://www.kfc.com.cn/kfccda/ashx/GetStoreList.ashx?op=cname'

    data = {
        'cname': '上海',
        'pid': '',
        'pageIndex': page,
        'pageSize': '10'
    }

    data = urllib.parse.urlencode(data).encode('utf-8')

    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.71 Safari/537.36 Edg/94.0.992.38'
    }

    request = urllib.request.Request(base_url, headers=headers, data=data)
    return request

def get_content(request):
    response = urllib.request.urlopen(request)
    content = response.read().decode('utf-8')
    return content

def down_load(page, content):
    with open('kfc_' + str(page) + '.json', 'w', encoding='utf-8') as fp:
        fp.write(content)

if __name__ == '__main__':
    start_page = int(input('请输入起始页码: '))
    end_page = int(input('请输入结束页码: '))

    for page in range(start_page, end_page+1):
        # 请求对象的定制
        request = create_request(page)
        # 获取网页源码
        content = get_content(request)
        # 下载数据
        down_load(page, content)

爬取后结果

在这里插入图片描述

鞠躬！！！其实还爬过Lisa的照片，想看爬虫代码的欢迎留言 ！！！

到此这篇关于Python实战练习之终于对肯德基下手的文章就介绍到这了,更多相关Python 肯德基官网内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！

您可能感兴趣的文章:

相关文章

  • opencv实现图像缩放效果

    opencv实现图像缩放效果

    这篇文章主要为大家详细介绍了opencv实现图像缩放效果，文中示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
    2021-03-03
  • 关于python 的legend图例,参数使用说明

    关于python 的legend图例,参数使用说明

    这篇文章主要介绍了关于python 的legend图例,参数使用说明，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
    2020-04-04
  • Python转为C语言并编译生成二进制文件的教程详解

    Python转为C语言并编译生成二进制文件的教程详解

    这篇文章主要为大家详细介绍了将Python转为C语言并编译生成二进制文件的相关教程,文中的示例代码讲解详细,感兴趣的小伙伴可以了解一下
    2023-12-12
  • Python使用Vagrant搭建开发环境的具体步骤

    Python使用Vagrant搭建开发环境的具体步骤

    使用 Vagrant 搭建开发环境是一个非常方便的方式,它可以帮助你快速创建、配置和管理虚拟机,确保开发环境的一致性,以下是使用 Vagrant 搭建开发环境的具体步骤,需要的朋友可以参考下
    2024-09-09
  • python实现提取COCO,VOC数据集中特定的类

    python实现提取COCO,VOC数据集中特定的类

    这篇文章主要介绍了python实现提取COCO,VOC数据集中特定的类，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
    2020-03-03
  • 使用Python防止SQL注入攻击的实现示例

    使用Python防止SQL注入攻击的实现示例

    这篇文章主要介绍了使用Python防止SQL注入攻击的实现示例，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
    2020-05-05
  • Python keras.metrics源代码分析

    Python keras.metrics源代码分析

    最近在用keras写模型的时候，参考别人代码时，经常能看到各种不同的metrics，因此会产生几个问题，下面主要介绍了Python keras.metrics源代码分析
    2022-11-11
  • 基于Python编写微信清理工具的示例代码

    基于Python编写微信清理工具的示例代码

    这篇文章主要和大家分享一个用Python语言编写的微信清理小工具的示例代码，而且该工具不会删除文字的聊天记录，感兴趣的可以了解一下
    2022-05-05
  • Python基于pandas实现json格式转换成dataframe的方法

    Python基于pandas实现json格式转换成dataframe的方法

    这篇文章主要介绍了Python基于pandas实现json格式转换成dataframe的方法,结合实例形式分析了Python使用pandas模块操作json数据转换成dataframe的相关操作技巧与注意事项,需要的朋友可以参考下
    2018-06-06
  • 如何利用Python动态展示排序算法

    如何利用Python动态展示排序算法

    Python是一种简单易学,功能强大的编程语言,它有高效率的高层数据结构,能够简单、有效地实现面向对象编程,下面这篇文章主要给大家介绍了关于如何利用Python动态展示排序算法的相关资料,需要的朋友可以参考下
    2021-10-10

最新评论