Python爬虫必备技巧详细总结

 更新时间:2021年10月22日 08:39:18   作者:小旺不正经  
本篇文章介绍了我在爬虫过程中总结的几个必备技巧,都是经过实验的,通读本篇对大家的学习或工作具有一定的价值,需要的朋友可以参考下

自定义函数

import requests
from bs4 import BeautifulSoup
headers={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:93.0) Gecko/20100101 Firefox/93.0'}
def baidu(company):
    url = 'https://www.baidu.com/s?rtt=4&tn=news&word=' + company
    print(url)
    html = requests.get(url, headers=headers).text
    s = BeautifulSoup(html, 'html.parser')
    title=s.select('.news-title_1YtI1 a')
    for i in title:
        print(i.text)
# 批量调用函数
companies = ['腾讯', '阿里巴巴', '百度集团']
for i in companies:
    baidu(i)

批量输出多个搜索结果的标题

image-20211021110056346

结果保存为文本文件

import requests
from bs4 import BeautifulSoup
headers={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:93.0) Gecko/20100101 Firefox/93.0'}
def baidu(company):
    url = 'https://www.baidu.com/s?rtt=4&tn=news&word=' + company
    print(url)
    html = requests.get(url, headers=headers).text
    s = BeautifulSoup(html, 'html.parser')
    title=s.select('.news-title_1YtI1 a')
    fl=open('test.text','a', encoding='utf-8')
    for i in title:
        fl.write(i.text + '\n')
# 批量调用函数
companies = ['腾讯', '阿里巴巴', '百度集团']
for i in companies:
    baidu(i)

image-20211021111507772

写入代码

fl=open('test.text','a', encoding='utf-8')
for i in title:
	fl.write(i.text + '\n')

异常处理

for i in companies:
    try:
        baidu(i)
        print('运行成功')
    except:
        print('运行失败')

写在循环中 不会让程序停止运行 而会输出运行失败

休眠时间

import time
for i in companies:
    try:
        baidu(i)
        print('运行成功')
    except:
        print('运行失败')
time.sleep(5)

time.sleep(5)

括号里的单位是秒

放在什么位置 则在什么位置休眠(暂停)

爬取多页内容

百度搜索腾讯

image-20211021115808442

切换到第二页

image-20211021115857316

去掉多多余的

https://www.baidu.com/s?wd=腾讯&pn=10

分析出

https://www.baidu.com/s?wd=腾讯&pn=0 为第一页
https://www.baidu.com/s?wd=腾讯&pn=10 为第二页
https://www.baidu.com/s?wd=腾讯&pn=20 为第三页
https://www.baidu.com/s?wd=腾讯&pn=30 为第四页
..........

代码

from bs4 import BeautifulSoup
import time
headers={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:93.0) Gecko/20100101 Firefox/93.0'}
def baidu(c):
    url = 'https://www.baidu.com/s?wd=腾讯&pn=' + str(c)+'0'
    print(url)
    html = requests.get(url, headers=headers).text
    s = BeautifulSoup(html, 'html.parser')
    title=s.select('.t a')
    for i in title:
        print(i.text)

for i in range(10):
    baidu(i)
    time.sleep(2)

image-20211021130805642

到此这篇关于Python爬虫必备技巧详细总结的文章就介绍到这了,更多相关Python 爬虫技巧内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家!

相关文章

  • python中pandas库中DataFrame对行和列的操作使用方法示例

    python中pandas库中DataFrame对行和列的操作使用方法示例

    这篇文章主要介绍了python中pandas库中DataFrame对行和列的操作使用方法示例,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2020-06-06
  • django restframework使用redis实现token认证

    django restframework使用redis实现token认证

    本文主要介绍了django restframework使用redis实现token认证,文中通过示例代码介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2021-09-09
  • pandas中DataFrame重置索引的几种方法

    pandas中DataFrame重置索引的几种方法

    在pandas中,经常对数据进行处理 而导致数据索引顺序混乱,从而影响数据读取、插入等,所以小编总结了几种索引重置的方法,需要的朋友们下面随着小编来一起学习学习吧
    2021-05-05
  • pycharm 安装JPype的教程

    pycharm 安装JPype的教程

    这篇文章主要介绍了pycharm 安装JPype的步骤,本文给大家介绍的非常详细,具有一定的参考借鉴价值,需要的朋友可以参考下
    2019-08-08
  • Langchain集成管理prompt功能详解

    Langchain集成管理prompt功能详解

    这篇文章主要为大家介绍了Langchain集成管理prompt功能示例详解,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步,早日升职加薪
    2023-03-03
  • pytest使用@pytest.mark.parametrize()实现参数化的示例代码

    pytest使用@pytest.mark.parametrize()实现参数化的示例代码

    这篇文章主要介绍了pytest使用@pytest.mark.parametrize()实现参数化,本文通过示例代码给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下
    2022-07-07
  • 10个python爬虫入门基础代码实例 + 1个简单的python爬虫完整实例

    10个python爬虫入门基础代码实例 + 1个简单的python爬虫完整实例

    这篇文章主要介绍了10个python爬虫入门基础代码实例和1个简单的python爬虫爬虫贴吧图片的实例,需要的朋友可以参考下
    2020-12-12
  • python实现读取excel写入mysql的小工具详解

    python实现读取excel写入mysql的小工具详解

    EXCEL 和 MySQL 大体上来说都可以算是"数据库",MySQL貌似有EXCEL的接口,但是最近在自学Python,用Python实现了一下,下面这篇文章主要给大家介绍了关于利用python实现读取excel写入mysql的一个小工具,需要的朋友可以参考下。
    2017-11-11
  • python基础之包的导入和__init__.py的介绍

    python基础之包的导入和__init__.py的介绍

    这篇文章主要介绍了python基础之包的导入和__init__.py的相关资料,需要的朋友可以参考下
    2018-01-01
  • Python脚本实现集群检测和管理功能

    Python脚本实现集群检测和管理功能

    这篇文章主要介绍了Python脚本实现集群检测和管理功能,本文讲解了实现想法、开发工具选择、经验分享、代码示例等内容,需要的朋友可以参考下
    2015-03-03

最新评论