python爬虫爬取网页表格数据
更新时间：2018年03月07日 10:41:32 作者：zhuxunyuoyi
这篇文章主要为大家详细介绍了python爬虫爬取网页表格数据，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
用python爬取网页表格数据，供大家参考，具体内容如下
from bs4 import BeautifulSoup
import requests
import csv
import bs4
#检查url地址
def check_link(url):
try:
r = requests.get(url)
r.raise_for_status()
r.encoding = r.apparent_encoding
return r.text
except:
print('无法链接服务器！！！')
#爬取资源
def get_contents(ulist,rurl):
soup = BeautifulSoup(rurl,'lxml')
trs = soup.find_all('tr')
for tr in trs:
ui = []
for td in tr:
ui.append(td.string)
ulist.append(ui)
#保存资源
def save_contents(urlist):
with open("D:/2016年中国企业500强排行榜.csv",'w') as f:
writer = csv.writer(f)
writer.writerow(['2016年中国企业500强排行榜'])
for i in range(len(urlist)):
writer.writerow([urlist[i][1],urlist[i][3],urlist[i][5]])
def main():
urli = []
url = "http://www.maigoo.com/news/463071.html"
rs = check_link(url)
get_contents(urli,rs)
save_contents(urli)
main()
以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持脚本之家。
相关文章
这篇文章主要介绍了python百行代码自制电脑端网速悬浮窗的实现，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2020-05-05
这篇文章主要介绍了pytorch如何定义新的自动求导函数问题，具有很好的参考价值，希望对大家有所帮助。以上为个人经验，希望能给大家一个参考，也希望大家多多支持脚本之家。2022-12-12
这篇文章主要给大家介绍了关于使用python求斐波那契数列中第n个数的值的相关资料，文中通过示例代码介绍的非常详细，对大家的学习或者使用python具有一定的参考学习价值，需要的朋友们下面来一起学习学习吧2020-07-07
本文主要介绍了如何利用Python的ffmpy库实现提取视频中的音频，从而帮助大家更好的理解和学习使用python，感兴趣的朋友可以了解下2021-11-11
Python(wordcloud)如何根据文本数据(.txt文件)绘制词云图
这篇文章主要给大家介绍了关于Python(wordcloud)如何根据文本数据(.txt文件)绘制词云图的相关资料,词云Wordcloud是文本数据的一种可视化表示方式,它通过设置不同的字体大小或颜色来表现每个术语的重要性,需要的朋友可以参考下2024-05-05
这篇文章主要介绍了Python实现队列的方法,结合实例形式分析了Python基于数组和链表实现队列的相关操作技巧与相关注意事项,需要的朋友可以参考下2020-02-02
在日常办公和文档处理中,有时我们需要将多个Word文档、Excel表格或PPT演示文稿转换为PDF文件,本文将介绍如何使用Python编程语言批量实现将多个Word、Excel和PPT文件转换为PDF文件,需要的可以参考下2023-09-09
pycharm社区版安装django并创建一个简单项目的全过程
社区版的pycharm跟专业版的pycharm应用差别还是不太大,下面这篇文章主要给大家介绍了关于pycharm社区版安装django并创建一个简单项目的相关资料,文中通过实例代码介绍的非常详细,需要的朋友可以参考下2022-05-05
这篇文章主要介绍了django使用xlwt导出excel文件实例代码，分享了相关代码示例，小编觉得还是挺不错的，具有一定借鉴价值，需要的朋友可以参考下2018-02-02
这篇文章主要介绍了Pycharm IDE的安装和使用,本文通过图文并茂的形式给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下2020-04-04
最新评论