python数据爬下来保存的位置
更新时间：2020年02月17日 11:18:56 作者：十一月的萧邦。
在本篇文章里小编给大家整理的是关于python数据爬下来保存的位置，需要的朋友们可以参考下。
昨天下班后忽然兴起想写一个爬虫抓抓网页上的东西。花了一个钟简单学习了python的基础语法，然后参照网上的例子自己写了个爬虫。
python数据爬下来保存在本地，一般是文件或数据库中，但是文件形式相比要更加简单，如果只是自己写爬虫玩，可以用文件形式来保存数据。
#coding=utf-8
import urllib.request
import re
import os
'''
Urllib 模块提供了读取web页面数据的接口，我们可以像读取本地文件一样读取www和ftp上的数据
urlopen 方法用来打开一个url
read方法 用于读取Url上的数据
'''
def getHtml(url):
page = urllib.request.urlopen(url);
html = page.read();
return html;
def getImg(html):
imglist = re.findall('img src="(http.*?)"',html
return imglist
html = getHtml("https://www.zhihu.com/question/34378366").decode("utf-8");
imagesUrl = getImg(html);
if os.path.exists("D:/imags") == False:
os.mkdir("D:/imags");
count = 0;
for url in imagesUrl:
print(url)
if(url.find('.') != -1):
name = url[url.find('.',len(url) - 5):];
bytes = urllib.request.urlopen(url);
f = open("D:/imags/"+str(count)+name, 'wb');
f.write(bytes.read());
f.flush();
f.close();
count+=1
经测试，基本功能还是可以实现的。花的较多的时间就是正则匹配哪里，因为自己对正则表达式也不是非常熟悉。所以还是花了点时间。
注：上面的程序基于 python 3.5。python3 和 python2 还是有些区别的。我刚开始看基础语法的时候就栽了一些坑里。
以上就是python数据爬下来保存在哪里的详细内容，感谢大家的学习和对脚本之家的支持。
相关文章
为了方便使用和记忆,有时候我们会把numpy.loadtxt()缩写成np.loadtxt(),这篇文章主要给大家介绍了关于Python工程实践之np.loadtxt()读取数据的相关资料,需要的朋友可以参考下2023-07-07
Python中TypeError:unhashable type:'dict'错误的解决办法
这篇文章主要给大家介绍了关于Python中TypeError:unhashable type:'dict'错误的解决办法,文中通过实例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下2023-04-04
这篇文章主要介绍了python两个_多个字典合并相加,本文通过实例代码给大家介绍的非常详细，具有一定的参考借鉴价值，需要的朋友可以参考下2019-12-12
在Linux下使用Python的matplotlib绘制数据图的教程
这篇文章主要介绍了在Linux下使用Python的matplotlib绘制数据图的教程,matplotlib基于Numpy进行科学计算上的延伸,需要的朋友可以参考下2015-06-06
这篇文章主要介绍了Python如何实现强制数据类型转换,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下2019-11-11
Flask的图形化管理界面搭建框架Flask-Admin的使用教程
Flask-Admin是一个为Python的Flask框架服务的微型框架,可以像Django-Admin那样为用户生成Model层面的数据管理界面,接下来就一起来看一下Flask的图形化管理界面搭建框架Flask-Admin的使用教程2016-06-06
在本篇内容里小编给大家分享的是关于python中while和for的区别以及相关知识点，需要的朋友们可以学习下。2019-06-06
plt.hist 函数用于绘制直方图，直方图是一种用来表示数据分布的图形，它将数据分成若干个区间，然后统计每个区间中数据的数量，最终以柱状图的形式展示出来，这篇文章主要介绍了Python 中的 plt.hist 函数基本用法详解,需要的朋友可以参考下2021-04-04
这篇文章主要给大家介绍了关于Python中round()函数实现数值的四舍五入,round()是python自带的一个函数,用于数字的四舍五入,文中通过代码介绍的非常详细,需要的朋友可以参考下2024-05-05
Django 接收Post请求数据,并保存到数据库的实现方法
今天小编就为大家分享一篇Django 接收Post请求数据,并保存到数据库的实现方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2019-07-07
最新评论