python基于爬虫+django,打造个性化API接口

 更新时间:2021年01月21日 16:20:43   作者:mushroom27  
这篇文章主要介绍了python基于爬虫+django,打造个性化API接口的方法,帮助大家更好的理解和使用python,感兴趣的朋友可以了解下

简述

今天也是同事在做微信小程序的开发,需要音乐接口的测试,可是用网易云的开放接口比较麻烦,也不能进行测试,这里也是和我说了一下,所以就用爬虫写了个简单网易云歌曲URL的爬虫,把数据存入mysql数据库,再利用django封装装了一个简单的API接口,给同事测试使用。

原理

创建django项目,做好基础的配置,在views里写两个方法,一个是从mysql数据库中查数据然后封装成API,一个是爬虫方法,数据扒下来以后,通过django的ORM把数据插入到mysql数据库中。
这里的路由也是对应两个,一个是爬虫的请求路由(就是运行路由),一个是接口路由,MODEL层里也是为了方便,就设了两个字段,一个是歌曲名称,一个是URL地址。

代码如下

views文件代码

from django.shortcuts import render,HttpResponse
import requests
from lxml import etree
from .models import Api
# Create your views here.
def api_wy(request):
  api = Api.objects.all()
  return render(request, "index.html",locals())

def pc(request):
  url = 'https://music.163.com/discover/toplist?id=3779629'
  headers = {
    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3861.400 QQBrowser/10.7.4313.400'
  }
  data = requests.get(url=url, headers=headers)
  html = etree.HTML(data.text)
  music_list = html.xpath('//ul[@class="f-hide"]/li/a')

  music_lis = [] # 存放歌曲信息
  for music in music_list:
    music_name = music.xpath('./text()')[0] # 获取歌曲名称
    music_id_all = music.xpath('./@href')[0] # 获取a标签内容
    music_id = music_id_all.split('=')[-1] # 将a标签内容进行数据清洗,提取歌曲的id
    download_music = music_name + ' ' + f'http://music.163.com/song/media/outer/url?id={music_id}.mp3' # 将歌曲名称和url进行拼接
    music_lis.append(download_music)
    print(download_music)

  for url in music_lis:
    try:
      url_name = url.split(' ')[0] # 获取名称
      url_music = url.split(' ')[1] # 获取url
      Api.objects.create(name=url_name,url=url_music)
      print("正在插入数据")
    except:
      print("charushibai")
  return HttpResponse("正在下载")

URL路由文件

from django.contrib import admin
from django.urls import path
from api.views import api_wy,pc

urlpatterns = [
  path('admin/', admin.site.urls),
  path('api/',api_wy),
  path("pc/",pc),
]

Models层面

from django.db import models

# Create your models here.
class Api(models.Model):
  name = models.CharField('歌曲名称', max_length=100)
  url = models.CharField("歌曲地址",max_length=300)

  class Meta:
    verbose_name = '歌曲API'
    verbose_name_plural = verbose_name

  def __str__(self):
    return self.name

其他的也就没什么可说的了,也是一个比较简单的测试需求,就是为了省点事情才弄得
好了,今天就到这了,拜拜

以上就是python基于爬虫+django,打造个性化API接口的详细内容,更多关于python api接口的资料请关注脚本之家其它相关文章!

相关文章

  • Python VTK映射三维模型表面距离

    Python VTK映射三维模型表面距离

    这篇文章主要介绍了Python VTK映射三维模型表面距离,通过如何使用VTK读取图片计算两个三维模型(stl)的表面距离,并将其距离值映射到模型上展开主题,需要的朋友可以参考一下
    2022-04-04
  • 最小二乘法及其python实现详解

    最小二乘法及其python实现详解

    今天小编就为大家分享一篇最小二乘法及其python实现详解,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2020-02-02
  • 一文带你弄懂Python3中的def __init__

    一文带你弄懂Python3中的def __init__

    说起基础的init函数也是我们的老朋友了,组合函数的要么是理解又一定的难度,要么是操作方法有复杂的地方,小编今天要讲的def __init()__属于第一种,下面这篇文章主要给大家介绍了关于如何通过一文带你弄懂Python3中的def __init__的相关资料,需要的朋友可以参考下
    2022-12-12
  • python调用Matplotlib绘制分布点并且添加标签

    python调用Matplotlib绘制分布点并且添加标签

    这篇文章主要为大家详细介绍了python调用Matplotlib绘制分布点并且添加标签的方法,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2018-05-05
  • 详解python中各种文件打开模式

    详解python中各种文件打开模式

    在python中,总的来说有三种大的模式打开文件,分别是:a, w, r,这篇文章主要介绍了python中各种文件打开模式,需要的朋友可以参考下
    2020-01-01
  • Python3.x检查内存可用大小的两种实现

    Python3.x检查内存可用大小的两种实现

    本文将介绍如何使用Python 3实现检查Linux服务器内存可用大小的方法,包括使用Python标准库实现和使用Linux命令实现两种方式,感兴趣可以了解一下
    2023-05-05
  • python模块与C和C++动态库相互调用实现过程示例

    python模块与C和C++动态库相互调用实现过程示例

    这篇文章主要为大家介绍了python模块与C和C++动态库之间相互调用的实现过程示例,有需要的朋友可以借鉴参考下,希望能够有所帮助
    2021-11-11
  • Django自带的加密算法及加密模块详解

    Django自带的加密算法及加密模块详解

    今天小编就为大家分享一篇Django自带的加密算法及加密模块详解,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2019-12-12
  • python自动化测试之DDT数据驱动的实现代码

    python自动化测试之DDT数据驱动的实现代码

    这篇文章主要介绍了python自动化测试之DDT数据驱动的实现代码,本文给大家介绍的非常详细,具有一定的参考借鉴价值,需要的朋友可以参考下
    2019-07-07
  • Python实现图片识别加翻译功能

    Python实现图片识别加翻译功能

    这篇文章主要介绍了Python使用百度AI接口实现图片识别加翻译功能,本文通过实例代码给大家介绍的非常详细,具有一定的参考借鉴价值,需要的朋友可以参考下
    2019-12-12

最新评论