go语言实现抓取高清图片

 更新时间:2015年03月20日 10:17:56   投稿:hebedich  
本文给大家分享的是使用go语言实现的抓取高清美女图片的代码,原理非常简单,这里就不多废话了,主要是看到很多小伙伴使用python实现的,心血来潮就用go写了下,推荐给大家。

看到有很多python 的,然后写了个go 的,可以抓取高清图片

 getp.go

复制代码 代码如下:

package main
import (
    "io/ioutil"
    "log"
    "net/http"
    "os"
    "regexp"
    "strconv"
    "strings"
    "sync"
)
var urlist [4]string
var album chan string
var w sync.WaitGroup
var dir string
func main() {
    dir = "tmp/"
    err := os.Mkdir(dir, 0777)
    if err != nil {
        isexist := os.IsExist(err)
        log.Println(isexist)
    }
    album = make(chan string, 200)
    urlist = [4]string{"http://me2-sex.lofter.com/tag/%E7%BE%8E%E5%A5%B3%E6%91%84%E5%BD%B1?page=", "http://me2-sex.lofter.com/tag/%E6%AC%A7%E7%BE%8E?page=", "http://me2-sex.lofter.com/tag/%E6%A8%A1%E7%89%B9?page=", "http://me2-sex.lofter.com/tag/%E7%BE%8E%E5%AA%9B%E9%A6%86?page="}
    for _, v := range urlist {
        for i := 1; i <= 20; i++ {
            url := v + strconv.Itoa(i)
            w.Add(1)
            go GetAlbum(url)
            w.Wait()
        }
    }
}
func GetAlbum(url string) {
    data := GetUrl(url)
    body := string(data)
    part := regexp.MustCompile(`<a class="img" href="(.*)">`)
    match := part.FindAllStringSubmatch(body, -1)
    for _, v := range match {
        album <- v[1]
        w.Add(1)
        go GetItem()
    }
    w.Done()
}
func GetItem() {
    url := <-album
    defer func() {
        ret := recover()
        if ret != nil {
            log.Println(ret)
            w.Done()
        } else {
            w.Done()
        }
    }()
    data := GetUrl(url)
    if len(data) > 10 {
        body := string(data)
        part := regexp.MustCompile(`bigimgsrc="(.*)"`)
        match := part.FindAllStringSubmatch(body, -1)
        for _, v := range match {
            str := strings.Split(v[1], "/")
            length := len(str)
            source := GetUrl(v[1])
            name := str[length-1]
            file, err := os.Create(dir + name)
            if err != nil {
                panic(err)
            }
            size, err := file.Write(source)
            defer file.Close()
            if err != nil {
                panic(err)
            }
            log.Println(size)
        }
    }
}
func GetUrl(url string) []byte {
    ret, err := http.Get(url)
    if err != nil {
        log.Println(url)
        status := map[string]string{}
        status["status"] = "400"
        status["url"] = url
        panic(status)
    }
    body := ret.Body
    data, _ := ioutil.ReadAll(body)
    return data
}

以上所述就是本文的全部内容了,希望对大家熟悉go语言能够有所帮助。

相关文章

  • Go中的交叉编译问题

    Go中的交叉编译问题

    这篇文章主要介绍了Go中的交叉编译问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教
    2023-11-11
  • Go语言学习教程之指针的示例详解

    Go语言学习教程之指针的示例详解

    这篇文章主要通过简单的练习来让大家对Go语言中的指针有所了解,文中的示例代码讲解详细,对我们学习Go语言有一定帮助,需要的可以参考一下
    2022-09-09
  • 详解Go语言中的数据类型及类型转换

    详解Go语言中的数据类型及类型转换

    这篇文章主要为大家介绍了Go语言中常见的几种数据类型,以及他们之间的转换方法,文中的示例代码讲解详细,感兴趣的小伙伴可以了解一下
    2022-04-04
  • Go模板template用法详解

    Go模板template用法详解

    这篇文章主要介绍了Go标准库template模板用法详解;包括GO模板注释,作用域,语法,函数等知识,需要的朋友可以参考下
    2022-04-04
  • 一文带你了解Go中跟踪函数调用链的实现

    一文带你了解Go中跟踪函数调用链的实现

    这篇文章主要为大家详细介绍了go如何实现一个自动注入跟踪代码,并输出有层次感的函数调用链跟踪命令行工具,感兴趣的小伙伴可以跟随小编一起学习一下
    2023-11-11
  • Go语言操作MySql数据库的详细指南

    Go语言操作MySql数据库的详细指南

    数据的持久化是程序中必不可少的,所以编程语言中对数据库的操作是非常重要的一块,这篇文章主要给大家介绍了关于Go语言操作MySql数据库的相关资料,需要的朋友可以参考下
    2023-10-10
  • Golang 中实现 Set的思路详解

    Golang 中实现 Set的思路详解

    本文介绍了Go中两种set的实现原理,并在此基础介绍了对应于它们的两个包简单使用,本文介绍的非常详细,需要的朋友参考下吧
    2024-01-01
  • Go使用proto3的踩坑实战记录

    Go使用proto3的踩坑实战记录

    这篇文章主要给大家介绍了关于Go使用proto3的踩坑记录,文中通过实例代码介绍的非常详细,对大家学习或者会用Go语言具有一定的参考学习价值,需要的朋友可以参考下
    2023-02-02
  • Go语言开发框架反射机制及常见函数示例详解

    Go语言开发框架反射机制及常见函数示例详解

    这篇文章主要为大家介绍了Go语言开发框架反射机制及常见函数示例详解,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步,早日升职加薪
    2022-09-09
  • Golang中for循环的用法示例详解

    Golang中for循环的用法示例详解

    for循环就是让一段代码循环的执行,接下来通过本文给大家讲解Golang中for循环的用法,代码简单易懂,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下
    2022-12-12

最新评论