脚本之家 服务器常用软件
快捷导航
您的位置：首页 → 脚本专栏 → Golang → Go colly框架

Go语言colly框架的快速入门

 更新时间：2023年07月26日 10:38:34   作者：凉凉的知识库  
Python 中非常知名的爬虫框架有Scrapy，Go 中也有一些 star 数较高的爬虫框架，colly就是其中的佼佼者，它 API 简洁，性能优良，开箱即用，今天就来快速学习一下吧

有些人可能认为爬虫框架和 http client 库的功能一样，用 http client 库也可以写爬虫。当然，无论用第三方的 http client 库还是官方的http库，都可以写爬虫。但术业有专攻，爬虫框架专门为批量爬取设计，往往拥有并发控制、队列、缓存、HTML 解析等一系列开箱即用的 API，能大幅简化在爬虫实现过程中的负担

Python 中非常知名的爬虫框架有Scrapy，Go 中也有一些 star 数较高的爬虫框架。colly就是其中的佼佼者，它 API 简洁，性能优良，开箱即用。今天就来快速学习一下吧！

基本使用

首先引入依赖

go get -u github.com/gocolly/colly/...

之后就可以使用colly，通过Visit函数来告知colly 采集器要访问的 URL

package main
import (
	"fmt"
	"github.com/gocolly/colly/v2"
)
func main() {
	c := colly.NewCollector()
	c.Visit("http://go-colly.org/")
}

这样就行了么？运行下试试，没有任何输出。

$ go run main.go

原因在于代码要求 colly 采集器访问http://go-colly.org/，但没有设定访问 URL 成功或者失败后要执行的动作。colly提供了一系列的回调函数，用于 URL 访问和响应过程中各种情况的处理

例如，可以设定访问 URL 前、响应成功、响应失败时不同逻辑的处理

package main
import (
	"fmt"
	"github.com/gocolly/colly/v2"
)
func main() {
	c := colly.NewCollector()
	c.OnRequest(func(r *colly.Request) {
		fmt.Println("Visiting", r.URL)
	})
	c.OnResponse(func(r *colly.Response) {
		fmt.Println("Visited", r.Request.URL)
	})
	c.OnError(func(_ *colly.Response, err error) {
		fmt.Println("Something went wrong:", err)
	})
	c.Visit("http://go-colly.org/")
}

colly提供的回调和回调的顺序如下图，每个回调可以设置多次，会依次执行

常规配置

配置分两部分，一部分是 colly 采集器的配置，一部分是 HTTP 的配置

colly 采集器的配置

新建 colly 采集器时指定配置，例如

c := colly.NewCollector(
	colly.UserAgent("example.com"),
	colly.DisallowedDomains("baidu.com", "bing.com"),
)
//...
c.Visit("http://baidu.com/")
c.Visit("http://go-colly.org/")

使用环境变量可以不用重新编译代码。看名字大家应该也能猜到每个环境变量都有什么作用

注意环境变量有固定前缀COLLY_，官方文档里并没有说明（坑！）

  • COLLY_ALLOWED_DOMAINS (逗号分隔)
  • COLLY_CACHE_DIR (string)
  • COLLY_DETECT_CHARSET (y/n)
  • COLLY_DISABLE_COOKIES (y/n)
  • COLLY_DISALLOWED_DOMAINS (逗号分隔)
  • COLLY_IGNORE_ROBOTSTXT (y/n)
  • COLLY_MAX_BODY_SIZE (int)
  • COLLY_MAX_DEPTH (0 代表不限深度)
  • COLLY_PARSE_HTTP_ERROR_RESPONSE (y/n)
  • COLLY_USER_AGENT (string)

$ COLLY_DISALLOWED_DOMAINS=baidu.com,bing.com go run main.go
Visiting http://go-colly.org/
Visited http://go-colly.org/
Finished http://go-colly.org/

通过 colly 采集器的属性进行配置

c := colly.NewCollector()
c.UserAgent = "example.com"
//...
c.Visit("http://go-colly.org/")
c.DisallowedDomains = []string{"baidu.com", "bing.com"}
c.Visit("http://baidu.com/")

colly 采集器的配置优先级就是上面介绍的顺序：新建 < 环境变量 < 实例属性

HTTP 的配置

colly 默认使用的是 Go 标准库中的 http client，我们可以进行替换

c := colly.NewCollector()
c.WithTransport(&http.Transport{
	Proxy: http.ProxyFromEnvironment,
	DialContext: (&net.Dialer{
		Timeout:   30 * time.Second,
		KeepAlive: 30 * time.Second,
		DualStack: true,
	}).DialContext,
	MaxIdleConns:          100,
	IdleConnTimeout:       90 * time.Second,
	TLSHandshakeTimeout:   10 * time.Second,
	ExpectContinueTimeout: 1 * time.Second,
}

常见功能

作为一个爬虫，很少会仅抓取一个链接，通常会抓取大量的链接，甚至会不断分析当前页面中的链接，继续进行深度的爬取。代码通常会类似下面

为了避免无限制的爬取，可以限制爬取的域名范围，和访问深度；

colly 会记录已经爬取过的链接，不会再重复爬取

func main() {
	c := colly.NewCollector(
		colly.AllowedDomains("httpbin.org"),
		colly.MaxDepth(2),
	)
	c.OnHTML("a[href]", func(e *colly.HTMLElement) {
		link := e.Attr("href")
		fmt.Printf("Link found: %q -> %s\n", e.Text, link)
		c.Visit(link)
	})
	c.OnError(func(_ *colly.Response, err error) {
		fmt.Println("Something went wrong:", err)
	})
	c.Visit("http://httpbin.org/links/20/3")
}

并行抓取

colly 默认是串行逐个链接进行爬取，想要提高爬取能力最快速简单的方式就是开启并行。

除了需要设置colly.Async(true)之外，还需要在最后c.Wait()等待所有并发的请求执行完成

c.Limit可以针对某一个域名设置并发度和发起每一个请求的延迟时间

func main() {
	c := colly.NewCollector(
		colly.AllowedDomains("httpbin.org"),
		colly.MaxDepth(2),
		colly.Async(true),
	)
	c.OnHTML("a[href]", func(e *colly.HTMLElement) {
		link := e.Attr("href")
		fmt.Printf("Link found: %q -> %s\n", e.Text, link)
		c.Visit(link)
	})
  c.Limit(&colly.LimitRule{
		DomainGlob:  "*httpbin.*",
		Parallelism: 2,
		Delay:      5 * time.Second,
	})
	c.Visit("http://httpbin.org/links/20/3")
	c.Wait()
}

持久化的外部存储

默认情况下已访问的 URL 和 cookie 等信息都是存储在内存中，服务重新启动后将会丢失这部分信息，且无法在多个机器直接共享。

当我们构建一个分布式爬虫时，我们需要一个公共的用于维护状态的持久化存储，例如 redis 等。

package main
import (
	"fmt"
	"github.com/gocolly/colly/v2"
	"github.com/gocolly/redisstorage"
)
func main() {
	c := colly.NewCollector(
		colly.AllowedDomains("httpbin.org", "go-colly.org"),
		colly.MaxDepth(2),
	)
	storage := &redisstorage.Storage{
		Address:  "127.0.0.1:6379",
		Password: "",
		DB:       0,
		Prefix:   "httpbin_test",
	}
	err := c.SetStorage(storage)
	if err != nil {
		panic(err)
	}
  // 清除之前存储的信息，可选
	if err := storage.Clear(); err != nil {
		panic(err)
	}
	defer storage.Client.Close()
	c.OnHTML("a[href]", func(e *colly.HTMLElement) {
		link := e.Attr("href")
		fmt.Printf("Link found: %q -> %s\n", e.Text, link)
		c.Visit(link)
	})
  // ...
	c.Visit("http://httpbin.org/links/20/3")
}

队列

可以使用队列来控制爬取的速率，默认情况下队列也是在内存中的

import (
	"fmt"
	"github.com/gocolly/colly/v2"
	"github.com/gocolly/colly/v2/queue"
)
func main() {
	q, _ := queue.New(
		2, // 消费的进程数
		&queue.InMemoryQueueStorage{MaxSize: 10000}, // 默认的队列，内存队列
	)
	c := colly.NewCollector(
		colly.AllowedDomains("httpbin.org", "go-colly.org"),
		colly.MaxDepth(2),
	)
	c.OnHTML("a[href]", func(e *colly.HTMLElement) {
		link := e.Attr("href")
		fmt.Printf("Link found: %q -> %s\n", e.Text, link)
		q.AddURL(link)
	})
	q.AddURL("http://go-colly.org/")
	q.Run(c)
}

对于构建分布式爬虫来说，可以借助外部的队列提高整体的消费能力。

package main
import (
	"fmt"
	"github.com/gocolly/colly/v2"
	"github.com/gocolly/colly/v2/queue"
	"github.com/gocolly/redisstorage"
)
func main() {
	// 创建redis存储
	storage := &redisstorage.Storage{
		Address:  "127.0.0.1:6379",
		Password: "",
		DB:       0,
		Prefix:   "httpbin_test",
	}
	q, err := queue.New(
		2, // 消费的进程数
		storage,
	)
	if err != nil{
		panic(err)
	}
	c := colly.NewCollector(
		colly.AllowedDomains("httpbin.org", "go-colly.org"),
		colly.MaxDepth(2),
	)
  err = c.SetStorage(storage)
	if err != nil {
		panic(err)
	}
	c.OnHTML("a[href]", func(e *colly.HTMLElement) {
		link := e.Attr("href")
		fmt.Printf("Link found: %q -> %s\n", e.Text, link)
		q.AddURL(link)
	})
	q.AddURL("http://go-colly.org/")
	q.Run(c)
}

总结

这篇文章作为一个入门介绍，看完后你应该能 Get 到普通的 http client 库和爬虫库的区别了吧。

colly 作为一个爬虫框架集成了一系列针对爬虫的 API，想要体验 colly 的更多能力，建议还是好好阅读下 colly 的文档

到此这篇关于Go语言colly框架的快速入门的文章就介绍到这了,更多相关Go colly框架内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！

您可能感兴趣的文章:

相关文章

  • Golang接口型函数使用小结

    Golang接口型函数使用小结

    接口函数指的是用函数实现接口，这样在调用的时候就会非常简便，这种方式适用于只有一个函数的接口，这里以迭代一个map为例，演示这一实现的技巧，对Golang接口型函数使用知识感兴趣的朋友一起看看吧
    2022-06-06
  • Go中使用操作符进行数学运算的示例代码

    Go中使用操作符进行数学运算的示例代码

    在编程中有效地执行数学运算是一项需要开发的重要技能,本文主要介绍了Go中使用操作符进行数学运算的示例代码,具有一定的参考价值,感兴趣的可以了解一下
    2023-10-10
  • 使用GO操作MongoDB的方法

    使用GO操作MongoDB的方法

    这篇文章主要介绍了使用GO操作MongoDB,包括安装MongoDB驱动程序连接mongodb的方法，本文给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下
    2022-05-05
  • go实现fping功能

    go实现fping功能

    这篇文章主要介绍了go实现fping功能,本文通过实例代码给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下
    2020-11-11
  • golang协程设计及调度原理

    golang协程设计及调度原理

    这篇文章主要介绍了golang协程设计及调度原理，文章围绕主题展开详细的内容介绍，具有一定的参考价值，感兴趣的小伙伴可以参考一下
    2022-06-06
  • Golang的循环中break和continue语句的用法讲解

    Golang的循环中break和continue语句的用法讲解

    这篇文章主要介绍了Golang的循环中break和continue语句的用法讲解,是Go语言入门学习中的基础知识,需要的朋友可以参考下
    2015-10-10
  • Go语言的互斥锁的详细使用

    Go语言的互斥锁的详细使用

    本文主要介绍了Go语言的互斥锁的详细使用，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
    2022-06-06
  • Go语言调用Shell与可执行文件的实现

    Go语言调用Shell与可执行文件的实现

    这篇文章主要介绍了Go语言调用Shell与可执行文件的实现，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
    2020-10-10
  • Go语言读取txt文档的操作方法

    Go语言读取txt文档的操作方法

    Go语言提供了很多文件操作的支持，在不同场景下，有对应的处理方式，本节我们来介绍一下Go语言读取txt文档的相关知识，感兴趣的朋友跟随小编一起看看吧
    2022-01-01
  • golang 执行命令行的实现

    golang 执行命令行的实现

    本文主要介绍了golang 执行命令行的实现，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
    2022-08-08

最新评论