Go语言做爬虫状态码返回418的问题解决
更新时间：2021年12月14日 10:47:13 作者：我的名字豌豆
在使用Go语言做爬虫时，使用http.Get(url)去获取网页内容，状态码返回404，本文我们就详细的介绍一下解决方法，感兴趣的可以了解一下
背景
在使用Go语言做爬虫时，使用http.Get(url)去获取网页内容，状态码返回404，Body体为空。
原因分析
http.Get(url)是不需要设置header属性的http请求，比较简单快捷，但状态码返回418，表明我们需要设置其header属性，那么我们可以使用http.NewRequest，在设置其header属性即可~
代码部分
func main7() {
client := &http.Client{}
url := "https://movie.douban.com/top250?start=0&filter="
reqest, err := http.NewRequest("GET", url, nil)
//设置header属性
reqest.Header.Add("User-Agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.130 Safari/537.36 OPR/66.0.3515.115")
if err!=nil {
fmt.Println(err)
return
}
response, _ := client.Do(reqest)
defer response.Body.Close()
buf := make([]byte,4096)
var result string
for {
n,err:=response.Body.Read(buf)
if n == 0 {
fmt.Println("读取网页完成")
break
}
if err!=nil && err!=io.EOF {
fmt.Println("resp body err",err)
return
}
result += string(buf[:n])
//打印读取的网页
fmt.Println(result)
}
}
到此这篇关于Go语言做爬虫状态码返回418的问题解决的文章就介绍到这了,更多相关Go语言爬虫返回418内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！
您可能感兴趣的文章:
相关文章
这篇文章主要介绍了使用Go语言实现配置文件热加载功能，以及配置文件热加载包的实现思路，需要的朋友可以参考下2018-03-03
这篇文章主要为大家介绍了golang recover函数使用中的一些坑解析，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步，早日升职加薪2023-02-02
Go语言的flag库提供了一套简单而强大的接口,用于解析命令行参数,本文主要介绍了Go语言标准库flag的具体实现,具有一定的参考价值,感兴趣的可以了解一下2024-03-03
这篇文章主要介绍了GoLang BoltDB数据库，boltdb是使用Go语言编写的开源的键值对数据库，boltdb存储数据时 key和value都要求是字节数据，此处需要使用到 序列化和反序列化2023-02-02
本文主要介绍了Golang语言实现gRPC的具体使用，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2022-08-08
当我们需要在 main 函数中做一些初始化的工作，比如初始化日志，初始化配置文件，都需要统一初始化入口函数，所以本文就来编写一个统一加载资源的入口吧2023-05-05
这篇文章主要介绍了Go语言展现快速排序算法全过程的思路及代码示例,文章最后作者还提到了对Quick Sort算法优化的一些想法,需要的朋友可以参考下2016-04-04
这篇文章主要介绍了Golang中的time.Duration类型用法说明，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2020-12-12
根据golang的time包的文档可以知道,golang的time结构中存储了两种时钟,一种是Wall Clocks,一种是Monotonic Clocks,下面我们就来简单了解一下这两种结构吧2023-09-09
Go语言atomic.Value如何不加锁保证数据线程安全？
这篇文章主要介绍了Go语言atomic.Value如何不加锁保证数据线程安全详解，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步，早日升职加薪2023-05-05
最新评论