详解java爬虫jsoup解析多空格class数据
在使用jsoup爬取其他网站数据的时候，发现class是带空格的多选择，如果直接使用doc.getElementsByClass(“class的值”),这种方法获取不到想要的数据。
1、问题描述：
在使用jsoup爬取其他网站数据的时候，发现class是带空格的多选择，如果直接使用doc.getElementsByClass(“class的值”),这种方法获取不到想要的数据。
爬取网站页面结构如下：
2、其中文章列表的div为：<div class="am-cf inner_li inner_li_abtest"></div>
我们可以看到其class的值为：am-cf inner_li inner_li_abtest。带空格的。多值的。
如果我们还是用getElementsByClass这个方法获取的话，是获取不到的。eclipse中断点如下：
3、可以看到获取的值的长度size=0。没有获取到数据。
经过各方搜索，发现解决方案：使用的不是getElementsByClass方法，可以使用其他方法。
先上成功后截图：
4、我们可以看到数据的长度size=20了。说明获取到数据了。
下面讲解select方法使用：
Elements org.jsoup.nodes.Element.select(String cssQuery)
5、样式选择器。
查看源码：
6、我们知道这个可以多个。
在看看我们案例中使用的是：div.am-cf.inner_li.inner_li_abtest。为什么要这么写呢？
查看需要爬取文章的页面结构：
总结：以上就是关于java爬虫jsoup解析多空格class数据的详细内容，感谢大家的阅读和对脚本之家的支持。
相关文章
以前我们还需要手写数据库设计文档、现在可以通过引入screw核心包来实现Java 数据库文档一键生成。本文将具体介绍一下如何通过java自动生成数据库设计文档，需要的朋友可以参考下2021-11-11
TCP/IP是一种面向连接的、可靠的、基于字节流的传输层通信协议，它会保证数据不丢包、不乱序。TCP全名是Transmission Control Protocol，它是位于网络OSI模型中的第四层2022-11-11
etcd 是一个高度一致的分布式键值存储系统。本文旨在帮助大家理解etcd，从宏观角度俯瞰etcd全局，掌握etcd的基本操作技能，需要的可以参考一下2022-08-08
这篇文章主要为大家详细介绍了Spring AOP如何实现用户登录统一验证功能，文中的示例代码讲解详细，对我们学习具有一定的借鉴价值，需要的可以参考一下2023-01-01
这篇文章主要为大家介绍了springboot vue项目后端列表接口分页模糊查询，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步，早日升职加薪2022-05-05
这篇文章主要给大家介绍了关于使用Java判断一个时间是否在当前时间区间的相关资料,在日常开发中我们经常会涉及到时间的大小比较或者是判断某个时间是否在某个时间段内,需要的朋友可以参考下2023-07-07
这篇文章主要介绍了hibernate关于session的关闭实例解析，分享了相关代码示例，小编觉得还是挺不错的，具有一定借鉴价值，需要的朋友可以参考下2018-02-02
Jmeter 中 CSV 如何参数化测试数据并实现自动断言示例详解
这篇文章主要介绍了Jmeter 中 CSV 如何参数化测试数据并实现自动断言,本文通过示例给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下2020-07-07
单例对于大家来说并不陌生,但是在什么时候用单例呢？为什么要用呢？本文就带大家了解一下为什么要使用单例,文中有非常详细的介绍,需要的朋友可以参考下2021-06-06
spring依赖注入成功但在调用接口的时候拿到的依赖却是null问题
这篇文章主要介绍了spring依赖注入成功但在调用接口的时候拿到的依赖却是null问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教2023-12-12
最新评论