一篇文章教会你使用java爬取想要的资源

更新时间：2021年08月25日 09:31:46 作者：Talisman丶

这篇文章主要介绍了使用java爬虫爬取想要的资源，本文给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下

说明

简介: 你还在为想要的资源而获取不到而烦劳吗？你还在为你不会python而爬取不到资源而烦劳吗？没关系，看完我这一篇文章你就会学会用java爬取资源，从此不会因此而烦劳，下面我会以爬取京东物品来进行实战演示！！！

方法摘要

方法	方法说明
adoptNode(Node source)	试图把另一文档中的节点采用到此文档。
createAttribute(String name)	创建指定名称的Attr
createCDATASection(String data)	创建其值为指定字符串的 CDATASection 节点。
createComment(String data)	创建给定指定字符串的 Comment 节点。
createDocumentFragment()	创建空 DocumentFragment 对象。
createElement(String tagName)	创建指定类型的元素。
createElementNS(String namespaceURI, String qualifiedName)	创建给定的限定名称和名称空间 URI 的元素。
createEntityReference(String name)	创建 EntityReference 对象。
createProcessingInstruction(String target, String data)	创建给定指定名称和数据字符串的 ProcessingInstruction 节点。
createTextNode(String data)	创建给定指定字符串的 Text 节点。
getDoctype()	与此文档相关的文档类型声明（参见 DocumentType）。
getDocumentElement()	这是一种便捷属性，该属性允许直接访问文档的文档元素的子节点。
getDocumentURI()	文档的位置，如果未定义或 Document 是使用 DOMImplementation.createDocument 创建的，则为 null。
getDomConfig()	调用 Document.normalizeDocument() 时使用的配置。
getElementsByTagName(String tagname)	按文档顺序返回包含在文档中且具有给定标记名称的所有 Element 的 NodeList。
getElementById(String elementId)	返回具有带给定值的 ID 属性的 Element。
getElementsByTagNameNS(String namespaceURI, String localName)	以文档顺序返回具有给定本地名称和名称空间 URI 的所有 Elements 的 NodeList。
getImplementation()	处理此文档的 DOMImplementation 对象。
getInputEncoding()	指定解析时此文档使用的编码的属性。
getStrictErrorChecking()	指定是否强制执行错误检查的属性。
getXmlEncoding()	作为 XML 声明的一部分，指定此文档编码的属性。
getXmlStandalone()	作为 XML 声明的一部分，指定此文档是否为独立文档的属性。
getXmlVersion()	作为 XML 声明的一部分指定此文档版本号的属性。
importNode(Node importedNode, boolean deep)	从另一文档向此文档导入节点，而不改变或移除原始文档中的源节点；此方法创建源节点的一个新副本。
normalizeDocument()	此方法的行为如同使文档通过一个保存和加载的过程，而将其置为 “normal（标准）” 形式。
renameNode(Node n, String namespaceURI, String qualifiedName)	重命名 ELEMENT_NODE 或 ATTRIBUTE_NODE 类型的现有节点。
setDocumentURI(String documentURI)	//文档的位置，如果未定义或 Document 是使用 DOMImplementation.createDocument 创建的，则为 null。
setStrictErrorChecking(boolean strictErrorChecking)	指定是否强制执行错误检查的属性。
setXmlStandalone(boolean xmlStandalone)	作为 XML 声明的一部分指定此文档是否是单独的的属性。
setXmlVersion(String xmlVersion)	作为 XML 声明的一部分指定此文档版本号的属性。

常用的Element节点方法

得到文档的根节点.

Element element = document.getRootElement();

得到某节点的单个子节点

Element element =root.element("node");

得到某节点下的所有子节点并进行遍历

List nodes = rootElm.elements("node"); 
for (Iterator it = nodes.iterator(); it.hasNext();) { 
  Element element = (Element) it.next(); 
}

在某个节点下添加子节点

Element element = newElement.addElement("node");

删除某个节点

Element element = parentElement.remove(childElement);

设置节点的文字

ageElm.setText("20");

添加一个CDATA节点

Element element = infoElement.addElement("content");
element .addCDATA(diary.getContent());

实战：爬取B站番剧

Maven

<dependency>
    <groupId>org.jsoup</groupId>
    <artifactId>jsoup</artifactId>
    <version>1.13.1</version>
</dependency>

代码

步骤

1.打开控制台检查网页的结构

在这里插入图片描述

2.逐步分析哪些内容在哪个标签下，找到该内容的class或id

比如此处我们要找到 bang_itme 这个class，然后在找它下面的其他class或者id

在这里插入图片描述 3.

3.完整代码如下

public class HtmlParseUtil {
    public static void main(String[] args) throws IOException {
        new HtmlParseUtil().myAnime("柯南");
    }

    public void myAnime(String keyWorks) throws IOException {
        String encode = URLEncoder.encode(keyWorks, "UTF-8");
        String url = "https://search.bilibili.com/all?keyword="+encode+"&from_source=web_search"; // 搜索地址
        Document document = Jsoup.parse(new URL(url), 30000);
        Elements elements = document.getElementsByClass("bangumi-item");
        for (Element element : elements) {
            Elements link = element.getElementsByClass("left-img");
            System.out.println(link.attr("href").split("//")[1]);
            System.out.println(element.getElementsByClass("title").attr("title"));
            System.out.println(element.getElementsByClass("desc").text());
        }
    }
}

4.执行结果

在这里插入图片描述

到此这篇关于一篇文章教会你使用java爬取想要的资源的文章就介绍到这了,更多相关java爬取资源内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！

您可能感兴趣的文章:

Java中的gateway自定义过滤器详解
这篇文章主要介绍了Java中的gateway自定义过滤器详解,过滤器是指gateway在路由过程中(A地址路由到B地址)生效进行过滤操作的,所有首先你得先配一个地址路由,本文提供了部分实现代码,需要的朋友可以参考下
2023-11-11
Micronaut框架的简单使用介绍
这篇文章主要介绍了Micronaut框架的简单使用介绍，帮助大家更好的理解和学习使用Micronaut，感兴趣的朋友可以了解下
2021-04-04
mybatis之foreach用法详解
这篇文章主要介绍了mybatis之foreach用法详解，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
2019-12-12
Java中占位符的超全使用方法分享
这篇文章主要为大家详细介绍了Java中常见的一些占位符的使用方法，例如%d，%s等，文中的示例代码简洁易懂，感兴趣的小伙伴可以跟随小编一起学习学习
2023-05-05
eclipse实现DSA数字签名
这篇文章主要为大家详细介绍了eclipse实现DSA数字签名算法，文中示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
2020-06-06
java枚举类型-Enum
本文详细介绍了 Java1.5 引入的新特性枚举中的关键字enum，运用大量的代码加以解释，相信可以帮助到正在学习该知识的小伙伴，大家可以参考一下
2021-08-08
java实现简单猜数字游戏
这篇文章主要介绍了java实现简单猜数字游戏，文中示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
2019-12-12
java条件语句示例详解
本文给大家介绍java条件语句,Java 中的条件语句允许程序根据条件的不同执行不同的代码块，一个 if 语句包含一个布尔表达式和一条或多条语句，本文结合示例代码给大家讲解的非常详细，需要的朋友可以参考下
2023-05-05
浅谈Springboot之于Spring的优势
这篇文章主要介绍了浅谈Springboot之于Spring的优势，简述了在Java EE开发中遇到的问题，言简意赅，需要的朋友可以参考下。
2017-09-09
MyBatis深入解读懒加载的实现
顾名思义，懒加载就是因为偷懒了，懒得加载了，只有使用的时候才进行加载。其实，懒加载也加延迟加载，主要以应用与Mybatis的关联查询，按照设置的延迟规则，推迟对延迟对关联对象的select查询
2022-04-04