Java 爬虫如何爬取需要登录的网站

 更新时间:2019年10月10日 10:12:20   作者:平头哥的技术博文  
这篇文章主要介绍了Java 爬虫如何爬取需要登录的网站,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下

这是 Java 网络爬虫系列博文的第二篇,在上一篇 Java 网络爬虫新手入门详解 中,我们简单的学习了一下如何利用 Java 进行网络爬虫。在这一篇中我们将简单的聊一聊在网络爬虫时,遇到需要登录的网站,我们该怎么办?

在做爬虫时,遇到需要登陆的问题也比较常见,比如写脚本抢票之类的,但凡需要个人信息的都需要登陆,对于这类问题主要有两种解决方式:一种方式是手动设置 cookie ,就是先在网站上面登录,复制登陆后的 cookies ,在爬虫程序中手动设置 HTTP 请求中的 Cookie 属性,这种方式适用于采集频次不高、采集周期短,因为 cookie 会失效,如果长期采集的话就需要频繁设置 cookie,这不是一种可行的办法,第二种方式就是使用程序模拟登陆,通过模拟登陆获取到 cookies,这种方式适用于长期采集该网站,因为每次采集都会先登陆,这样就不需要担心 cookie 过期的问题。

为了能让大家更好的理解这两种方式的运用,我以获取豆瓣个人主页昵称为例,分别用这两种方式来获取需要登陆后才能看到的信息。获取信息如下图所示:

获取图片中的缺心眼那叫单纯,这个信息显然是需要登陆后才能看到的,这就符合我们的主题啦。接下来分别用上面两种办法来解决这个问题。

手动设置 cookie

手动设置 cookie 的方式,这种方式比较简单,我们只需要在豆瓣网上登陆,登陆成功后就可以获取到带有用户信息的cookie,豆瓣网登录链接:https://accounts.douban.com/passport/login。如下图所示:

图中的这个 cookie 就携带了用户信息,我们只需要在请求时携带这个 cookie 就可以查看到需要登陆后才能查看到的信息。我们用 Jsoup 来模拟一下手动设置 cookie 方式,具体代码如下:

/**
 * 手动设置 cookies
 * 先从网站上登录,然后查看 request headers 里面的 cookies
 * @param url
 * @throws IOException
 */
public void setCookies(String url) throws IOException {

  Document document = Jsoup.connect(url)
      // 手动设置cookies
      .header("Cookie", "your cookies")
      .get();
  //
  if (document != null) {
    // 获取豆瓣昵称节点
    Element element = document.select(".info h1").first();
    if (element == null) {
      System.out.println("没有找到 .info h1 标签");
      return;
    }
    // 取出豆瓣节点昵称
    String userName = element.ownText();
    System.out.println("豆瓣我的网名为:" + userName);
  } else {
    System.out.println("出错啦!!!!!");
  }
}

从代码中可以看出跟不需要登陆的网站没什么区别,只是多了一个.header("Cookie", "your cookies") ,我们把浏览器中的 cookie 复制到这里即可,编写 main 方法

public static void main(String[] args) throws Exception {
  // 个人中心url
  String user_info_url = "https://www.douban.com/people/150968577/";
  new CrawleLogin().setCookies(user_info_url);

运行 main 得到结果如下:

可以看出我们成功获取到了缺心眼那叫单纯,这说明我们设置的 cookie 是有效的,成功的拿到了需要登陆的数据。这种方式是真的比较简单,唯一的不足就是需要频繁的更换 cookie,因为 cookie 会失效,这让你使用起来就不是很爽啦。

模拟登陆方式

模拟登陆的方式可以解决手动设置 cookie 方式的不足之处,但同时也引入了比较复杂的问题,现在的验证码形形色色、五花八门,很多都富有挑战性,比如在一堆图片中操作某类图片,这个还是非常有难度,不是随便就能够编写出来。所以对于使用哪种方式这个就需要开发者自己去衡量利弊啦。今天我们用到的豆瓣网,在登陆的时候就没有验证码,对于这种没有验证码的还是比较简单的,关于模拟登陆方式最重要的就是找到真正的登陆请求、登陆需要的参数。 这个我们就只能取巧了,我们先在登陆界面输入错误的账号密码,这样页面将不会跳转,所以我们就能够轻而易举的找到登陆请求。我来演示一下豆瓣网登陆查找登陆链接,我们在登陆界面输入错误的用户名和密码,点击登陆后,在 network 查看发起的请求链接,如下图所示:

从 network 中我们可以查看到豆瓣网的登陆链接为https://accounts.douban.com/j/mobile/login/basic,需要的参数有五个,具体参数查看图中的 Form Data,有了这些之后,我们就能够构造请求模拟登陆啦。登陆后进行后续操作,接下来我们就用 Jsoup 来模拟登陆到获取豆瓣主页昵称,具体代码如下:

/**
 * Jsoup 模拟登录豆瓣 访问个人中心
 * 在豆瓣登录时先输入一个错误的账号密码,查看到登录所需要的参数
 * 先构造登录请求参数,成功后获取到cookies
 * 设置request cookies,再次请求
 * @param loginUrl 登录url
 * @param userInfoUrl 个人中心url
 * @throws IOException
 */
public void jsoupLogin(String loginUrl,String userInfoUrl) throws IOException {

  // 构造登陆参数
  Map<String,String> data = new HashMap<>();
  data.put("name","your_account");
  data.put("password","your_password");
  data.put("remember","false");
  data.put("ticket","");
  data.put("ck","");
  Connection.Response login = Jsoup.connect(loginUrl)
      .ignoreContentType(true) // 忽略类型验证
      .followRedirects(false) // 禁止重定向
      .postDataCharset("utf-8")
      .header("Upgrade-Insecure-Requests","1")
      .header("Accept","application/json")
      .header("Content-Type","application/x-www-form-urlencoded")
      .header("X-Requested-With","XMLHttpRequest")
      .header("User-Agent","Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 Safari/537.36")
      .data(data)
      .method(Connection.Method.POST)
      .execute();
  login.charset("UTF-8");
  // login 中已经获取到登录成功之后的cookies
  // 构造访问个人中心的请求
  Document document = Jsoup.connect(userInfoUrl)
      // 取出login对象里面的cookies
      .cookies(login.cookies())
      .get();
  if (document != null) {
    Element element = document.select(".info h1").first();
    if (element == null) {
      System.out.println("没有找到 .info h1 标签");
      return;
    }
    String userName = element.ownText();
    System.out.println("豆瓣我的网名为:" + userName);
  } else {
    System.out.println("出错啦!!!!!");
  }
}

这段代码分两段,前一段是模拟登陆,后一段是解析豆瓣主页,在这段代码中发起了两次请求,第一次请求是模拟登陆获取到 cookie,第二次请求时携带第一次模拟登陆后获取的cookie,这样也可以访问需要登陆的页面,修改 main 方法

public static void main(String[] args) throws Exception {
  // 个人中心url
  String user_info_url = "https://www.douban.com/people/150968577/";

  // 登陆接口
  String login_url = "https://accounts.douban.com/j/mobile/login/basic";

  // new CrawleLogin().setCookies(user_info_url);
  new CrawleLogin().jsoupLogin(login_url,user_info_url);
}

运行 main 方法,得到如下结果:

模拟登陆的方式也成功的获取到了网名缺心眼那叫单纯,虽然这已经是最简单的模拟登陆啦,从代码量上就可以看出它比设置 cookie 要复杂很多,对于其他有验证码的登陆,我就不在这里介绍了,第一是我在这方面也没什么经验,第二是这个实现起来比较复杂,会涉及到一些算法和一些辅助工具的使用,有兴趣的朋友可以参考崔庆才老师的博客研究研究。模拟登陆写起来虽然比较复杂,但是只要你编写好之后,你就能够一劳永逸,如果你需要长期采集需要登陆的信息,这个还是值得你的做的。

除了使用 jsoup 模拟登陆外,我们还可以使用 httpclient 模拟登陆,httpclient 模拟登陆没有 Jsoup 那么复杂,因为 httpclient 能够像浏览器一样保存 session 会话,这样登陆之后就保存下了 cookie ,在同一个 httpclient 内请求就会带上 cookie 啦。httpclient 模拟登陆代码如下:

/**
 * httpclient 的方式模拟登录豆瓣
 * httpclient 跟jsoup差不多,不同的地方在于 httpclient 有session的概念
 * 在同一个httpclient 内不需要设置cookies ,会默认缓存下来
 * @param loginUrl
 * @param userInfoUrl
 */
public void httpClientLogin(String loginUrl,String userInfoUrl) throws Exception{

  CloseableHttpClient httpclient = HttpClients.createDefault();
  HttpUriRequest login = RequestBuilder.post()
      .setUri(new URI(loginUrl))// 登陆url
      .setHeader("Upgrade-Insecure-Requests","1")
      .setHeader("Accept","application/json")
      .setHeader("Content-Type","application/x-www-form-urlencoded")
      .setHeader("X-Requested-With","XMLHttpRequest")
      .setHeader("User-Agent","Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 Safari/537.36")
      // 设置账号信息
      .addParameter("name","your_account")
      .addParameter("password","your_password")
      .addParameter("remember","false")
      .addParameter("ticket","")
      .addParameter("ck","")
      .build();
  // 模拟登陆
  CloseableHttpResponse response = httpclient.execute(login);
  if (response.getStatusLine().getStatusCode() == 200){
    // 构造访问个人中心请求
    HttpGet httpGet = new HttpGet(userInfoUrl);
    CloseableHttpResponse user_response = httpclient.execute(httpGet);
    HttpEntity entity = user_response.getEntity();
    //
    String body = EntityUtils.toString(entity, "utf-8");

    // 偷个懒,直接判断 缺心眼那叫单纯 是否存在字符串中
    System.out.println("缺心眼那叫单纯是否查找到?"+(body.contains("缺心眼那叫单纯")));
  }else {
    System.out.println("httpclient 模拟登录豆瓣失败了!!!!");
  }
}

运行这段代码,返回的结果也是 true。

有关 Java 爬虫遇到登陆问题就聊得差不多啦,来总结一下:对于爬虫遇到登陆问题有两种解决办法,一种是手动设置cookie,这种方式适用于短暂性采集或者一次性采集,成本较低。另一种方式是模拟登陆的方式,这种方式适用于长期采集的网站,因为模拟登陆的代价还是蛮高的,特别是一些变态的验证码,好处就是能够让你一劳永逸

源代码:源代码

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持脚本之家。

相关文章

  • Spring Boot 中的 @Field 注解的原理解析

    Spring Boot 中的 @Field 注解的原理解析

    本文详细介绍了 Spring Boot 中的 @Field 注解的原理和使用方法,通过使用 @Field 注解,我们可以将 HTTP 请求中的参数值自动绑定到 Java 对象的属性上,简化了开发过程,提高了开发效率,感兴趣的朋友跟随小编一起看看吧
    2023-07-07
  • 详解Java异常处理中throw与throws关键字的用法区别

    详解Java异常处理中throw与throws关键字的用法区别

    这篇文章主要介绍了详解Java异常处理中throw与throws关键字的用法区别,这也是Java面试题目中的常客,需要的朋友可以参考下
    2015-11-11
  • 谷歌二维码引擎com.google.zxing二维码生成与解析

    谷歌二维码引擎com.google.zxing二维码生成与解析

    这篇文章主要给大家介绍了关于谷歌二维码引擎com.google.zxing二维码生成与解析的相关资料,zxing是google开源的二维码生成和解析工具,需要的朋友可以参考下
    2023-07-07
  • java抓取鼠标事件和鼠标滚轮事件示例

    java抓取鼠标事件和鼠标滚轮事件示例

    这篇文章主要介绍了java抓取鼠标事件和鼠标滚轮事件示例,需要的朋友可以参考下
    2014-05-05
  • DoytoQuery 聚合查询方案示例详解

    DoytoQuery 聚合查询方案示例详解

    这篇文章主要为大家介绍了DoytoQuery 聚合查询方案示例详解,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步,早日升职加薪
    2022-12-12
  • Lombok在idea中的使用教程

    Lombok在idea中的使用教程

    Lombok是一个可以通过简单的注解形式,来帮助我们简化消除一些必须有但显得很臃肿(如果getter、setter方法)的Java代码的工具,通过使用对应的注解,可以在编译源码的时候生成对应的方法,这篇文章主要介绍了Lombok在idea中的使用,需要的朋友可以参考下
    2023-03-03
  • 关于springcloud集成nacos遇到的问题

    关于springcloud集成nacos遇到的问题

    这篇文章主要介绍了关于springcloud集成nacos遇到的问题,具有很好的参考价值,希望对大家有所帮助。如有错误或未考虑完全的地方,望不吝赐教
    2022-01-01
  • SpringBoot无法请求html等静态资源文件webapp或者resources/static的问题及解决方案

    SpringBoot无法请求html等静态资源文件webapp或者resources/static的问题及解决方案

    今天遇到一个问题无法访问静态资源文件,html,本文给大家分享SpringBoot无法请求html等静态资源文件webapp或者resources/static的问题及解决方案,感兴趣的朋友一起看看吧
    2024-05-05
  • SpringBoot实现动态增删启停定时任务的方式

    SpringBoot实现动态增删启停定时任务的方式

    在spring boot中,可以通过@EnableScheduling注解和@Scheduled注解实现定时任务,也可以通过SchedulingConfigurer接口来实现定时任务,但是这两种方式不能动态添加、删除、启动、停止任务,本文给大家介绍SpringBoot实现动态增删启停定时任务的方式,感兴趣的朋友一起看看吧
    2024-03-03
  • Java打印流原理及实例详解

    Java打印流原理及实例详解

    这篇文章主要介绍了Java打印流原理及实例详解,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
    2020-02-02

最新评论