脚本之家 服务器常用软件
快捷导航
您的位置：首页 → 软件编程 → java → httpclient踩坑

那些年用httpclient时踩过的一些坑

 更新时间：2019年05月24日 11:24:35   作者：宜信技术  
这篇文章主要给大家介绍了关于那些年用httpclient时踩过的一些坑，文中通过示例代码介绍的非常详细，对大家学习或者使用httpclient具有一定的参考学习价值，需要的朋友们下面来一起学习学习吧

一、前言

httpclient是java开发中最常用的工具之一，通常大家会使用其中比较基础的api去调用远程。长期开发爬虫，会接触httpclient不常用的api，同时会遇到各式各样的坑，本文将总结这些年遇到的坑及相应的解决方案。

二、问题及解决方案

问题1：Received fatal alert: handshake_failure

问题背景

开发某省份移动爬虫时，加载首页会报标题错误，尝试各种办法都不好使，后来发现换了jdk1.8就可以了。经过长达一个星期源码探寻，发现错误源头是http在握手时，加密算法不支持。

jdk1.8以下版本不支持256位(TLS_DHE_RSA_WITH_AES_256_CBC_SHA )

解决方案

1、下载jce扩展包 http://www.oracle.com/technetwork/cn/java/javase/downloads/jce-7-download-432124.html

2、替换/jre/lib/security/里面的两个jar

3、覆盖后如果报错The jurisdiction policy files are not signed by a trusted signer!，说明下载的版本不对，要下对应jdk版本的。

问题2：Certificates does not conformto algorithm constraints

问题背景

用mvn打包时报错， security.cert.CertificateException: Certificates does not conform toalgorithm constraints

原因是在java1.6之后的这个配置文件中，认为MD2的加密方式安全性太低，因而不支持这种加密方式，同时也不支持RSA长度小于1024的密文。

需要修改 JAVA_HOME/jre/lib/security/java.security ＃jdk.certpath.disabledAlgorithms=MD2, RSA keySize < 1024

但是这样做需要把每台机器都改一遍，如果新加机器忘记改了，就会继续报错。因此需要一套方法，只在代码层解决问题。

解决方案

经查源码发现了触发问题的代码位置，通过强制继承SSLContextBuilder，并强制把private的keymanagers和trustmanagers的值置空就可以解决这个问题了。

代码如下：

static class MySSLContextBuilder extends SSLContextBuilder {
 static final String TLS = "TLS";
 static final String SSL = "SSL";
 private String protocol;
 private Set keymanagers;
 private Set trustmanagers;
 private SecureRandom secureRandom;
 public MySSLContextBuilder() {
  super();
  this.keymanagers = new HashSet();
  this.trustmanagers = new HashSet();
 }
}

问题3：超时时间不生效

问题背景

很多人在使用httpclient时会到网上去找例子，例子中经常会有类似这样的设置

httpGet.getParams().setParameter(ClientPNames.HANDLE_REDIRECTS, !isAutoRelocal);

使用上述方法发送httpclient，在读取配置时，如果发现getParams不为空，则会使得以前设置的所有参数都失效，而使用这里设置的，结果是导致超时时间失效。

解决方案

request.getParams().setParameter是过期方法，其中每一项参数在RequestConfig里都有对应的，遍历出来替换一遍即可。

boolean isRedirect = true;
  if(request != null) {
   HttpParams params = request.getParams();
   if (params instanceof HttpParamsNames) {
    // 暂时只支持这个类型
    isRedirect = params.getBooleanParameter(
      ClientPNames.HANDLE_REDIRECTS, true);
   }
   // 清空request
   request.setParams(new BasicHttpParams());
  }
  if(timeOut > 0) {
   builder = RequestConfig.custom().setConnectionRequestTimeout(timeOut).setConnectTimeout(timeOut).setSocketTimeout(timeOut).setRedirectsEnabled(isRedirect).setCookieSpec(CookieSpecs.BEST_MATCH);
  } else {
   builder = RequestConfig.custom().setConnectionRequestTimeout(connectionTimeout).setConnectTimeout(connectionTimeout).setRedirectsEnabled(isRedirect).setSocketTimeout(socketTimeout).setCookieSpec(CookieSpecs.BEST_MATCH);
  }

问题4：fildder监听问题

问题背景

开发爬虫经常会使用fildder来监控网络请求，但是使用httpclient时想用fildder会很难，网上查各种办法都不好用。

下面为大家来排个错，使用下面方法就可以完美解决这个问题，让fildder监控更容易。

解决方案

首先java端

// client builder
HttpClientBuilder builder = HttpClients.custom();
if(useFidder) {
   // 默认fidder写死
   builder.setProxy(new HttpHost("127.0.0.1", 8888));
}

fildder端

tools->fiddler options->https->actions->export root certificate to ... \bin\keytool.exe -import -file C:\Users\\Desktop\FiddlerRoot.cer -keystore FiddlerKeystore -alias Fiddler

问题5：支持gzip

问题及解决方案

有些网站返回进行了gzip压缩，返回内容是压缩的结果，需要解压。

代码如下：

HttpClient wrappedHttpClient = builder.setUserAgent(requestUA)
    .addInterceptorLast(new HttpResponseInterceptor() {
     @Override
     public void process(HttpResponse httpResponse, HttpContext httpContext) throws HttpException, IOException {
      HttpEntity httpEntity = httpResponse.getEntity();
      Header header = httpEntity.getContentEncoding();
      if (header != null) {
       for (HeaderElement element : header.getElements()) {
        if ("gzip".equalsIgnoreCase(element.getName())) {
         httpResponse.setEntity(new GzipDecompressingEntity(httpResponse.getEntity()));
        }
       }
      }
     }
    })

总结

以上就是这篇文章的全部内容了，希望本文的内容对大家的学习或者工作具有一定的参考学习价值，谢谢大家对脚本之家的支持。

您可能感兴趣的文章:

相关文章

  • spring-data-jpa实现增删改查以及分页操作方法

    spring-data-jpa实现增删改查以及分页操作方法

    下面小编就为大家分享一篇spring-data-jpa实现增删改查以及分页操作方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
    2018-02-02
  • Java微信公众号推送模版消息的步骤示例详解

    Java微信公众号推送模版消息的步骤示例详解

    模板消息是一种向用户发送通知的服务,广泛用于订单状态更新、服务提醒等场景,下面,我将详细介绍如何使用Java结合微信官方提供的API来实现模板消息的推送,感兴趣的朋友跟随小编一起看看吧
    2024-08-08
  • Spring Security验证流程剖析及自定义验证方法

    Spring Security验证流程剖析及自定义验证方法

    Spring Security是一个能够为基于Spring的企业应用系统提供声明式的安全访问控制解决方案的安全框架。这篇文章主要介绍了Spring Security验证流程剖析及自定义验证方法,需要的朋友可以参考下
    2018-03-03
  • Spring MVC深入学习之启动初始化过程

    Spring MVC深入学习之启动初始化过程

    最近因为工作的原因在学习Spring MVC，为了更深入的学习Spring MVC，下面这篇文章主要给大家介绍了关于Spring MVC深入学习之启动初始化过程的相关资料，文中通过示例代码介绍的非常详细，对大家具有一定的参考学习价值，需要的朋友们下面来一起看看吧。
    2017-07-07
  • java遍历http请求request的所有参数实现方法

    java遍历http请求request的所有参数实现方法

    下面小编就为大家带来一篇java遍历http请求request的所有参数实现方法。小编觉得挺不错的，现在就分享给大家，也给大家做个参考。一起跟随小编过来看看吧
    2016-09-09
  • SpringBoot视图解析实现原理深入分析

    SpringBoot视图解析实现原理深入分析

    视图解析其实就是SpringBoot某一个controller的方法执行完成之后，它是跳转到那个页面。由于我们springboot项目默认打包为jar包，是形成压缩包的形式，而jsp又不支持压缩，所以我们SpringBoot不知JSP的，需要引入第三方模板引擎才可以处理
    2022-10-10
  • MybatisPlus多表连接查询的问题及解决方案

    MybatisPlus多表连接查询的问题及解决方案

    MybatisPlus官方并没有提供多表连接查询的通用解决方案，然而连接查询是相当普遍的需求，今天通过本文给大家介绍下MybatisPlus多表连接查询的问题及解决方案，感兴趣的朋友一起看看吧
    2022-01-01
  • 大话Java混合运算规则

    大话Java混合运算规则

    这篇文章主要介绍了大话Java混合运算规则，小编觉得挺不错的，在这里分享给大家，需要的朋友可以了解下。
    2017-10-10
  • 使用Get方式提交数据到Tomcat服务器的方法

    使用Get方式提交数据到Tomcat服务器的方法

    这篇文章将介绍向服务器发送数据，并且服务器将数据的处理结果返回给客户端，本文给大家介绍使用Get方式向服务器发送数据，感兴趣的朋友一起学习吧
    2016-04-04
  • JDBC连接数据库的方法汇总

    JDBC连接数据库的方法汇总

    这篇文章主要介绍了JDBC连接数据库的方法,结合实例形式总结分析了JDBC连接各种常见数据库的相关实现技巧,需要的朋友可以参考下
    2016-08-08

最新评论