使用Backoff策略提高HttpClient连接管理的效率

 更新时间:2023年10月15日 09:04:41   作者:codecraft  
这篇文章主要为大家介绍了Backoff策略提高HttpClient连接管理的效率使用解析,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步,早日升职加薪

本文主要研究一下HttpClient的ConnectionBackoffStrategy

ConnectionBackoffStrategy

org/apache/http/client/ConnectionBackoffStrategy.java

/**
 * When managing a dynamic number of connections for a given route, this
 * strategy assesses whether a given request execution outcome should
 * result in a backoff signal or not, based on either examining the
 * {@code Throwable} that resulted or by examining the resulting
 * response (e.g. for its status code).
 *
 * @since 4.2
 *
 */
public interface ConnectionBackoffStrategy {

    /**
     * Determines whether seeing the given {@code Throwable} as
     * a result of request execution should result in a backoff
     * signal.
     * @param t the {@code Throwable} that happened
     * @return {@code true} if a backoff signal should be
     *   given
     */
    boolean shouldBackoff(Throwable t);

    /**
     * Determines whether receiving the given {@link HttpResponse} as
     * a result of request execution should result in a backoff
     * signal. Implementations MUST restrict themselves to examining
     * the response header and MUST NOT consume any of the response
     * body, if any.
     * @param resp the {@code HttpResponse} that was received
     * @return {@code true} if a backoff signal should be
     *   given
     */
    boolean shouldBackoff(HttpResponse resp);
}
ConnectionBackoffStrategy定义了shouldBackoff方法,它根据异常或者response来进行判断

NullBackoffStrategy

org/apache/http/impl/client/NullBackoffStrategy.java

public class NullBackoffStrategy implements ConnectionBackoffStrategy {

    @Override
    public boolean shouldBackoff(final Throwable t) {
        return false;
    }

    @Override
    public boolean shouldBackoff(final HttpResponse resp) {
        return false;
    }
}
NullBackoffStrategy实现了ConnectionBackoffStrategy,shouldBackoff方法返回false

DefaultBackoffStrategy

org/apache/http/impl/client/DefaultBackoffStrategy.java

public class DefaultBackoffStrategy implements ConnectionBackoffStrategy {

    @Override
    public boolean shouldBackoff(final Throwable t) {
        return t instanceof SocketTimeoutException || t instanceof ConnectException;
    }

    @Override
    public boolean shouldBackoff(final HttpResponse resp) {
        return resp.getStatusLine().getStatusCode() == 429 ||
            resp.getStatusLine().getStatusCode() == HttpStatus.SC_SERVICE_UNAVAILABLE;
    }

}
DefaultBackoffStrategy在SocketTimeoutException或者ConnectException的时候返回true,或者在response code为429或者503的时候返回true

BackoffStrategyExec

org/apache/http/impl/execchain/BackoffStrategyExec.java

@Contract(threading = ThreadingBehavior.IMMUTABLE_CONDITIONAL)
public class BackoffStrategyExec implements ClientExecChain {
    private final ClientExecChain requestExecutor;
    private final ConnectionBackoffStrategy connectionBackoffStrategy;
    private final BackoffManager backoffManager;
    public BackoffStrategyExec(
            final ClientExecChain requestExecutor,
            final ConnectionBackoffStrategy connectionBackoffStrategy,
            final BackoffManager backoffManager) {
        super();
        Args.notNull(requestExecutor, "HTTP client request executor");
        Args.notNull(connectionBackoffStrategy, "Connection backoff strategy");
        Args.notNull(backoffManager, "Backoff manager");
        this.requestExecutor = requestExecutor;
        this.connectionBackoffStrategy = connectionBackoffStrategy;
        this.backoffManager = backoffManager;
    }
    @Override
    public CloseableHttpResponse execute(
            final HttpRoute route,
            final HttpRequestWrapper request,
            final HttpClientContext context,
            final HttpExecutionAware execAware) throws IOException, HttpException {
        Args.notNull(route, "HTTP route");
        Args.notNull(request, "HTTP request");
        Args.notNull(context, "HTTP context");
        CloseableHttpResponse out = null;
        try {
            out = this.requestExecutor.execute(route, request, context, execAware);
        } catch (final Exception ex) {
            if (out != null) {
                out.close();
            }
            if (this.connectionBackoffStrategy.shouldBackoff(ex)) {
                this.backoffManager.backOff(route);
            }
            if (ex instanceof RuntimeException) {
                throw (RuntimeException) ex;
            }
            if (ex instanceof HttpException) {
                throw (HttpException) ex;
            }
            if (ex instanceof IOException) {
                throw (IOException) ex;
            }
            throw new UndeclaredThrowableException(ex);
        }
        if (this.connectionBackoffStrategy.shouldBackoff(out)) {
            this.backoffManager.backOff(route);
        } else {
            this.backoffManager.probe(route);
        }
        return out;
    }
}

BackoffStrategyExec实现了ClientExecChain接口,其execute执行requestExecutor.execute,捕获到异常的时候通过connectionBackoffStrategy.shouldBackoff(ex)来决定是否需要backOff,是的话执行backoffManager.backOff(route);

若没有异常则通过connectionBackoffStrategy.shouldBackoff(out)根据response来判断是否需要backOff,是的化执行backoffManager.backOff(route)

小结

HttpClient的DefaultBackoffStrategy在SocketTimeoutException或者ConnectException的时候返回true,或者在response code为429或者503的时候返回true;BackoffStrategyExec则通过connectionBackoffStrategy与backoffManager来配合执行backOff。这个backOff的目的就是动态调整每个route的connection大小(MaxPerRoute)。

以上就是使用Backoff策略提高HttpClient连接管理的效率的详细内容,更多关于HttpClient Backoff连接管理的资料请关注脚本之家其它相关文章!

相关文章

  • Java使用TCP实现在线聊天的示例代码

    Java使用TCP实现在线聊天的示例代码

    这篇文章主要介绍了Java使用TCP实现在线聊天的示例代码,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2020-01-01
  • Java List集合取交集的五种常见方式总结

    Java List集合取交集的五种常见方式总结

    在Java中取两个List集合的交集可以通过多种方式实现,下面这篇文章主要给大家介绍了关于Java List集合取交集的五种常见方式,文中通过代码介绍的非常详细,需要的朋友可以参考下
    2024-07-07
  • Springboot单元测试编写实践

    Springboot单元测试编写实践

    在日常的开发过程中,为了提高代码的可靠性和健壮性,同时也是检测代码的质量,减少测试环节的问题,会对完成的业务功能代码编写单元测试,在本文中,将分享一些单元测试的实践和心得,需要的朋友可以参考下
    2023-11-11
  • java基于线程池和反射机制实现定时任务完整实例

    java基于线程池和反射机制实现定时任务完整实例

    这篇文章主要介绍了java基于线程池和反射机制实现定时任务的方法,以完整实例形式较为详细的分析了Java定时任务的功能原理与实现技巧,具有一定参考借鉴价值,需要的朋友可以参考下
    2015-11-11
  • 详解mybatis collection标签一对多的使用

    详解mybatis collection标签一对多的使用

    这篇文章主要介绍了mybatis collection标签一对多的使用,本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下
    2020-06-06
  • 举例讲解Java中do-while语句的使用方法

    举例讲解Java中do-while语句的使用方法

    这篇文章主要介绍了Java中do-while语句的使用方法例子,是Java入门学习中的基础知识,需要的朋友可以参考下
    2015-10-10
  • IntelliJ IDEA社区版2021.3配置SpringBoot项目详细教程及失败案例

    IntelliJ IDEA社区版2021.3配置SpringBoot项目详细教程及失败案例

    IntelliJ IDEA 2021.3.3是一款集成开发环境,用于Java和其他编程语言的开发,下面这篇文章主要给大家介绍了关于IntelliJ IDEA社区版2021.3配置SpringBoot项目详细教程及失败案例的相关资料,需要的朋友可以参考下
    2024-03-03
  • java中transient关键字用法分析

    java中transient关键字用法分析

    这篇文章主要介绍了java中transient关键字用法,以实例形式分析了java中transient关键字的功能及使用技巧,具有一定参考借鉴价值,需要的朋友可以参考下
    2015-02-02
  • SpringBoot+Vue跨域配置(CORS)问题得解决过程

    SpringBoot+Vue跨域配置(CORS)问题得解决过程

    在使用 Spring Boot 和 Vue 开发前后端分离的项目时,跨域资源共享(CORS)问题是一个常见的挑战,接下来,我将分享我是如何一步步解决这个问题的,包括中间的一些试错过程,希望能够帮助到正在经历类似问题的你
    2024-08-08
  • idea中导入项目后main方法无法Run的解决

    idea中导入项目后main方法无法Run的解决

    这篇文章主要介绍了idea中导入项目后main方法无法Run的解决方案,具有很好的参考价值,希望对大家有所帮助。
    2023-03-03

最新评论