java网络爬虫连接超时解决实例代码

 更新时间:2018年01月24日 10:22:11   作者:sober_qianyang  
这篇文章主要介绍了java网络爬虫连接超时解决的问题,分享了一则使用httpclient解决连接超时的Java爬虫实例代码,小编觉得还是挺不错的,具有一定借鉴价值,需要的朋友可以参考下

本文研究的主要是java网络爬虫连接超时的问题,具体如下。

在网络爬虫中,经常会遇到如下报错。即连接超时。针对此问题,一般解决思路为:将连接时间、请求时间设置长一下。如果出现连接超时的情况,则在重新请求【设置重新请求次数】。

Exception in thread "main" java.net.ConnectException: Connection timed out: connect

下面的代码便是使用httpclient解决连接超时的样例程序。直接上程序。

package daili;
import java.io.IOException;
import java.net.URI;
import org.apache.http.HttpRequest;
import org.apache.http.HttpResponse;
import org.apache.http.client.ClientProtocolException;
import org.apache.http.client.methods.HttpGet;
import org.apache.http.client.params.CookiePolicy;
import org.apache.http.client.protocol.ClientContext;
import org.apache.http.impl.client.BasicCookieStore;
import org.apache.http.impl.client.CloseableHttpClient;
import org.apache.http.impl.client.DefaultHttpClient;
import org.apache.http.impl.client.DefaultHttpRequestRetryHandler;
import org.apache.http.impl.client.HttpClients;
import org.apache.http.impl.cookie.BasicClientCookie2;
import org.apache.http.params.HttpConnectionParams;
import org.apache.http.params.HttpParams;
import org.apache.http.protocol.BasicHttpContext;
import org.apache.http.protocol.ExecutionContext;
import org.apache.http.protocol.HttpContext;
import org.apache.http.util.EntityUtils;
/*
 * author:合肥工业大学 管院学院 钱洋 
 *1563178220@qq.com
*/
public class Test1 {
	public static void main(String[] args) throws ClientProtocolException, IOException, InterruptedException {
		getRawHTML("http://club.autohome.com.cn/bbs/forum-c-2098-1.html#pvareaid=103447");
	}
	public static String getRawHTML ( String url ) throws ClientProtocolException, IOException, InterruptedException{
		//初始化
		DefaultHttpClient httpclient = new DefaultHttpClient();
		httpclient.getParams().setParameter("http.protocol.cookie-policy", 
		        CookiePolicy.BROWSER_COMPATIBILITY);
		//设置参数
		HttpParams params = httpclient.getParams();
		//连接时间
		HttpConnectionParams.setConnectionTimeout(params, 6000);
		HttpConnectionParams.setSoTimeout(params, 6000*20);
		//超时重新请求次数
		DefaultHttpRequestRetryHandler dhr = new DefaultHttpRequestRetryHandler(5,true);
		HttpContext localContext = new BasicHttpContext();
		HttpRequest request2 = (HttpRequest) localContext.getAttribute( 
		        ExecutionContext.HTTP_REQUEST);
		httpclient.setHttpRequestRetryHandler(dhr);
		BasicCookieStore cookieStore = new BasicCookieStore();
		BasicClientCookie2 cookie = new BasicClientCookie2("Content-Type","text/html;charset=UTF-8");
		BasicClientCookie2 cookie1 = new BasicClientCookie2("User-Agent","Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/52.0.2743.116 Safari/537.36");
		cookieStore.addCookie(cookie);
		cookieStore.addCookie(cookie1);
		localContext.setAttribute(ClientContext.COOKIE_STORE, cookieStore);
		HttpGet request = new HttpGet();
		request.setURI(URI.create(url));
		HttpResponse response = null;
		String rawHTML = "";
		response = httpclient.execute(request,localContext);
		int StatusCode = response.getStatusLine().getStatusCode();
		//获取响应状态码
		System.out.println(StatusCode);
		if(StatusCode == 200){
			//状态码200表示响应成功
			//获取实体内容
			rawHTML = EntityUtils.toString (response.getEntity());
			System.out.println(rawHTML);
			//输出实体内容
			EntityUtils.consume(response.getEntity());
			//消耗实体
		} else {
			//关闭HttpEntity的流实体
			EntityUtils.consume(response.getEntity());
			//消耗实体
			Thread.sleep(20*60*1000);
			//如果报错先休息30分钟
		}
		httpclient.close();
		System.out.println(rawHTML);
		return rawHTML;
	}
}

结果:

总结

以上就是本文关于java网络爬虫连接超时解决实例代码的全部内容,希望对大家有所帮助。感兴趣的朋友可以继续参阅本站其他相关专题,如有不足之处,欢迎留言指出。感谢朋友们对本站的支持!

相关文章

  • 详解Spring Cloud Alibaba Sidecar多语言微服务异构

    详解Spring Cloud Alibaba Sidecar多语言微服务异构

    这篇文章主要介绍了详解Spring Cloud Alibaba Sidecar多语言微服务异构,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2019-11-11
  • pagehelper插件显示total为-1或1的问题

    pagehelper插件显示total为-1或1的问题

    这篇文章主要介绍了pagehelper插件显示total为-1或1,本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下
    2020-09-09
  • Spring Boot3整合Mybatis Plus的详细过程(数据库为MySQL)

    Spring Boot3整合Mybatis Plus的详细过程(数据库为MySQL)

    这篇文章主要介绍了Spring Boot3整合Mybatis Plus的详细过程(数据库为MySQL),本文给大家介绍的非常详细,感兴趣的朋友跟随小编一起看看吧
    2024-07-07
  • Java中方法作为参数传递的方式

    Java中方法作为参数传递的方式

    这篇文章主要介绍了Java如何让方法作为参数传递,本文通过实例代码给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下
    2023-05-05
  • java编译器和JVM的区别

    java编译器和JVM的区别

    在本篇文章里小编给大家整理的是一篇关于java编译器和JVM的区别的相关内容,有兴趣的朋友们可以学习下。
    2020-12-12
  • spring-core组件详解——PropertyResolver属性解决器

    spring-core组件详解——PropertyResolver属性解决器

    这篇文章主要介绍了spring-core组件详解——PropertyResolver属性解决器,需要的朋友可以参考下
    2016-05-05
  • 在Idea2020.1中使用gitee2020.1.0创建第一个代码库的实现

    在Idea2020.1中使用gitee2020.1.0创建第一个代码库的实现

    这篇文章主要介绍了在Idea2020.1中使用gitee2020.1.0创建第一个代码库的实现,文中通过图文示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2020-07-07
  • idea项目全局去掉严格的语法校验方式

    idea项目全局去掉严格的语法校验方式

    这篇文章主要介绍了idea项目全局去掉严格的语法校验方式,具有很好的参考价值,希望对大家有所帮助。
    2023-04-04
  • mybatis-plus批量更新太慢该如何解决详解

    mybatis-plus批量更新太慢该如何解决详解

    这篇文章主要给大家介绍了关于mybatis-plus批量更新太慢该如何解决的相关资料,文中通过实例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
    2023-03-03
  • Java实现简易俄罗斯方块

    Java实现简易俄罗斯方块

    这篇文章主要为大家详细介绍了Java实现简易俄罗斯方块,文中示例代码介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2020-06-06

最新评论