Java精确抽取网页发布时间

 更新时间:2016年06月08日 14:47:24   投稿:lijiao  
这篇文章主要为大家详细介绍了Java精确抽取网页发布时间的相关资料,尽量做到精确无误,感兴趣的小伙伴们可以参考一下

对网页中各种不同格式的发布时间进行抽取,将发布时间以规整的“yyyy-MM-dd HH:mm:ss”格式表示出来,只能尽量追求精确,但是因为网络发布时间的格式十分灵活,所以做不到百分百地正确抽取

package whu.extract.pubtime.core;
 
import java.util.ArrayList;
import java.util.Calendar;
import java.util.Collections;
import java.util.List;
import java.util.regex.Matcher;
import java.util.regex.Pattern;
 
import whu.utils.TimeUtil;
 
/**
 * Created On 2014年3月13日 下午2:49:05
 * @description 获取网页的发布时间 
 */
public class FetchPubTime {
  /** 表示url中连续的8位日期,例如http://www.baidu.com/20140311/2356.html */
  private static String url_reg_whole= "([-|/|_]{1}20\\d{6})";
  /** 表示 用-或者/隔开的日期,有年月日的,例如 http://www.baidu.com/2014-3-11/2356.html */
  private static String url_reg_sep_ymd = "([-|/|_]{1}20\\d{2}[-|/|_]{1}\\d{1,2}[-|/|_]{1}\\d{1,2})";
  /** 表示 用-或者/隔开的日期,只有年和月份的,例如 http://www.baidu.com/2014-3/2356.html */
  private static String url_reg_sep_ym = "([-|/|_]{1}20\\d{2}[-|/|_]{1}\\d{1,2})";
  private static Calendar current = Calendar.getInstance();
  /** 格式正确的时间正则表达式*/
  private static String rightTimeReg = "^((\\d{2}(([02468][048])|([13579][26]))[\\-\\/\\s]?((((0?[13578])|(1[02]))[\\-\\/\\s]?((0?[1-9])|([1-2][0-9])|(3[01])))|(((0?[469])|(11))[\\-\\/\\s]?((0?[1-9])|([1-2][0-9])|(30)))|(0?2[\\-\\/\\s]?((0?[1-9])|([1-2][0-9])))))|(\\d{2}(([02468][1235679])|([13579][01345789]))[\\-\\/\\s]?((((0?[13578])|(1[02]))[\\-\\/\\s]?((0?[1-9])|([1-2][0-9])|(3[01])))|(((0?[469])|(11))[\\-\\/\\s]?((0?[1-9])|([1-2][0-9])|(30)))|(0?2[\\-\\/\\s]?((0?[1-9])|(1[0-9])|(2[0-8]))))))(\\s(((0?[0-9])|([1-2][0-3]))\\:([0-5]?[0-9])((\\s)|(\\:([0-5]?[0-9])))))?$";
   
  /**
   * @param url
   * @param urlContent
   * @return
   */
  public static String getPubTimeVarious(String url,String urlContent) {
     
    String pubTime = getPubTimeFromUrl(url);
     
   //链接里面没有,匹配文本中的
    if(pubTime == null)
    {
      if(urlContent!=null&&!urlContent.trim().equals(""))
        return extractPageDate(urlContent);
    }
     
    return pubTime;
  }
   
  /**从url里面抽取出发布时间,返回YYYY-MM-DD HH:mm:ss格式的字符串
   * @param url
   * @return
   */
  public static String getPubTimeFromUrl(String url)
  {
    Pattern p_whole = Pattern.compile(url_reg_whole);
    Matcher m_whole = p_whole.matcher(url);
    if(m_whole.find(0)&&m_whole.groupCount()>0)
    {
      String time = m_whole.group(0);
      time = time.substring(1,time.length());
      //每一步都不能够超出当前时间     
    if(current.compareTo(TimeUtil.strToCalendar(time, "yyyyMMdd"))>=0)
    {
 
      return time.substring(0,4)+"-"+time.substring(4,6)+"-"+
         time.substring(6,8)+" "+"00:00:00";
    }
    }
    
    p_whole = null;
    m_whole = null;
    Pattern p_sep = Pattern.compile(url_reg_sep_ymd);
    Matcher m_sep = p_sep.matcher(url);
    if(m_sep.find(0)&&m_sep.groupCount()>0)
    {
       String time = m_sep.group(0);
       time = time.substring(1,time.length());
       String[] seg = time.split("[-|/|_]{1}");
       Calendar theTime = Calendar.getInstance();
       theTime.set(Calendar.YEAR,Integer.parseInt(seg[0]));
       theTime.set(Calendar.MONTH, Integer.parseInt(seg[1]));
       theTime.set(Calendar.DAY_OF_MONTH, Integer.parseInt(seg[2]));
       if(current.compareTo(theTime)>=0)
        {
       
      return seg[0]+"-"+seg[1]+"-"+seg[2]+" "+"00:00:00";
        }
    }
    p_sep = null;
    m_sep = null;
    Pattern p_sep_ym = Pattern.compile(url_reg_sep_ym);
    Matcher m_sep_ym = p_sep_ym.matcher(url);
    if(m_sep_ym.find(0)&&m_sep_ym.groupCount()>0)
    {
       String time = m_sep_ym.group(0);
       time = time.substring(1,time.length());
       Calendar theTime = Calendar.getInstance();
       String[] seg = time.split("[-|/|_]{1}");
       theTime.set(Calendar.YEAR,Integer.parseInt(seg[0]));
       theTime.set(Calendar.MONTH, Integer.parseInt(seg[1]));
       theTime.set(Calendar.DAY_OF_MONTH, 1);
       if(current.compareTo(theTime)>=0)
      {
       
      return seg[0]+"-"+seg[1]+"-"+"01"+" "+"00:00:00";
      }
    }
     
    return null;
  }
   
 
  /** 从网页源码中取出发布时间
   * java中正则表达式提取字符串中日期实现代码
   * 2013年12月19日15:58:42
   * 读取出2013-12-19 15:48:33或者2013-12-19或者2012/3/05形式的时间
   * @param text 待提取的字符串
   * @return 返回日期
   * @author: oschina
   * @Createtime: Jan 21, 2013
   */
  public static String extractPageDate(String text) { 
    boolean containsHMS =false;
    String dateStr = text.replaceAll("r?n", " ");
    try { 
      List matches = null; 
      Pattern p_detail = Pattern.compile("(20\\d{2}[-/]\\d{1,2}[-/]\\d{1,2} \\d{1,2}:\\d{1,2}:\\d{1,2})|(20\\d{2}年\\d{1,2}月\\d{1,2}日)", Pattern.CASE_INSENSITIVE|Pattern.MULTILINE); 
      //如果是仅仅抽取年月日,则按照上面的,如果是抽取年月日-时分秒,则按照下面的
      Pattern p = Pattern.compile("(20\\d{2}[-/]\\d{1,2}[-/]\\d{1,2})|(20\\d{2}年\\d{1,2}月\\d{1,2}日)", Pattern.CASE_INSENSITIVE|Pattern.MULTILINE);
      //Matcher matcher = p.matcher(dateStr);
      Matcher matcher_detail = p_detail.matcher(dateStr);
       
      if(!(matcher_detail.find(0) && matcher_detail.groupCount() >= 1)) 
      {
        matcher_detail = p.matcher(dateStr);
        containsHMS = true;
      }else
        matcher_detail = p_detail.matcher(dateStr);
      if (matcher_detail.find() && matcher_detail.groupCount() >= 1) { 
        matches = new ArrayList(); 
        for (int i = 1; i <= matcher_detail.groupCount(); i++) { 
          String temp = matcher_detail.group(i); 
          matches.add(temp); 
        } 
      } else { 
        matches = Collections.EMPTY_LIST; 
      }      
 
      if (matches.size() > 0) { 
        for(int i=0;i<matches.size();i++)
        {
          String pubTime = matches.get(i).toString().trim();
          //取出第一个值
          pubTime = pubTime.replace("/", "-").replace("年", "-").replace("月", "-").replace("日", "-");
          if(current.compareTo(TimeUtil.strToCalendar(pubTime, "yyyy-MM-dd"))>=0)
          {
            if(containsHMS)
              pubTime+=" "+"00:00:00";
            if(pubTime.matches(rightTimeReg))
            {
              return pubTime; 
            }
          }
        }
      } else { 
        return null; 
      } 
       
    } catch (Exception e) { 
      return null; 
    } 
    return null;
  }
}

以上就是本文的全部内容,希望对大家学习java程序设计有所帮助。

相关文章

  • Java中String和StringBuffer及StringBuilder 有什么区别

    Java中String和StringBuffer及StringBuilder 有什么区别

    这篇文章主要介绍了Java中String和StringBuffer及StringBuilder 有什么区别,String 是 Java 语言非常基础和重要的类,更多相关内容需要的小伙伴可以参考下面文章内容
    2022-06-06
  • spring+shiro 整合实例代码详解

    spring+shiro 整合实例代码详解

    本文通过实例代码给大家介绍spring+shiro 整合的过程,非常不错,具有一定的参考借鉴价值,需要的朋友可以参考下
    2018-10-10
  • Java 十大排序算法之冒泡排序刨析

    Java 十大排序算法之冒泡排序刨析

    冒泡排序是一种简单的排序算法,它也是一种稳定排序算法。其实现原理是重复扫描待排序序列,并比较每一对相邻的元素,当该对元素顺序不正确时进行交换。一直重复这个过程,直到没有任何两个相邻元素可以交换,就表明完成了排序
    2021-11-11
  • 一文梳理Java 8后的新功能

    一文梳理Java 8后的新功能

    Java 8是Java自Java 5(发布于2004年)之后的最重要的版本,下面这篇文章主要给大家介绍了关于Java8后新功能的相关资料,文中通过实例代码介绍的非常详细,需要的朋友可以参考下
    2022-02-02
  • java线程的基础实例解析

    java线程的基础实例解析

    java中线程的基本方法的熟练使用是精通多线程编程的必经之路,线程相关的基本方法有wait,notify,notifyAll,sleep,join,yield等,本文浅要的介绍一下它们的使用方式
    2021-06-06
  • java多线程编程实现下雪效果

    java多线程编程实现下雪效果

    这篇文章主要介绍了java多线程编程实现下雪效果的相关资料,需要的朋友可以参考下
    2015-11-11
  • 通过实例分析java多态

    通过实例分析java多态

    这篇文章主要介绍了通过实例分析java多态,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
    2019-10-10
  • SpringBoot Filter修改返回内容,解决请求卡死200的错误

    SpringBoot Filter修改返回内容,解决请求卡死200的错误

    这篇文章主要介绍了SpringBoot Filter修改返回内容,解决请求卡死200的错误问题,具有很好的参考价值,希望对大家有所帮助。如有错误或未考虑完全的地方,望不吝赐教
    2023-07-07
  • 在SpringBoot中通过jasypt进行加密解密的方法

    在SpringBoot中通过jasypt进行加密解密的方法

    今天小编就为大家分享一篇关于在SpringBoot中通过jasypt进行加密解密的方法,小编觉得内容挺不错的,现在分享给大家,具有很好的参考价值,需要的朋友一起跟随小编来看看吧
    2019-01-01
  • spring boot读取Excel操作示例

    spring boot读取Excel操作示例

    这篇文章主要介绍了spring boot读取Excel操作,结合实例形式详细分析了spring boot解析、读取Excel相关操作技巧,需要的朋友可以参考下
    2019-11-11

最新评论