MapReduce中ArrayWritable 使用指南
更新时间：2014年08月31日 10:29:22 投稿：hebedich
MapReduce是一种编程模型，用于大规模数据集的并行运算。概念"Map(映射)"和"Reduce(归约)"和他们的主要思想，都是从函数式编程语言里借来的，还有从矢量编程语言里借来的特性。他极大地方便了编程人员在不会分布式并行编程的情况下，将自己的程序运行在分布式系统上。
在编写MapReduce程序时，Map和Reduce之间传递的数据需要是ArrayList类型的，在调试运行时遇到了这样的一个错误：
java.lang.RuntimeException: java.lang.NoSuchMethodException: org.apache.hadoop.io.ArrayWritable.<init>()
经查询官网API文档后发现这样的一段话：
A Writable for arrays containing instances of a class. The elements of this writable must all be instances of the same class. If this writable will be the input for a Reducer, you will need to create a subclass that sets the value to be of the proper type. For example: public class IntArrayWritable extends ArrayWritable { public IntArrayWritable() { super(IntWritable.class); } }
原来是要自己实现一个ArrayWritable类的派生类，使用时只要实现两个构造函数即可
public static class TextArrayWritable extends ArrayWritable {
public TextArrayWritable() {
super(Text.class);
}
public TextArrayWritable(String[] strings) {
super(Text.class);
Text[] texts = new Text[strings.length];
for (int i = 0; i < strings.length; i++) {
texts[i] = new Text(strings[i]);
}
set(texts);
}
}
相关文章
本文主要介绍了java后台登录前后cookie不一致的解决方案，具有很好的参考价值，需要的朋友一起来看下吧2016-12-12
这篇文章主要为大家详细介绍了java连接MySQL数据库的相关代码，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2017-10-10
本文主要介绍了Spring Boot 防止接口恶意刷新和暴力请求的实现，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2022-06-06
Optional类是一个容器类，它可以保存类型T的值，代表这个值存在。或者仅仅保存null，表示这个值不存在,原来用 null 表示一个值不存在，现在Optional 可以更好的表达这个概念。并且可以避免空指针异常,需要的朋友可以参考下2023-05-05
这篇文章主要介绍了Spring Boot 实现字段唯一校验,实现代码很简单，代码简单易懂，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下2022-08-08
使用React和springboot做前后端分离项目的步骤方式
这篇文章主要介绍了使用React和springboot做前后端分离项目的步骤方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教2023-08-08
这篇文章主要介绍了详解Spring Cloud 跨服务数据聚合框架，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧2018-03-03
这篇文章主要介绍了Java编程Webservice指定超时时间代码详解，简单介绍了webservice，然后分享了通过使用JDK对Webservice的支持进行Webservice调用实现指定超时时间完整示例，具有一定借鉴价值，需要的朋友可以参考下。2017-11-11
Quarkus 是小红帽开源的专门针对云容器环境优化的云原生java框架，博主接下来的项目估计都会使用这个框架来开发，相关的问题都会记录在这个系列，本文是个开篇2022-02-02
SpringBoot数据库恢复的两种方法mysqldump和mysqlbinlog
binlog用来实现主从复制,也常用来误删数据库找回丢失的记录,本文主要介绍了SpringBoot数据库恢复的两种方法mysqldump和mysqlbinlog,具有一定的参考价值,感兴趣的可以了解一下2024-01-01
最新评论