脚本之家 服务器常用软件
快捷导航
您的位置：首页 → 软件编程 → java → Hadoop运行错误

Hadoop运行时遇到java.io.FileNotFoundException错误的解决方法

 更新时间：2021年06月20日 17:00:48   作者：yoyo929  
今天给大家带来的是关于Java的相关知识,文章围绕着Hadoop运行时遇到java.io.FileNotFoundException错误展开,文中有非常详细的解决方法,需要的朋友可以参考下

报错信息：

java.lang.Exception: org.apache.hadoop.mapreduce.task.reduce.Shuffle$ShuffleError: error in shuffle in localfetcher#1
    at org.apache.hadoop.mapred.LocalJobRunner$Job.runTasks(LocalJobRunner.java:462)
    at org.apache.hadoop.mapred.LocalJobRunner$Job.run(LocalJobRunner.java:529)
Caused by: org.apache.hadoop.mapreduce.task.reduce.Shuffle$ShuffleError: error in shuffle in localfetcher#1
    at org.apache.hadoop.mapreduce.task.reduce.Shuffle.run(Shuffle.java:134)
    at org.apache.hadoop.mapred.ReduceTask.run(ReduceTask.java:376)
    at org.apache.hadoop.mapred.LocalJobRunner$Job$ReduceTaskRunnable.run(LocalJobRunner.java:319)
    at java.util.concurrent.Executors$RunnableAdapter.call(Unknown Source)
    at java.util.concurrent.FutureTask.run(Unknown Source)
    at java.util.concurrent.ThreadPoolExecutor.runWorker(Unknown Source)
    at java.util.concurrent.ThreadPoolExecutor$Worker.run(Unknown Source)
    at java.lang.Thread.run(Unknown Source)
Caused by: java.io.FileNotFoundException: G:/tmp/hadoop-Ferdinand%20Wang/mapred/local/localRunner/Ferdinand%20Wang/jobcache/job_local938878567_0001/attempt_local938878567_0001_m_000000_0/output/file.out.index
    at org.apache.hadoop.fs.RawLocalFileSystem.open(RawLocalFileSystem.java:198)
    at org.apache.hadoop.fs.FileSystem.open(FileSystem.java:766)
    at org.apache.hadoop.io.SecureIOUtils.openFSDataInputStream(SecureIOUtils.java:156)
    at org.apache.hadoop.mapred.SpillRecord.<init>(SpillRecord.java:70)
    at org.apache.hadoop.mapred.SpillRecord.<init>(SpillRecord.java:62)
    at org.apache.hadoop.mapred.SpillRecord.<init>(SpillRecord.java:57)
    at org.apache.hadoop.mapreduce.task.reduce.LocalFetcher.copyMapOutput(LocalFetcher.java:124)
    at org.apache.hadoop.mapreduce.task.reduce.LocalFetcher.doCopy(LocalFetcher.java:102)
    at org.apache.hadoop.mapreduce.task.reduce.LocalFetcher.run(LocalFetcher.java:85)

大概是说，reduce的过程失败了，错误发生在error in shuffle in localfetcher#1，是因为找不到在tmp/hadoop-username目录下的一个文件导致。

原因：

电脑用户名含有空格

G:/tmp/hadoop-Ferdinand%20Wang/mapred/local/localRunner/Ferdinand%20Wang/jobcache/job_local938878567_0001/attempt_local938878567_0001_m_000000_0/output/file.out.index

到具体目录看果然找不到这个文件，问题就出在这个%20其实是空格，但是这里不允许出现空格。所以我们要修改用户名称才能解决这个问题。
虽然之前在hadoop-env.cmd这个文件中修改了，用双引号的方式可以不出现空格可以让hadoop正常启动，但是治标不治本啊。还是修改一下用户名，改了以后这个就还是用username就可以。

@rem A string representing this instance of hadoop. %USERNAME% by default.
set HADOOP_IDENT_STRING=%USERNAME%

修改username的方法：

1、【win】+【R】快捷键调出运行；

2、输入netplwiz，再点击确定；

在这里插入图片描述　　

3、打开用户账户，双击； 　　

4、输入您想要改的名字；

5、点击右下角的【确定】按钮之后，弹出警告，点击【是】即可。

6、重启电脑。（一定要重启）

重新启动，发现新上传的这里也改了。

在这里插入图片描述

到此这篇关于Hadoop运行时遇到java.io.FileNotFoundException错误的解决方法的文章就介绍到这了,更多相关Hadoop运行错误内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！

您可能感兴趣的文章:

相关文章

  • Java中String类常用方法使用详解

    Java中String类常用方法使用详解

    String类是一个很常用的类，它位于java.lang包下，是Java语言的核心类，用来保存代码中的字符串常量的，并且封装了很多操作字符串的方法。本文就来聊聊String类常用方法使用，感兴趣的可以了解一下
    2022-08-08
  • Java实现链表数据结构的方法

    Java实现链表数据结构的方法

    这篇文章主要介绍了Java实现链表数据结构的相关资料,每一个链表都包含多个节点，节点又包含两个部分，一个是数据域（储存节点含有的信息），一个是引用域（储存下一个节点或者上一个节点的地址），需要的朋友可以参考下
    2022-01-01
  • Java使用Sa-Token框架完成踢人下线功能

    Java使用Sa-Token框架完成踢人下线功能

    踢人下线是一个很常见的需求，本文主要介绍了Java使用Sa-Token框架完成踢人下线功能，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
    2023-05-05
  • 实例讲解Java的Spring框架中的控制反转和依赖注入

    实例讲解Java的Spring框架中的控制反转和依赖注入

    这篇文章主要介绍了Java的Spring框架中的控制反转和依赖注入,Spring是Java的SSH三大web开发框架之一,需要的朋友可以参考下
    2016-02-02
  • Java工程中可执行JAR两种打包方式详解

    Java工程中可执行JAR两种打包方式详解

    这篇文章主要为大家详细介绍了Java工程中可执行JAR两种打包方式,一体化可执行包和带外部依赖lib的可执行包,有需要的小伙伴可以学习一下
    2024-04-04
  • 关于SpringSecurity认证逻辑源码分析

    关于SpringSecurity认证逻辑源码分析

    这篇文章主要介绍了关于SpringSecurity认证逻辑源码分析,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教
    2024-07-07
  • Spring Boot详细打印启动时异常堆栈信息详析

    Spring Boot详细打印启动时异常堆栈信息详析

    这篇文章主要给大家介绍了关于Spring Boot详细打印启动时异常堆栈信息的相关资料，文中通过示例代码介绍的非常详细，对大家学习或者使用Spring Boot具有一定的参考学习价值，需要的朋友们下面来一起学习学习吧
    2019-10-10
  • 例举fastJson和jackson转json的区别

    例举fastJson和jackson转json的区别

    今天小编就为大家分享一篇关于例举fastJson和jackson转json的区别，小编觉得内容挺不错的，现在分享给大家，具有很好的参考价值，需要的朋友一起跟随小编来看看吧
    2018-12-12
  • java中Lamda表达式讲解

    java中Lamda表达式讲解

    本文详细讲解了java中的Lamda表达式，文中通过示例代码介绍的非常详细。对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下
    2021-12-12
  • spring-boot-maven-plugin:打包时排除provided依赖问题

    spring-boot-maven-plugin:打包时排除provided依赖问题

    这篇文章主要介绍了spring-boot-maven-plugin:打包时排除provided依赖问题，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教
    2023-04-04

最新评论