Redis 中spark参数executor-cores引起的异常解决办法

 更新时间:2017年03月28日 15:25:44   作者:DoctorQ  
这篇文章主要介绍了Redis 中spark参数executor-cores引起的异常解决办法的相关资料,需要的朋友可以参考下

Redis 中spark参数executor-cores引起的异常解决办法

报错信息

Unexpected end of stream

16/10/11 16:35:50 WARN TaskSetManager: Lost task 63.0 in stage 3.0 (TID 212, gzns-arch-spark04.gzns.iwm.name): redis.clients.jedis.exceptions.JedisConnectionException: Unexpected end of stream.
 at redis.clients.util.RedisInputStream.ensureFill(RedisInputStream.java:199)
 at redis.clients.util.RedisInputStream.readByte(RedisInputStream.java:40)
 at redis.clients.jedis.Protocol.process(Protocol.java:151)
 at redis.clients.jedis.Protocol.read(Protocol.java:215)
 at redis.clients.jedis.Connection.readProtocolWithCheckingBroken(Connection.java:340)
 at redis.clients.jedis.Connection.getBinaryMultiBulkReply(Connection.java:276)
 at redis.clients.jedis.Connection.getMultiBulkReply(Connection.java:269)
 at redis.clients.jedis.Jedis.hmget(Jedis.java:723)

DENIED Redis is running in protected mode because protected mode is enabled

DENIED Redis is running in protected mode because protected mode is enabled,
 no bind address was specified, no authentication password is requested to clients.
 In this mode connections are only accepted from the loopback interface. 
If you want to connect from external computers to Redis you may adopt one of 
the following solutions: 1) Just disable protected mode sending the command
 'CONFIG SET protected-mode no' from the loopback interface by connecting to
 Redis from the same host the server is running, however MAKE SURE Redis is not 
publicly accessible from internet if you do so. Use CONFIG REWRITE to make this change
 permanent.
 2) Alternatively you can just disable the protected mode by editing the 
Redis configuration file, and setting the protected mode option to 'no', 
and then restarting the server. 3) If you started the server manually just 
for testing, restart it with the '--protected-mode no' option. 4) Setup a bind 
address or an authentication password. NOTE: You only need to do one of the above 
things in order for the server to start accepting connections from the outside.
 at redis.clients.jedis.Protocol.processError(Protocol.java:127)
 at redis.clients.jedis.Protocol.process(Protocol.java:161)
 at redis.clients.jedis.Protocol.read(Protocol.java:215)

解决过程

我尝试重启redis,更换redis新jar包,关闭redis保护模式都于事无补,后来找了下错误的原因,无意中看到了Unexpected end of stream是说有一个进程占用了redis的链接,头脑一炸,才发现自己把executor-cores设置为了2,然后把该值设置为1后,正常了。

看来只有等接入redis集群后,我才能修改该值了。

感谢阅读,希望能帮助到大家,谢谢大家对本站的支持!

相关文章

  • Redis异步队列的实现及应用场景

    Redis异步队列的实现及应用场景

    异步队列是一种底层基于异步 I/O 模型的消息队列,用于在分布式系统中进行同步和异步的通讯和协作,本文主要介绍了Redis异步队列的实现及应用场景,感兴趣的可以了解一下
    2023-12-12
  • Redis Cluster集群收缩主从节点详细教程

    Redis Cluster集群收缩主从节点详细教程

    集群收缩的源端就是要下线的主节点,目标端就是在线的主节点,这篇文章主要介绍了Redis Cluster集群收缩主从节点详细教程,需要的朋友可以参考下
    2021-11-11
  • Redis+Caffeine两级缓存的实现

    Redis+Caffeine两级缓存的实现

    本文主要介绍了Redis+Caffeine两级缓存的实现,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2022-06-06
  • Redis命令使用技巧之Keys的相关操作

    Redis命令使用技巧之Keys的相关操作

    Redis KEYS命令用于搜索具有匹配模式的键。下面这篇文章主要给大家介绍了关于Redis命令使用技巧之Keys的相关资料,文中通过示例代码介绍的非常详细,需要的朋友可以参考借鉴,下面随着小编来一起学习学习吧
    2018-10-10
  • 详解Redis中的简单动态字符串和C字符串的区别

    详解Redis中的简单动态字符串和C字符串的区别

    简单动态字符串(SDS)和 C 字符串在实现和特性上存在一些区别,这些区别使得 SDS 更适合作为 Redis 中字符串对象的内部表示,本文给大家介绍一下Redis中的简单动态字符串和C字符串的区别,需要的朋友可以参考下
    2023-12-12
  • 详解如何在Windows上配置和使用Redis持久化功能

    详解如何在Windows上配置和使用Redis持久化功能

    Redis 是一个强大的内存数据库,常用于缓存和实时数据处理,然而,由于其内存特性,一旦服务器重启或故障,存储在 Redis 中的数据可能会丢失,为了确保数据的安全性和持久性,Redis 提供了多种持久化机制,本文将详细介绍如何在 Windows 上配置和使用 Redis 的持久化功能
    2024-08-08
  • Redis实战记录之限制操作频率

    Redis实战记录之限制操作频率

    这篇文章主要给大家介绍了关于Redis实战记录之限制操作频率的相关资料,文中通过示例代码介绍的非常详细,对大家学习或者使用Redis具有一定的参考学习价值,需要的朋友们下面来一起学习学习吧
    2019-06-06
  • Redis事务处理的使用操作方法

    Redis事务处理的使用操作方法

    Redis保证一个事务中的所有命令要么都执行,要么都不执行(原子性),如果客户端发送了EXEC命令,所有的命令就都会被执行,即使此后客户端断线也没关系,因为Redis中已经记录了所有要执行的命令,下面通过本文给大家介绍Redis事务处理的使用操作,感兴趣的朋友一起看看吧
    2021-10-10
  • 使用Redis缓存时高效的批量删除的几种方案

    使用Redis缓存时高效的批量删除的几种方案

    这篇文章主要介绍了使用Redis缓存时高效的批量删除的几种方案的相关资料,需要的朋友可以参考下
    2023-01-01
  • 基于 Redis 实现接口限流的方式

    基于 Redis 实现接口限流的方式

    今天想和小伙伴们聊聊用 Redis 处理接口限流,这也是最近的 TienChin 项目涉及到这个知识点了,我就拎出来和大家聊聊这个话题
    2022-05-05

最新评论