详解IntelliJ IDEA创建spark项目的两种方式

 更新时间:2019年01月21日 10:18:13   作者:梦岚如雪  
这篇文章主要介绍了详解IntelliJ IDEA创建spark项目的两种方式,小编觉得挺不错的,现在分享给大家,也给大家做个参考。一起跟随小编过来看看吧

Intellij是进行scala开发的一个非常好用的工具,可以非常轻松查看scala源码,当然用它来开发Java也是很爽的,之前一直在用scala ide和eclipse,现在换成intellij简直好用到飞起,但是有些人不知道怎么用intellij去创建一个spark项目,这里介绍两种

1、选择File->new Project->Java->Scala,这里scala版本是2.11.8

2 .之后一路点击next,直到finish,创建完的项目见下图,这时候已经可以创建scala文件了,接下来就可以添加spark相关的jar包了,从官网下载http://spark.apache.org/downloads.html,我这里用的是spark-2.2.1-bin-hadoop2.7,你可以根据自己需要选择相应的版本,下载完压缩包后解压

3 . 选择File->Project Structure->Libraries,点击+,选择Java,选择之前下载的spark2.2-hadoop2.7解压后的jars文件夹,将该文件夹下的jar包全部引进该项目,见下图

4 . 之后在libraries中点击+,选择scala sdk,这里选择系统版本的scala,为2.11.8版本,添加见下图

5 . 添加完毕后Project Structure类似于下面这种格式

6 .现在该项目有了spark的jar和scala的sdk,之后创建一个scala文件进行测试,代码及运行结果见下图

 

7 .出现上面这些内容表明Intellij创建spark项目成功,总结一下这种方式需要引入scala sdk以及spark的jar包,还有另外一种方式是见下图,选择File->New Project->Scala->IDEA,选择next

8 .之后指定项目名称和项目所处位置,点击finish,创建项目

9 .这时候创建的项目如下,这种情况下可以直接右键new 创建scala文件,不需要在额外添加scala sdk

10 .接下来的操作和上面那种一样,添加spark jar包即可,添加完后测试一下

 

11 .成功输出,表明Intellij创建spark项目成功,当然前提是intellij安装了scala插件,在File->Settings->Plugins,搜索scala,根据查找的结果进行安装后重启intellij即可,下图是我已经安装好的

以上就是两种创建spark项目的方式,希望对大家的学习有所帮助,也希望大家多多支持脚本之家。

相关文章

  • MyBatis集成Spring流程详解

    MyBatis集成Spring流程详解

    在实际开发中不仅仅是要展示数据,还要构成数据模型添加数据,这篇文章主要介绍了SpringBoot集成Mybatis操作数据库,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2022-08-08
  • Java中InetAddress类的使用

    Java中InetAddress类的使用

    InetAddress类是Java中用于表示IP地址的类,本文就来介绍一下Java中InetAddress类的使用,具有一定的参考价值,感兴趣的可以了解一下
    2023-09-09
  • 70行Java代码实现深度神经网络算法分享

    70行Java代码实现深度神经网络算法分享

    这篇文章主要介绍了70行Java代码实现深度神经网络算法分享,涉及神经网络的计算过程,神经网络的算法程序实现,多层神经网络完整程序实现等相关内容,具有一定参考价值,需要的朋友可以参考下。
    2017-11-11
  • SpringBoot搭配AOP实现自定义注解

    SpringBoot搭配AOP实现自定义注解

    这篇文章主要为大家详细介绍了SpringBoot如何搭配AOP实现自定义注解,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下
    2022-12-12
  • Java自定义异常与异常使用的最佳方式

    Java自定义异常与异常使用的最佳方式

    这篇文章主要介绍了Java自定义异常与异常使用的最佳方式,具有很好的参考价值,希望对大家有所帮助。如有错误或未考虑完全的地方,望不吝赐教
    2021-08-08
  • 教你怎么用Springboot自定义Banner图案

    教你怎么用Springboot自定义Banner图案

    今天给大家带来的是Java的相关知识,文章围绕着怎么用Springboot自定义Banner图案展开,文中有非常详细的介绍及代码示例,需要的朋友可以参考下
    2021-06-06
  • SpringBoot应用启动慢的原因分析及优化方法

    SpringBoot应用启动慢的原因分析及优化方法

    在使用Spring Boot进行开发时,快速启动应用程序是一个非常重要的需求,然而,在某些情况下,我们会遇到Spring Boot应用启动缓慢的问题,本文将分析Spring Boot应用启动慢的常见原因,并提供一些优化方法,需要的朋友可以参考下
    2024-08-08
  • SpringBoot生产环境打包如何去除无用依赖

    SpringBoot生产环境打包如何去除无用依赖

    这篇文章主要介绍了SpringBoot生产环境打包如何去除无用依赖问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教
    2023-09-09
  • Mybatis源码分析之存储过程调用和运行流程

    Mybatis源码分析之存储过程调用和运行流程

    这一篇我们学习一下Mybatis调用存储过程的使用和运行流程,首先我们创建一个简单的存储过程,具体创建过程大家可以通过本文学习下
    2016-11-11
  • Java中的Graphics2D类基本使用教程

    Java中的Graphics2D类基本使用教程

    这篇文章主要介绍了Java中的Graphics2D类基本使用教程,Graphics2D类较之Graphics类中的功能更加专业,需要的朋友可以参考下
    2015-10-10

最新评论