盛世彩票-安装并运行Apache Spark 2.x

1.目的

本教程包含在Ubuntu上以盛世彩票网独立模式进行Apache Spark 安装的步骤  Spark  独立模式在没有任何现有集群管理软件的情况设置系统。例如  纱线资源管理器  / Mesos我们拥有在独立模式下为Spark应用程序划分驱动程序和执行程序的spark master和spark worker。

 

2.在独立模式下安装Apache Spark的步骤

让我们按照以下给出的在独立模式下安装Apache Spark的步骤 -

2.1。平台

I.平台要求

操作系统: Ubuntu 14.04或更高版本,我们也可以使用其他Linux风格,如CentOS,Redhat等。

II。配置和设置平台

如果您使用的是Windows / Mac操作系统,那么您可以  盛世彩票网使用VMWare Player创建虚拟机并安装Ubuntu,也可以使用Oracle Virtual Box创建虚拟机并安装Ubuntu

2.2。安装Spark之前需要安装的软件

I.安装Java

您需要在Spark安装之前安装Java。所以,让我们开始安装Java。因此,请使用以下命令下载并安装Java-

$ sudo apt - get install python - software - properties

$ sudo apt - add - repository ppa:webupd8team / java

$ sudo apt - 获取更新

$ sudo apt - get install oracle - java7 - installer

在执行这个命令时,Java会开始下载并安装。

要检查安装过程是否完成并且安装了完整的Java,盛世彩票网并且要知道安装的Java版本,我们必须使用下面的命令 -

$ java - 版本

II。安装Scala

一个。下载Scala

Apache Spark是用Scala编写的,所以我们需要安装Scala来构建Spark。按照下面给出的步骤安装Scala。

湾 解开文件

$ sudo tar xvf scala - 2.10 .4 .tgz

C。编辑Bashrc文件

在.bashrc文件中为Scala创建一个条目

nano〜/ .bashrc

并在文件末尾添加以下路径。这意味着将Scala软件文件所在的位置添加到PATH变量中。

 

出口SCALA_HOME = 路径- 在那里- 斯卡拉- 文件- - 位于

export PATH = $ PATH $ SCALA_HOME / bin

通过该命令来源更改的.bashrc文件

源〜/ .bashrc

d。验证Scala安装

安装后,验证它是很好的。使用以下命令验证Scala安装。

$ scala - 版本

2.3。安装Spark

在单节点群集上以独立模式安装Spark - 对盛世彩票网于独立模式下的Apache Spark安装,只需将Spark设置放置在群集的节点上并提取并配置它即可。遵循本指南如果您计划在多节点群集上安装Spark

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:http://www.hyedu.net/a/shengshi/28.html