如何使用Cloudera Manager升級Spark2.1版本至Spark2.2

舒適提示：要看高清無碼套圖，請使用手機打開並單擊圖片放大查看。css

Fayson的github：https://github.com/fayson/cdhprojecthtml

提示：代碼塊部分能夠左右滑動查看噢java

1.文檔編寫目的git

在CDH集羣中spark1和Spark2版本能夠共存，爲了更好的體驗及使用Spark新版本的API或修改已知舊版本的bug，現須要將CDH集羣中Spark2的版本升級至Spark2.2最新，本篇文章主要介紹如何經過Cloudera Manager將Spark2.1版本升級至Spark2.2。github

內容概述sql

1.升級準備shell

2.升級Spark版本及驗證apache

3.總結json

測試環境ruby

1.CM和CDH版本爲5.13.1

2.Spark on Yarn部署

前置條件

1.集羣JAVA版本已升級至1.8

2.升級準備

1.下載Spark2.2的parcel包及csd文件，以下下載地址

csd文件下載地址：

http://archive.cloudera.com/spark2/csd/SPARK2_ON_YARN-2.2.0.cloudera2.jar

（可左右滑動）

parcel包下載地址：

http://archive.cloudera.com/spark2/parcels/2.2.0.cloudera2/SPARK2-2.2.0.cloudera2-1.cdh5.12.0.p0.232957-el7.parcel
http://archive.cloudera.com/spark2/parcels/2.2.0.cloudera2/SPARK2-2.2.0.cloudera2-1.cdh5.12.0.p0.232957-el7.parcel.sha1
http://archive.cloudera.com/spark2/parcels/2.2.0.cloudera2/manifest.json

（可左右滑動）

2.部署Spark2.2的parcel包

將下載的parcel包部署在http服務的/var/www/html/spark2.2目錄下

3.測試是不parcel是否部署成功

4.部署csd文件

將下載好的csd文件拷貝至/opt/cloudera/csd目錄下，並修改文件屬主爲cloudera-scm

[root@ip-172-31-6-148 csd]# chown cloudera-scm. SPARK2_ON_YARN-2.2.0.cloudera2.jar

（可左右滑動）

注意：若是csd目錄下有其它Spark版本的csd文件須要移除。

5.完成以上部署後，重啓cloudera-scm-server服務

[root@ip-172-31-6-148 csd]# service cloudera-scm-server restart
Stopping cloudera-scm-server:                              [  OK  ]
Starting cloudera-scm-server:                              [  OK  ]
[root@ip-172-31-6-148 csd]#

（可左右滑動）

6.使用管理員登陸到Cloudera Manager的Web控制檯根據提示重啓Cloudera Management Service服務

3.升級Spark2.2

1.當前CDH集羣中激活的Spark版本爲2.1.0

安裝的Spark版本爲2.1.0

命令行運行確認Spark2版本

2.配置Spark2.2版本的parcel庫地址

能夠看到Spark的parcel中顯示了2.2的版本。

3.點擊下載、分配Spark2.2版本

4.點擊「激活」Spark2.2的parcel包

重啓成功

5.Parcel顯示爲已激活狀態

6.配置Spark2的JAVA環境變量

保存配置，並從新部署客戶端配置

至此已完成Spark2.2的升級

4.驗證Spark版本

1.在命令行運行spark2-shell命令，驗證Spark版本

2.運行一個Spark2的做業

spark2-submit --class org.apache.spark.examples.SparkPi\
    --master yarn-client --num-executors 4 --driver-memory 2g\
    --driver-cores 1 --executor-memory 2g --executor-cores 1\
    /opt/cloudera/parcels/SPARK2/lib/spark2/examples/jars/spark-examples_2.11-2.2.0.cloudera2.jar 5

（可左右滑動）

做業執行成功，查看Yarn的8088界面

5.常見問題

在命令行運行spark2-shell命令報以下異常：

[root@ip-172-31-6-148 ~]# spark2-shell 
Exception in thread "main" java.lang.UnsupportedClassVersionError: org/apache/spark/launcher/Main : Unsupported major.minor version 52.0
        at java.lang.ClassLoader.defineClass1(Native Method)
        at java.lang.ClassLoader.defineClass(ClassLoader.java:800)
        at java.security.SecureClassLoader.defineClass(SecureClassLoader.java:142)
        at java.net.URLClassLoader.defineClass(URLClassLoader.java:449)
        at java.net.URLClassLoader.access$100(URLClassLoader.java:71)
        at java.net.URLClassLoader$1.run(URLClassLoader.java:361)
        at java.net.URLClassLoader$1.run(URLClassLoader.java:355)
        at java.security.AccessController.doPrivileged(Native Method)
        at java.net.URLClassLoader.findClass(URLClassLoader.java:354)
        at java.lang.ClassLoader.loadClass(ClassLoader.java:425)
        at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:308)
        at java.lang.ClassLoader.loadClass(ClassLoader.java:358)
        at sun.launcher.LauncherHelper.checkAndLoadMain(LauncherHelper.java:482)
[root@ip-172-31-6-148 ~]#

（可左右滑動）

解決方式：在Spark2的配置項「客戶端高級配置代碼片斷」中增長JAVA的環境變量且必須爲1.8版本。

6.總結

升級Spark2.2版本的前提是已將CDH集羣的JAVA升級到1.8版本，具體能夠參考Fayson前面的文章《如何將CDH集羣JAVA升級至JDK8》和《如何將Kerberos環境下CDH集羣JAVA升級至JDK8》。
升級Spark2.2時須要注意CSD文件是否與parcel版本一致，且在/opt/cloudera/csd目錄下只能存在一個Spark的CSD文件。
在升級到Spark2.2後須要指定JAVA的環境變量，因爲集羣使用的是Spark ON Yarn模式，因此文章中只須要在「客戶端高級配置代碼片斷」中增長JAVA的環境變量。

提示：代碼塊部分能夠左右滑動查看噢

爲天地立心，爲生民立命，爲往聖繼絕學，爲萬世開太平。

舒適提示：要看高清無碼套圖，請使用手機打開並單擊圖片放大查看。

推薦關注Hadoop實操，第一時間，分享更多Hadoop乾貨，歡迎轉發和分享。

原創文章，歡迎轉載，轉載請註明：轉載自微信公衆號Hadoop實操

本文分享自微信公衆號 - Hadoop實操（gh_c4c535955d0f）。
若有侵權，請聯繫 support@oschina.cn 刪除。
本文參與「OSC源創計劃」，歡迎正在閱讀的你也加入，一塊兒分享。