重新编译Spark2.4.0 Parcels包

1、下载修改的parcel包

2、使用压缩工具打开parcel、替换需要的jar包,改案例中替换和新增的jar如下:

httpclient-4.5.6.jar

parquet-format-2.5.0.jar

3、根据文件内容生成hash

certutil -hashfile C:\Users\15755\Desktop\parquet\SPARK2-2.4.0.cloudera2-1.cdh5.13.3.p0.1041012-el6.parcel SHA1

4、修改下面三个文件hash值

a、manifest.json中的"hash"

b、SPARK2-2.4.0.cloudera2-1.cdh5.13.3.p0.1041012-el6.parcel.sha1、SPARK2-2.4.0.cloudera2-1.cdh5.13.3.p0.1041012-el7.parcel.sha1到服务器、替换之前的yum包

5、上传parcel、manifest.json、SPARK2-2.4.0.cloudera2-1.cdh5.13.3.p0.1041012-el6.parcel.sha1、SPARK2-2.4.0.cloudera2-1.cdh5.13.3.p0.1041012-el7.parcel.sha1到服务器、替换之前的yum包

6、删除parcels-cache、/opt/cloudera/parcels/.flood下与SPARK2相关的文件,重启cm-agent

ansible cdh230 -m shell -a "rm -fr /opt/cloudera/parcels/.flood"

ansible cdh230 -m shell -a "service cloudera-scm-agent restart"

7、在CM中操作

a、停用、删除SPARK2的parcel包

b、下载、分配、激活

上一篇:SDN第一次上机实验


下一篇:零配置 JS 打包工具 Parcel 初体验