大数据开发平台DataSphereStudio安装

2021-12-08 18:45:19

下载地址：

https://osp-1257653870.cos.ap-guangzhou.myqcloud.com/WeDatasphere/DataSphereStudio/0.9.0/dss_linkis.zip

精简版安装：只支持scriptis，支持Python脚本

1、安装dss_linkis 相关环境准备

mysql5.7

jdk1.8

Python2.x或3.x Linux环境自带Python2.7

Nginx（yum install nginx）

2、创建安装用户

例如: 部署用户是hadoop账号

在部署机器上创建部署用户，用于安装

useradd hadoop -g hadoop

2、用户需要具有 sudo 权限，而且是免密的。

因为Linkis的服务是以 sudo -u ${linux-user} 方式来切换引擎，从而执行作业。

echo 'hadoop  ALL=(ALL)  NOPASSWD: NOPASSWD: ALL' >> /etc/sudoers

3、下载安装包

下载地址：

https://osp-1257653870.cos.ap-guangzhou.myqcloud.com/WeDatasphere/DataSphereStudio/0.9.0/dss_linkis.zip

在/home 目录下创建文件夹dss_linkis

mkdir dss_linkis

将下载的压缩包上传到该目录下，解压缩

unzip dss_linkis.zip

修改目录权限

chown -R hadoop:hadoop /home/dss_linkis/

解压后ls查看目录如下

[root@hadoop163 dss_linkis]# ll
总用量 3589228
-rw-r--r--  1 hadoop hadoop   36299714 6月  24 2020 azkaban-solo-server-0.1.0-SNAPSHOT.tar.gz
drwxr-xr-x  5 hadoop hadoop       4096 7月  10 2020 backup
drwxr-xr-x  2 hadoop hadoop       4096 6月  24 2020 bin
drwxr-xr-x  2 hadoop hadoop       4096 3月  23 17:26 conf
-rw-r--r--  1 hadoop hadoop 1837836978 3月  23 16:50 dss_linkis.zip
-rw-r--r--  1 hadoop hadoop   91007906 7月   8 2020 linkis-jobtype-0.9.0.zip
drwxrwxr-x  2 hadoop hadoop       4096 7月  31 2020 __MACOSX
-rw-r--r--  1 hadoop hadoop  578206977 7月  31 2020 wedatasphere-dss-0.9.0-dist.tar.gz
-rw-r--r--  1 hadoop hadoop   25459990 7月  13 2020 wedatasphere-dss-web-0.9.0-dist.zip
-rw-rw-r--  1 hadoop hadoop  911826815 3月  23 17:17 wedatasphere-linkis-0.9.4-dist.tar.gz
-rw-r--r--  1 hadoop hadoop  194569303 6月  24 2020 wedatasphere-qualitis-0.9.0.zip

4、修改配置文件

登录hadoop用户

su hadoop

将conf目录下的config.sh.lite.template，修改为config.sh

cp conf/config.sh.lite.template conf/config.sh

修改配置文件

[root@hadoop163 dss_linkis]# vim conf/config.sh
#!/bin/sh
#Actively load user env
SSH_PORT=22
deployUser="`whoami`"
### Specifies the user workspace, which is used to store the user's script files and log files.
### Generally local directory
WORKSPACE_USER_ROOT_PATH=file:///tmp/linkis/ ##file:// required
### Path to store job ResultSet:file or hdfs path
RESULT_SET_ROOT_PATH=file:///tmp/linkis
#DSS Web
DSS_NGINX_IP=hadoop163
DSS_WEB_PORT=9088  #修改该端口，原端口为8088yarn占用
LINKIS_VERSION=0.9.4
DSS_VERSION=0.9.0

vi conf/db.sh 
# 设置数据库的连接信息
MYSQL_HOST=hadoop161
MYSQL_PORT=3306
MYSQL_DB=dss
MYSQL_USER=root
MYSQL_PASSWORD=root

5、安装

执行安装脚本，需要在安装的根目录执行下面的命令，否则报错

sh bin/install.sh

安装环境报错，安装的时候会报相关的依赖包缺失，缺失什么包就安装什么包。如果mysql不在本机安装，则需要安装mysql的客户端。

yum mysql unzip expect telnet tar sed dos2unix

install.sh脚本会询问您安装模式。安装模式分为1：精简版、2：标准版，这里选择1 精简版。
install.sh脚本会询问您是否需要初始化数据库并导入元数据，linkis和dss 均会询问。由于是第一次安装，这里选择2。

Do you want to clear DSS table information in the database?
 1: Do not execute table-building statements
 2: Dangerous! Clear all data and rebuild the tables.
Please input the choice:2

当看到如下显示时，安装成功：检查安装过程中有没有报错信息

FirewallD is not running
FirewallD is not running
setenforce: SELinux is disabled
Succeed to + install DSS Web

6开启服务

6.1安装成功后，需要修改一些配置文件，才能启动成功

修改Nginx配置文件

[root@hadoop163 dss_linkis]# vim /etc/nginx/conf.d/dss.conf 

        server {
            listen       9088;# 访问端口  修改这里端口为9088
            server_name  localhost;
            #charset koi8-r;
            #access_log  /var/log/nginx/host.access.log  main;
            location /dss/visualis {
            root   /home/dss_linkis/web; # 静态文件目录
            autoindex on;
            }
            location / {
            root   /home/dss_linkis/web/dist; # 静态文件目录
            index  index.html index.html;
            }
            location /ws {
            proxy_pass http://localhost:9101;#后端Linkis的地址  修改这里端口为9011
            proxy_http_version 1.1;
            proxy_set_header Upgrade $http_upgrade;
            proxy_set_header Connection upgrade;
            }

            location /api {
            proxy_pass http://localhost:9101; #后端Linkis的地址 修改这里端口为9011
            proxy_set_header Host $host;
            proxy_set_header X-Real-IP $remote_addr;
            proxy_set_header x_real_ipP $remote_addr;
            proxy_set_header remote_addr $remote_addr;
            proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
            proxy_http_version 1.1;
            proxy_connect_timeout 4s;
            proxy_read_timeout 600s;
            proxy_send_timeout 12s;
            proxy_set_header Upgrade $http_upgrade;
            proxy_set_header Connection upgrade;
            }

            #error_page  404              /404.html;
            # redirect server error pages to the static page /50x.html
            #
            error_page   500 502 503 504  /50x.html;
            location = /50x.html {
            root   /usr/share/nginx/html;
            }
        }

修改web端配置文件

[root@hadoop163 dss_linkis]# cd web/
[root@hadoop163 web]# vim conf/config.sh 
#dss web port
dss_web_port="9088"#web端的登录端口，改为9088，原端口8088 已占用

#dss web access linkis gateway adress
linkis_gateway_url="http://localhost:9101" #这里修改端口味9101，原端口为9001，已占用

#dss nginx ip
dss_nginx_ip=$(ip addr | awk '/^[0-9]+: / {}; /inet.*global/ {print gensub(/(.*)\/(.*)/, "\\1", "g", $2)}'|awk 'NR==1')

修改dss端配置文件

[root@hadoop163 dss_linkis]# cd dss/
[root@hadoop163 dss]# vim conf/config.sh 
### Linkis Gateway  information
GATEWAY_INSTALL_IP=127.0.0.1
GATEWAY_PORT=9101 #将该端口改成9101

[root@hadoop163 dss]# vim dss-server/conf/linkis.properties
wds.linkis.gateway.ip=127.0.0.1
wds.linkis.gateway.port=9101 #将该端口改成9101

修改linkis端配置文件

[root@hadoop163 dss_linkis]# cd linkis/
[root@hadoop163 linkis]# vim conf/config.sh 
###  Gateway install information
#GATEWAY_INSTALL_IP=127.0.0.1
GATEWAY_PORT=9101 #将该端口改成9101

[root@hadoop163 linkis]# vim eureka/conf/application-eureka.yml
    register-with-eureka: false #将注释放开
    fetch-registry: false #将注释放开
如果不放开运行时会报错，报Cannot execute request on any known server 这个错

[root@hadoop163 linkis]# vim linkis-gateway/conf/application.yml
server:
  port: 9101 #将该端口改成9101

[root@hadoop163 linkis]# vim linkis-publicservice/conf/linkis.properties 
##UDF
wds.linkis.storage.is.share.node=true
wds.linkis.gateway.ip=127.0.0.1
wds.linkis.gateway.port=9101 #将该端口改成9101

wds.linkis.gateway.url=http://127.0.0.1:9101 #将该端口改成9101

[root@hadoop163 linkis]# vim linkis-ujes-python-enginemanager/conf/linkis-engine.properties 
wds.linkis.gateway.url=http://127.0.0.1:9101 #将该端口改成9101

[root@hadoop163 linkis]# vim linkis-ujes-python-entrance/conf/linkis.properties 
wds.linkis.resultSet.store.path=file:///tmp/linkis
wds.linkis.gateway.url=http://127.0.0.1:9101 #将该端口改成9101

6.2启动服务

启动linkis端服务

[root@hadoop163 dss_linkis]# sh bin/start-all.sh > start.log 2>start_error.log

启动dss-server端

[root@hadoop163 dss_linkis]# cd dss/dss-server
[root@hadoop163 dss-server]# sh bin/start-dss-server.sh

6.3查看服务

打开浏览器访问http://hadoop163:20303/，有如下服务：

打开浏览器访问http://hadoop163:9088，用户名密码为创建的用户，这里为hadoop/hadoop

码农公寓