Windows下使用zeppelin、Dockers搭建Flink学习环境

一、原因

最近在学Flink,学的时候非常怀念学习Python用的Jupyter notebook,因此非常希望也能有一个类似Jupyter Notebook的环境来运行、学习Flink。可惜Jupyter Notebook现在不支持Flink,不过幸好还有Zeppelin

zeppelin是一个基于webnotebook,支持各种解析器,可视化的数据提取,数据发现,数据分析等。当前zeppelin支持多中解析器,比如spark,python,jdbc,markdown,shell等等。

因为我是用笔记本来学习,为了简化安装步骤,决定使用Docker 来搭建环境。

二、环境搭建

1,安装Docker Desktop,具体方法请参考官网说明即可。

2,下载Docker。现在zeppelin最新的版本是0.10.0。在启动Docker Desktop后,直接运行 docker pull apache/zeppelin:0.10.0  即可将最新的zeppelin docker下载到本地。

3zeppelin默认的docker里面不包括Flink,所以需要自行下载,去官网下载即可。我这次使用的是1.12.7。下载后解压到希望Flink运行的目录。

4,运行

docker run -p 8080:8080 -p 8081:8081 --rm -v D:/Docker/zeppelin/flink-1.12.7:/opt/flink -e FLINK_HOME=/opt/flink  --name zeppelin apache/zeppelin:0.10.0

即可启动Zeppelin环境。其中D:/Docker/zeppelin/flink-1.12.7 flink解压的目录。

然后就可以通过http://localhost:8080/ 访问zeppelin

Windows下使用zeppelin、Dockers搭建Flink学习环境

可以直接运行Flink Tutorial

Windows下使用zeppelin、Dockers搭建Flink学习环境

Windows下使用zeppelin、Dockers搭建Flink学习环境

可以通过http://localhost:8081/ 查看FlinkUI

 

Windows下使用zeppelin、Dockers搭建Flink学习环境

现在你就可以愉快的玩耍了。

5,也可以通过docker-compose来启动和关闭zepplindocker-compose.yml文件内容如下:

version: '3'

services:

    zeppelin:

        image: apache/zeppelin:0.10.0

        restart: always

        environment:

            - FLINK_HOME=/opt/flink

        volumes:

            - D:/Docker/zeppelin/flink-1.12.7:/opt/flink

        ports:

            - 8080:8080

            - 8081:8081

docker-compose.yml文件的目录里可以通过docker-compose up -d docker-compose down 来启动和停止zeppelin

 

上一篇:LPF: A Language-Prior Feedback Objective Function forDe-biased Visual Question Answering


下一篇:认识Mysql索引