许多大厂使用flin + storm.spart/storm是批处理大数据,flink是流处理大数据。也就是说支持增量的更新,不用牵一发而动全身,实施更改。
安装和部署。
可以用kubernates管理cluster,把程序部署到集群中。也可以部署到本地虚拟机。
nc -l -p 9000,然后输入命令行数据。
然后
datastream.map().keyby().print().sink()
关键概念:
flink支持savepoint, checkpoint,对出错点支持rollback,fallover.把运行中的状态保存到内存或者磁盘,同时支持watermark,所以数据是原子性的,有序的。
flink如何在代码级实现流的合并于通信,需要了解,以及并行度的问题
目前可以操作savePoint