使用Zookeeper实现选举

2021-07-27 06:21:42

概述

分布式的集群很容易有“选举”的需求，所谓的选举可以先简单的理解为选出集群多个节点的“老大”（leader）

例子1 —— 主从节点选举

举个不是很恰当的例子（mysql不是使用zk来做选举的），我们使用mysql时候，为了做到高可用，可能会同时布两个mysql，一主多备。这个时候，如果master节点挂了，多个slave节点哪一个会被选为主节点？这里就涉及到“选举”，从多个slave节点里选出一个新的master。

例子2 —— 定时任务

又比如，我们经常有定时任务的需求，为了保证高可用。可能跑定时任务的服务会部署多台。

假设有这样一个任务，它会扫表A，然后将这个表A的数据插入到另一个表B里。当只有一台机器跑这个任务，没有问题。但是如果同一时刻，有多台机器在跑，数据就会重复插入到表B里。

所以理想的情况可能是，同一时刻只有一台机器在跑定时任务。当这台机器挂掉了，立刻在其他机器里面选举出一台机器跑定时任务。

使用zookeeper来做集群的选举

总的来说，选举这种需求还是不少的。zookeeper是一个成熟的分布式协调服务，通过使用zookeeper我们可以较为方便的实现集群的选举。

leader选举 —— 非公平模式

Zookeeper节点类型

要想了解如何使用zookeeper实现选举，首先需要了解zookeeper节点的类型

当我们创建zookeeper节点时候，可以填一个CreateMode参数，通过这个参数可以指定创建的节点的类型。

1）PERSISTENT 该值会永久存在，哪怕创建该节点的机器挂了，节点数据依然会存在。注意，如果有两台机器创建了重复的key，比如/data，第二次创建会失败。
2）PERSISTENT_SEQUENTIAL 比如我们创建一个/test节点，zk会在后面加一串数字比如 /test/test0000000001。如果重复创建，会创建一个/test/test0000000002节点（一直往后加1，可以多次创建）
3）EPHEMERAL 临时节点，当创建该节点的机器失连了，创建的这个节点会被删除
4）EPHEMERAL_SEQUENTIAL 和 PERSISTENT_SEQUENTIAL差不多的，只是节点是临时的。

使用zookeeper实现非公平模式选举

了解了zookeeper节点的类型，我们就可以通过zk来实现选举。

什么是非公平模式选举

所谓的非公平模式的选举是相对的，假设有10台机器进行选举，最后会选到哪一个机器，是完全随机的（看谁抢的快）。比如选到了A机器。某一时刻，A机器挂掉了，这时候会再次进行选举，这一次的选举依然是随机的。与某个节点是不是先来的，是不是等了很久无关。这种选举算法，就是非公平的算法。

非公平选举算法

1）首先通过zk创建一个 /server 的PERSISTENT节点
2）多台机器同时创建 /server/leader EPHEMERAL子节点
3）子节点只能创建一个，后创建的会失败。创建成功的节点被选为leader节点
4）所有机器监听 /server/leader 的变化，一旦节点被删除，就重新进行选举，抢占式地创建 /server/leader节点，谁创建成功谁就是leader。

非公平选举算法实现示例

public static void main(String[] args) throws Exception {
    zk = new ZooKeeper("127.0.0.1:2181", FairSelectDemo.SESSION_TIMEOUT, new Watcher() {
        @Override
        public void process(WatchedEvent event) {
            System.out.println(event.getType() + "---" + event.getPath() + "---" + event.getState());
        }
    });
    //zk启动后试着进行选举
    selection();

    TimeUnit.HOURS.sleep(1); //阻塞住
    zk.close();
}

private static void selection() throws Exception {
    try {
        //1、创建/server（这个通过zkCli创建好了），参数3表示公有节点，谁都可以改
        zk.create("/server/leader", "node1".getBytes(), ZooDefs.Ids.OPEN_ACL_UNSAFE, CreateMode.EPHEMERAL);
        //2、没有抛异常，表示创建节点成功了
        System.out.println("选举成功");
    } catch (KeeperException.NodeExistsException e) {
        System.out.println("选举失败");
    } finally {
        //3、监听节点删除事件，如果删除了，重新进行选举
        zk.getData("/server/leader", new Watcher() {
            @Override
            public void process(WatchedEvent event) {
                System.out.println(event.getType() + "---" + event.getPath() + "---" + event.getState());
                try {
                    if (Objects.equals(event.getType(), Event.EventType.NodeDeleted)) {
                        selection();
                    }
                } catch (Exception e) {
                }
            }
        }, null);
    }
}

测试结果：

被选举的客户端被close掉后

公平选举

非公平选举的区别是，增加了先来的优先被选为leader的保证。

公平选举算法

1）首先通过zk创建一个 /server 的PERSISTENT节点
2）多台机器同时创建 /server/leader EPHEMERAL_SEQUENTIAL子节点
3）/server/leader000000xxx 后面数字最小的那个节点被选为leader节点
4）所有机器监听前一个 /server/leader 的变化，比如 (leader00001监听 leader00002) 一旦节点被删除，就获取/server下所有leader，如果自己的数字最小那么自己就被选为leader

公平选举算法的实现

public static void main(String[] args) throws Exception {
    zk = new ZooKeeper("127.0.0.1:2181", UnFairSelectDemo.SESSION_TIMEOUT, new Watcher() {
        @Override
        public void process(WatchedEvent event) {
            System.out.println(event.getType() + "---" + event.getPath() + "---" + event.getState());
        }
    });

    String leaderPath = "/server/leader";

    //1、创建/server（这个通过zkCli创建好了），注意这里是EPHEMERAL_SEQUENTIAL的
    //2、和非公平模式不一样，只需要创建一次节点就可以了
    nodeVal = zk.create(leaderPath, "node1".getBytes(), ZooDefs.Ids.OPEN_ACL_UNSAFE, CreateMode.EPHEMERAL_SEQUENTIAL);

    //System.out.println(nodeVal);

    //启动后试着进行选举
    selection();

    TimeUnit.HOURS.sleep(1); //阻塞住
    zk.close();
}

private static void selection() throws Exception {
    //2、遍历/server下的子节点，看看自己的序号是不是最小的
    List<String> children = zk.getChildren("/server", null);
    Collections.sort(children);

    String formerNode = "";  //前一个节点，用于监听
    for (int i = 0; i < children.size(); i++) {
        String node = children.get(i);
        if (nodeVal.equals("/server/" + node)) {
            if (i == 0) {
                //第一个
                System.out.println("我被选为leader节点了");
            } else {
                formerNode = children.get(i - 1);
            }
        }
    }
    if (!"".equals(formerNode)) {
            //自己不是第一个，如果是第一个formerNode应该没有值
        System.out.println("我竞选失败了");
        //3、监听前一个节点的删除事件，如果删除了，重新进行选举
        zk.getData("/server/" + formerNode, new Watcher() {
            @Override
            public void process(WatchedEvent event) {
                System.out.println(event.getType() + "---" + event.getPath() + "---" + event.getState());
                try {
                    if (Objects.equals(event.getType(), Event.EventType.NodeDeleted)) {
                        selection();
                    }
                } catch (Exception e) {
                }
            }
        }, null);
    }
    //System.out.println("children:" + children);
}

测试结果

关闭被选为的leader节点后

总结

通过zookeeper的api，我们可以很容易实现集群的选举。当然此处介绍的zookeeper的选举比较适合于机器平权的情况，比如三台被选举的机器是一模一样的。如果有优先级，有调度，需要增加其他算法。这种方式就不适合了。

但是其实上述的写法不是很严谨，比如公平选举算法，如果中间一个节点挂掉了，假设有01，02，03，04节点比如02挂掉了，03一直监听着02，那么这个时候03应该改为监听01，否则，当01挂了，没有任何节点能被选为leader。除此之外，各种异常状态都需要我们自己处理。

为了更加方便的使用选举，我们可以使用Curator。Curator为我们封装了操作zookeeper底层的各种细节，比使用原生的zookeeper更为方便。下一篇博客会介绍下Curator的使用。

码农公寓

概述