虚拟IP管理系统

时间：2023-06-26 10:18:01 | 来源：网站运营

时间：2023-06-26 10:18:01 来源：网站运营

虚拟IP管理系统：

前言

VIP是虚拟的IP地址，并不对应于一个实际的物理网络接口。通过为一台机器提供备用故障转移选项，VIP可用于提供连接冗余。

现在常用keepalived来实现VIP，结构图如下

Keepalived问题

脑裂问题

在master和backup无法正常通行时（比如master和backup之间网络出现问题），backup会认为master已经挂掉，从而选举自己成为master，开始履行master的职责，对外广播GARP和VRRP报文。这时旧的master依然在正常工作，那么我们在子网内将有两个主机在同时告诉其他主机：“我是192.168.1.2。”这就是“脑裂问题”。

一般采用两个办法来防止脑裂问题。

1. 仲裁。当两个节点出现分歧时，由第三方的仲裁者决定听谁的。
2. fencing。当不能确定某个节点的状态时，通过fencing把对方干掉，确认共享资源被完全释放。

成本问题

VRRP是一种典型的2N冗余，往往需要两个或以上的实例来保证单个VIP的高可用。但是在实际工程中，多个VIP同时出问题可能性是比较低的，在这种情况下，如果能用N+M(M<N)冗余来达到效果无疑能达到节省成本的效果。

利用keepalived其实也可以得到部分N+M的效果，如下图所示。这种方式需要注意配置文件的编写，这无疑也意味着运维成本的增加。

设计

本文会提出一种方法利用zookeeper来解决脑裂和成本问题，同时提供一些工具来帮助管理VIP。下面用ZVIP来指代这种方法。

整体设计比较简单，如下图所示： [图片上传失败...(image-b82ad5-1517221966654)]

演示

现在探讨这些不同的角色以及每个角色需要执行的确切步骤。

假设要创建地址为192.168.1.2和192.168.1.3的VIP，如下图所示。其中192.168.1.4（node1），192.168.1.5（node2）和192.168.1.5（node3）为实际的IP地址，在node1，node2和node3上运行agent。server运行在主机http://example.com上。







现在有了一个group，这个group里有2个VIP和3个节点。这个group中有两个角色 1. server。server负责管理group 2. agent。agent承担真正VIP的功能。

下面通过zkCli工具来演示工作的流程。

系统初始化

创建/groups, /nodes, /servers, /tasks这些znode。

[zk: localhost:2181(CONNECTED) 0] create /groups ""Created /groups[zk: localhost:2181(CONNECTED) 1] create /nodes ""Created /nodes[zk: localhost:2181(CONNECTED) 3] create /servers ""Created /servers[zk: localhost:2181(CONNECTED) 4] create /tasks ""Created /tasks[zk: localhost:2181(CONNECTED) 5] ls /[groups, servers, nodes, zookeeper, tasks]当一个agent服务起来时，会在/nodes下注册一个znode并且watch创建的znode。也会在/tasks下执行同样的操作。

# For node1[zk: localhost:2181(CONNECTED) 7] create /nodes/node-192-168-1-4 ""Created /nodes/node-192-168-1-3[zk: localhost:2181(CONNECTED) 9] ls /nodes/node-192-168-1-4 true[]# For node1[zk: localhost:2181(CONNECTED) 7] create /tasks/node-192-168-1-4 ""Created /nodes/node-192-168-1-4[zk: localhost:2181(CONNECTED) 9] ls /tasks/node-192-168-1-4 true[]

设置一个group

一个group总是被手动创建。创建者一定知道VIP的地址并且会知道真实机器的信息。创建者通过server来设置一个group（通过ui界面或者调用接口）。

server创建一个znode /groups/group1；然后在各个node下创建这个group。

# For server[zk: localhost:2181(CONNECTED) 10] create /groups/group1 ""Created /groups/group1[zk: localhost:2181(CONNECTED) 11] create /groups/group1/vips ""Created /groups/group1[zk: localhost:2181(CONNECTED) 12] create /groups/group1/nodes ""Created /groups/group1/nodes[zk: localhost:2181(CONNECTED) 13] create /groups/group1/vips/vip-192-168-1-2 some-configCreated /groups/group1/vips/vip-192-168-1-2[zk: localhost:2181(CONNECTED) 14] create /groups/group1/vips/vip-192-168-1-3 some-configCreated /groups/group1/vips/vip-192-168-1-3[zk: localhost:2181(CONNECTED) 15] create /nodes/node-192-168-1-4/group1 some-configCreated /nodes/node-192-168-1-4/group1[zk: localhost:2181(CONNECTED) 16] create /nodes/node-192-168-1-5/group1 some-configCreated /nodes/node-192-168-1-5/group1[zk: localhost:2181(CONNECTED) 17] create /nodes/node-192-168-1-6/group1 some-configCreated /nodes/node-192-168-1-6/group1node1因为之前监听了/nodes/node-192-168-1-4这个节点，所以会接受到zookeeper的通知，node1去读取/nodes/node-192-168-1-4下面的znode，更新自己的配置。然后在/groups/group1/nodes下去创建一个临时znode。

# For node1WATCHER:: WatchedEvent state:SyncConnected type:NodeChildrenChanged path:/nodes/node-192-168-1-4[zk: localhost:2181(CONNECTED) 18] create -e -s /groups/group1/nodes/node-192-168-1-4 ""Created /groups/group1/nodes/node-192-168-1-4[zk: localhost:2181(CONNECTED) 19] ls /groups/group1/vips[vip-192-168-1-2, vip-192-168-1-3][zk: localhost:2181(CONNECTED) 20] ls /groups/group1/vips/vip-192-168-1-2 true[][zk: localhost:2181(CONNECTED) 21] ls /groups/group1/vips/vip-192-168-1-3 true[]当server为/groups/group1/vips下面的节点增加子节点时，agent会得到zookeeper的通知，通过获取节点的内容，可以知道自己是不是被server选中，从而选择是否去执行VIP的职责。

agent执行命令

现在server向node1发送命令，需要node1去执行。流程如下。 server在/tasks/node-192-168-1-4下创建znode，并且监听其变化

# For server[zk: localhost:2181(CONNECTED) 5] create -s /tasks/node-192-168-1-4/task- "job definition"Created /tasks/node-192-168-1-4/task-0000000000[zk: localhost:2181(CONNECTED) 6] ls /tasks/node-192-168-1-4/task-0000000000 true[]node1之前已经监听过了/tasks/node-192-168-1-4，所以会得到zookeeper的通知，这时node1会去读取/tasks/node-192-168-1-4下面的节点，拿到要执行的任务，在执行完成后，在/tasks//tasks/node-192-168-1-4/task-0000000000中添加一个状态znode

# For agent[zk: localhost:2181(CONNECTED) 5] create /tasks/node-192-168-1-4/task-0000000000/status "done"Created /tasks/node-192-168-1-4/task-0000000000/statusserver因为监听了/tasks/node-192-168-1-4/task-0000000000节点，所以会接到zookeeper的通知，知道任务已经完成。

VIP选举

Server选择VIP流程如下

VIP Failover

Server Failover

每个server启动时，会在/servers/下创建一个临时节点。当节点创建成功，其他尝试创建同名znode的server会报错，就此得知server这个角色已经被占有的。其他的server会监听这个znode。也会和主server一样监听/groups和/tasks下面的节点。

# For server example.shopee.com[zk: localhost:2181(CONNECTED) 11] create /servers/server-shopee-com:1212 ""Created /servers/server-shopee-com:1212server每次执行

Agent Failover

当一个agent挂掉时，比如node1挂掉时，/groups/group1/nodes/node-192-168-1-4这个临时节点会被删除，server会得到zookeeper 的通知，从而开始选择新的节点作为VIP。