环境：6台服务器docker swarm集群（2个主节点和4个工作节点）
要求：在现有的docker swarm上设置一个zookeeper集群。
阻碍：为了在集群中设置zookeeper，我们需要在每个服务器配置中提供所有zk服务器，并在myid文件中提供唯一的ID。
问题：当我们在docker swarm中创建zookeeper的副本时，如何为每个副本提供唯一的ID？另外，如何更新zoo.cfg配置文件以包含每个zookeeper容器的ID？
3个回答
8
这并不是一件容易的事情。当每个集群成员需要独特的身份和存储卷时，完全可扩展的有状态应用程序集群就会变得棘手。
在Docker Swarm上，今天，您最好将每个集群成员作为单独的服务运行，在您的compose文件中（请参见31z4/zookeeper-docker）：
在Docker Swarm上，今天，您最好将每个集群成员作为单独的服务运行，在您的compose文件中（请参见31z4/zookeeper-docker）：
version: '2'
services:
zoo1:
image: 31z4/zookeeper
restart: always
ports:
- 2181:2181
environment:
ZOO_MY_ID: 1
ZOO_SERVERS: server.1=zoo1:2888:3888 server.2=zoo2:2888:3888 server.3=zoo3:2888:3888
zoo2:
image: 31z4/zookeeper
restart: always
ports:
- 2182:2181
environment:
ZOO_MY_ID: 2
ZOO_SERVERS: server.1=zoo1:2888:3888 server.2=zoo2:2888:3888 server.3=zoo3:2888:3888
..
..
对于一种最先进（但仍在不断发展中）的解决方案，我建议查看 Kubernetes：
新的Statefulsets概念带来了很多前景。我预计Docker Swarm将在未来增加类似的功能，其中每个容器实例都被分配一个唯一且“粘性”的主机名，可以用作唯一标识的基础。- Mark O'Connor
3
我们创建了一个扩展官方docker镜像的镜像，它可以自动发现rest zookeeper节点并在每个容器启动时配置当前节点。您可以在docker store和我们的github中找到该镜像。请注意：目前它无法处理由于失败而重新创建容器的情况。
编辑（6/11/2018）：最新的镜像支持重新配置zookeeper群集，例如：
- 扩展docker服务（添加更多容器） - 缩小docker服务（删除容器） - 由于失败，docker swarm重新安排容器（分配新IP）
编辑（6/11/2018）：最新的镜像支持重新配置zookeeper群集，例如：
- 扩展docker服务（添加更多容器） - 缩小docker服务（删除容器） - 由于失败，docker swarm重新安排容器（分配新IP）
- chaliasos
3
0
我一直在尝试在Docker Swarm模式下部署Zookeeper集群。
我已经部署了3台机器连接到Docker Swarm网络。我的要求是，在这些节点的每个上运行3个Zookeeper实例，形成集合。
我阅读了这个帖子，在如何在Docker Swarm中部署Zookeeper方面得到了一些见解。
正如@junius建议的那样，我创建了Docker Compose文件。我已经删除了约束条件，因为Docker Swarm会忽略它。请参考https://forums.docker.com/t/docker-swarm-constraints-being-ignored/31555
我的Zookeeper Docker Compose文件如下：
version: '3.3'
services:
zoo1:
image: zookeeper:3.4.12
hostname: zoo1
ports:
- target: 2181
published: 2181
protocol: tcp
mode: host
- target: 2888
published: 2888
protocol: tcp
mode: host
- target: 3888
published: 3888
protocol: tcp
mode: host
networks:
- net
deploy:
restart_policy:
condition: on-failure
environment:
ZOO_MY_ID: 1
ZOO_SERVERS: server.1=0.0.0.0:2888:3888 server.2=zoo2:2888:3888 server.3=zoo3:2888:3888
volumes:
- /home/zk/data:/data
- /home/zk/datalog:/datalog
- /etc/localtime:/etc/localtime:ro
zoo2:
image: zookeeper:3.4.12
hostname: zoo2
ports:
- target: 2181
published: 2181
protocol: tcp
mode: host
- target: 2888
published: 2888
protocol: tcp
mode: host
- target: 3888
published: 3888
protocol: tcp
mode: host
networks:
- net
deploy:
restart_policy:
condition: on-failure
environment:
ZOO_MY_ID: 2
ZOO_SERVERS: server.1=zoo1:2888:3888 server.2=0.0.0.0:2888:3888 server.3=zoo3:2888:3888
volumes:
- /home/zk/data:/data
- /home/zk/datalog:/datalog
- /etc/localtime:/etc/localtime:ro
zoo3:
image: zookeeper:3.4.12
hostname: zoo3
ports:
- target: 2181
published: 2181
protocol: tcp
mode: host
- target: 2888
published: 2888
protocol: tcp
mode: host
- target: 3888
published: 3888
protocol: tcp
mode: host
networks:
- net
deploy:
restart_policy:
condition: on-failure
environment:
ZOO_MY_ID: 3
ZOO_SERVERS: server.1=zoo1:2888:3888 server.2=zoo2:2888:3888 server.3=0.0.0.0:2888:3888
volumes:
- /home/zk/data:/data
- /home/zk/datalog:/datalog
- /etc/localtime:/etc/localtime:ro
networks:
net:
使用docker stack命令部署。
docker stack deploy -c zoo3.yml zk 创建网络zk_net 创建服务zk_zoo3 创建服务zk_zoo1 创建服务zk_zoo2
Zookeeper服务在每个节点上都很好地运行，没有任何问题。
docker stack services zk ID NAME MODE REPLICAS IMAGE PORTS rn7t5f3tu0r4 zk_zoo1 replicated 1/1 zookeeper:3.4.12 0.0.0.0:2181->2181/tcp, 0.0.0.0:2888->2888/tcp, 0.0.0.0:3888->3888/tcp u51r7bjwwm03 zk_zoo2 replicated 1/1 zookeeper:3.4.12 0.0.0.0:2181->2181/tcp, 0.0.0.0:2888->2888/tcp, 0.0.0.0:3888->3888/tcp zlbcocid57xz zk_zoo3 replicated 1/1 zookeeper:3.4.12 0.0.0.0:2181->2181/tcp, 0.0.0.0:2888->2888/tcp, 0.0.0.0:3888->3888/tcp我在这里复现了讨论的问题，当我停止并重新启动zookeeper堆栈时。
docker stack rm zk docker stack deploy -c zoo3.yml zk
这次zookeeper集群没有形成。Docker实例记录了以下内容：
ZooKeeper JMX enabled by default
Using config: /conf/zoo.cfg
2018-11-02 15:24:41,531 [myid:2] - WARN [WorkerSender[myid=2]:QuorumCnxManager@584] - Cannot open channel to 1 at election address zoo1/10.0.0.4:3888
java.net.ConnectException: Connection refused (Connection refused)
at java.net.PlainSocketImpl.socketConnect(Native Method)
at java.net.AbstractPlainSocketImpl.doConnect(AbstractPlainSocketImpl.java:350)
at java.net.AbstractPlainSocketImpl.connectToAddress(AbstractPlainSocketImpl.java:206)
at java.net.AbstractPlainSocketImpl.connect(AbstractPlainSocketImpl.java:188)
at java.net.SocksSocketImpl.connect(SocksSocketImpl.java:392)
at java.net.Socket.connect(Socket.java:589)
at org.apache.zookeeper.server.quorum.QuorumCnxManager.connectOne(QuorumCnxManager.java:558)
at org.apache.zookeeper.server.quorum.QuorumCnxManager.toSend(QuorumCnxManager.java:534)
at org.apache.zookeeper.server.quorum.FastLeaderElection$Messenger$WorkerSender.process(FastLeaderElection.java:454)
at org.apache.zookeeper.server.quorum.FastLeaderElection$Messenger$WorkerSender.run(FastLeaderElection.java:435)
at java.lang.Thread.run(Thread.java:748)
2018-11-02 15:24:41,538 [myid:2] - WARN [WorkerSender[myid=2]:QuorumCnxManager@584] - Cannot open channel to 3 at election address zoo3/10.0.0.2:3888
java.net.ConnectException: Connection refused (Connection refused)
at java.net.PlainSocketImpl.socketConnect(Native Method)
at java.net.AbstractPlainSocketImpl.doConnect(AbstractPlainSocketImpl.java:350)
at java.net.AbstractPlainSocketImpl.connectToAddress(AbstractPlainSocketImpl.java:206)
at java.net.AbstractPlainSocketImpl.connect(AbstractPlainSocketImpl.java:188)
at java.net.SocksSocketImpl.connect(SocksSocketImpl.java:392)
at java.net.Socket.connect(Socket.java:589)
at org.apache.zookeeper.server.quorum.QuorumCnxManager.connectOne(QuorumCnxManager.java:558)
at org.apache.zookeeper.server.quorum.QuorumCnxManager.toSend(QuorumCnxManager.java:534)
at org.apache.zookeeper.server.quorum.FastLeaderElection$Messenger$WorkerSender.process(FastLeaderElection.java:454)
at org.apache.zookeeper.server.quorum.FastLeaderElection$Messenger$WorkerSender.run(FastLeaderElection.java:435)
at java.lang.Thread.run(Thread.java:748)
2018-11-02 15:38:19,146 [myid:2] - WARN [QuorumPeer[myid=2]/0.0.0.0:2181:Learner@237] - Unexpected exception, tries=1, connecting to /0.0.0.0:2888
java.net.ConnectException: Connection refused (Connection refused)
at java.net.PlainSocketImpl.socketConnect(Native Method)
at java.net.AbstractPlainSocketImpl.doConnect(AbstractPlainSocketImpl.java:350)
at java.net.AbstractPlainSocketImpl.connectToAddress(AbstractPlainSocketImpl.java:204)
at java.net.AbstractPlainSocketImpl.connect(AbstractPlainSocketImpl.java:188)
at java.net.SocksSocketImpl.connect(SocksSocketImpl.java:392)
at java.net.Socket.connect(Socket.java:589)
at org.apache.zookeeper.server.quorum.Learner.connectToLeader(Learner.java:229)
at org.apache.zookeeper.server.quorum.Follower.followLeader(Follower.java:72)
at org.apache.zookeeper.server.quorum.QuorumPeer.run(QuorumPeer.java:981)
2018-11-02 15:38:20,147 [myid:2] - WARN [QuorumPeer[myid=2]/0.0.0.0:2181:Learner@237] - Unexpected exception, tries=2, connecting to /0.0.0.0:2888
java.net.ConnectException: Connection refused (Connection refused)
at java.net.PlainSocketImpl.socketConnect(Native Method)
at java.net.AbstractPlainSocketImpl.doConnect(AbstractPlainSocketImpl.java:350)
at java.net.AbstractPlainSocketImpl.connectToAddress(AbstractPlainSocketImpl.java:204)
at java.net.AbstractPlainSocketImpl.connect(AbstractPlainSocketImpl.java:188)
at java.net.SocksSocketImpl.connect(SocksSocketImpl.java:392)
at java.net.Socket.connect(Socket.java:589)
at org.apache.zookeeper.server.quorum.Learner.connectToLeader(Learner.java:229)
at org.apache.zookeeper.server.quorum.Follower.followLeader(Follower.java:72)
at org.apache.zookeeper.server.quorum.QuorumPeer.run(QuorumPeer.java:981)
经过仔细观察，我发现第一次部署此堆栈时，ZooKeeper实例ID为2，在节点1上运行。这创建了一个值为2的myid文件。
“cat /home/zk/data/myid 2”
当我停止并重新启动堆栈时，我发现这次ZooKeeper实例ID为3，在节点1上运行。
“docker ps CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES 566b68c11c8b zookeeper:3.4.12 "/docker-entrypoin..." 6 minutes ago Up 6 minutes 0.0.0.0:2181->2181/tcp, 0.0.0.0:2888->2888/tcp, 0.0.0.0:3888->3888/tcp zk_zoo3.1.7m0hq684pkmyrm09zmictc5bm”
但是myid文件仍然具有由先前实例设置的值2。
因此，日志显示[myid：2]，并尝试连接ID为1和3的实例，但失败了。
在进一步调试中发现，docker-entrypoint.sh文件包含以下代码。
# Write myid only if it doesn't exist
if [[ ! -f "$ZOO_DATA_DIR/myid" ]]; then
echo "${ZOO_MY_ID:-1}" > "$ZOO_DATA_DIR/myid"
fi
这是导致问题的原因。我已经编辑了docker-entrypoint.sh文件，加入了以下内容：
if [[ -f "$ZOO_DATA_DIR/myid" ]]; then
rm "$ZOO_DATA_DIR/myid"
fi
echo "${ZOO_MY_ID:-1}" > "$ZOO_DATA_DIR/myid"
并在我的组合文件中挂载了docker-entrypoint.sh。
通过这个修复，我能够多次停止和启动我的堆栈，并且每次我的zookeeper集群都能够形成集合而不会遇到连接问题。
我的docker-entrypoint.sh文件如下
#!/bin/bash
set -e
# Allow the container to be started with `--user`
if [[ "$1" = 'zkServer.sh' && "$(id -u)" = '0' ]]; then
chown -R "$ZOO_USER" "$ZOO_DATA_DIR" "$ZOO_DATA_LOG_DIR"
exec su-exec "$ZOO_USER" "$0" "$@"
fi
# Generate the config only if it doesn't exist
if [[ ! -f "$ZOO_CONF_DIR/zoo.cfg" ]]; then
CONFIG="$ZOO_CONF_DIR/zoo.cfg"
echo "clientPort=$ZOO_PORT" >> "$CONFIG"
echo "dataDir=$ZOO_DATA_DIR" >> "$CONFIG"
echo "dataLogDir=$ZOO_DATA_LOG_DIR" >> "$CONFIG"
echo "tickTime=$ZOO_TICK_TIME" >> "$CONFIG"
echo "initLimit=$ZOO_INIT_LIMIT" >> "$CONFIG"
echo "syncLimit=$ZOO_SYNC_LIMIT" >> "$CONFIG"
echo "maxClientCnxns=$ZOO_MAX_CLIENT_CNXNS" >> "$CONFIG"
for server in $ZOO_SERVERS; do
echo "$server" >> "$CONFIG"
done
fi
if [[ -f "$ZOO_DATA_DIR/myid" ]]; then
rm "$ZOO_DATA_DIR/myid"
fi
echo "${ZOO_MY_ID:-1}" > "$ZOO_DATA_DIR/myid"
exec "$@"
我的 Docker Compose 文件如下：
version: '3.3'
services:
zoo1:
image: zookeeper:3.4.12
hostname: zoo1
ports:
- target: 2181
published: 2181
protocol: tcp
mode: host
- target: 2888
published: 2888
protocol: tcp
mode: host
- target: 3888
published: 3888
protocol: tcp
mode: host
networks:
- net
deploy:
restart_policy:
condition: on-failure
environment:
ZOO_MY_ID: 1
ZOO_SERVERS: server.1=0.0.0.0:2888:3888 server.2=zoo2:2888:3888 server.3=zoo3:2888:3888
volumes:
- /home/zk/data:/data
- /home/zk/datalog:/datalog
- /home/zk/docker-entrypoint.sh:/docker-entrypoint.sh
- /etc/localtime:/etc/localtime:ro
zoo2:
image: zookeeper:3.4.12
hostname: zoo2
ports:
- target: 2181
published: 2181
protocol: tcp
mode: host
- target: 2888
published: 2888
protocol: tcp
mode: host
- target: 3888
published: 3888
protocol: tcp
mode: host
networks:
- net
deploy:
restart_policy:
condition: on-failure
environment:
ZOO_MY_ID: 2
ZOO_SERVERS: server.1=zoo1:2888:3888 server.2=0.0.0.0:2888:3888 server.3=zoo3:2888:3888
volumes:
- /home/zk/data:/data
- /home/zk/datalog:/datalog
- /home/zk/docker-entrypoint.sh:/docker-entrypoint.sh
- /etc/localtime:/etc/localtime:ro
zoo3:
image: zookeeper:3.4.12
hostname: zoo3
ports:
- target: 2181
published: 2181
protocol: tcp
mode: host
- target: 2888
published: 2888
protocol: tcp
mode: host
- target: 3888
published: 3888
protocol: tcp
mode: host
networks:
- net
deploy:
restart_policy:
condition: on-failure
environment:
ZOO_MY_ID: 3
ZOO_SERVERS: server.1=zoo1:2888:3888 server.2=zoo2:2888:3888 server.3=0.0.0.0:2888:3888
volumes:
- /home/zk/data:/data
- /home/zk/datalog:/datalog
- /home/zk/docker-entrypoint.sh:/docker-entrypoint.sh
- /etc/localtime:/etc/localtime:ro
networks:
net:
通过这种方式，我能够在使用Swarm模式的Docker中启动并运行Zookeeper实例，而无需在compose文件中硬编码任何主机名。如果我的某个节点崩溃，服务将在Swarm上的任何可用节点上启动，而不会出现任何问题。
谢谢
- Santhosh S Kani
3
1所以这实际上是一种非常不正确的方法。你看到的问题是因为你在所有zookeeper中使用了相同的目录，那有什么用呢？在这种情况下，你可以使用单个zk实例，每次它崩溃时重新启动。正确的修复方法是为每个实例使用不同的目录。这样zk就能像它应该的那样工作，通过彼此通信保持日志数据干净。 - Esser420
抱歉，我没有为所有Zookeeper实例使用相同的目录。这是一个Docker Swarm YAML文件。我有一个由3个节点组成的Swarm集群，当我加载此compose文件时，3个Zookeeper实例将在3个节点上运行，而不是在单个节点上。它们没有共享目录。 - Santhosh S Kani
1但是您不会对它们运行的位置施加任何限制。当您部署它们时，Docker Swarm 将决定它们应该在哪里运行，因此可能会发生两个实例在同一台机器上运行的情况。即使它们都在 3 个不同的节点上运行（通过运气），当您重新启动服务时，它们可能正在以前所在的不同节点上运行。因此，ID 为 1 的 Zookeeper 在节点 2 上启动，遇到 ID 为 2 的文件。 - Esser420
网页内容由stack overflow 提供, 点击上面的可以查看英文原文，
原文链接
原文链接
- 相关问题
- 44 如何在Docker Swarm上配置自动扩展？
- 6 使用Docker Swarm和Docker Compose构建Redis集群
- 7 使用Docker for Mac创建Swarm集群
- 3 Docker上的Apache Kafka集群无法连接到Zookeeper
- 3 使用Docker Swarm构建Hadoop集群
- 3 Terraform无法使Docker加入Swarm集群。
- 11 在Docker Swarm上构建多节点Kafka集群
- 8 如何在Docker Swarm中设置Hadoop？
- 20 Docker Swarm - 如何在Swarm集群中平衡已运行的容器？
- 4 如何设置Zookeeper仲裁集群？
ip route get ${NODE_IP} | grep -c "dev lo"来检查自己的IP，这对我来说似乎更加健壮。）而且我也卡在了重新创建上。你有没有考虑过使用Zookeeper 3.5的新重配置功能？ - Caesar