Zookeeper中文文档,zookeeper源码阅读

Zookeeper在hadoop中充当什么角色，dubbo使用zookeeper又是干嘛的？

Apache Zookeeper是我最近遇到的最酷的技术，我是在研究Solr Cloud功能的时候发现的。Solr的分布式计算让我印象深刻。你只要开启一个新的实例就能自动在Solr Cloud中找到。它会将自己分派到某个分片中，并确定出自己是一个Leader（源）还是一个副本。不一会儿，你就可以在你的那些服务器上查询到了。即便某些服务器宕机了也可以继续工作。非常动态、聪明、酷。

将运行多个应用程序作为一个逻辑程序并不是什么新玩意。事实上，我在几年前就已写过类似的软件。这种架构比较让人迷惑，使用起来也费劲。为此Apache Zookeeper提供了一套工具用于管理这种软件。

为什么叫Zoo？“因为要协调的分布式系统是一个动物园”。

在本篇文章中，我将说明如何使用PHP安装和集成Apache ZooKeeper。我们将通过service来协调各个独立的PHP脚本，并让它们同意某个成为Leader（所以称作Leader选举）。当Leader退出（或崩溃）时，worker可检测到并再选出新的leader。

ZooKeeper是一个中性化的Service，用于管理配置信息、命名、提供分布式同步，还能组合Service。所有这些种类的Service都会在分布式应用程序中使用到。每次编写这些Service都会涉及大量的修bug和竞争情况。正因为这种编写这些Service有一定难度，所以通常都会忽视它们，这就使得在应用程序有变化时变得难以管理应用程序。即使处理得当，实现这些服务的不同方法也会使得部署应用程序变得难以管理。

虽然ZooKeeper是一个Java应用程序，但C也可以使用。这里就有个PHP的扩展，由Andrei Zmievski在2009创建并维护。你可以从PECL中下载，或从GitHub中直接获取PHP-ZooKeeper。

要使用该扩展你首先要安装ZooKeeper。可以从官方网站下载。

$ tar zxfv zookeeper-3.4.5.tar.gz

$ cd zookeeper-3.4.5/src/c

$ ./configure --prefix=/usr/

$ make

$ sudo make install

这样就会安装ZooKeeper的库和头文件。现在准备编译PHP扩展。

$ cd$ git clone

$ cd php-zookeeper

$ phpize

$ ./configure

$ make

$ sudo make install

将“zookeeper.so”添加到PHP配置中。

$ vim /etc/php5/cli/conf.d/20-zookeeper.ini

因为我不需要运行在web服务环境下，所以这里我只编辑了CLI的配置。将下面的行复制到ini文件中。

extension=zookeeper.so

使用如下命令来确定扩展是否已起作用。

$ php -m | grep zookeeper

zookeeper

现在是时候运行ZooKeeper了。目前唯一还没有做的是配置。创建一个用于存放所有service数据的目录。

$ mkdir /home/you-account/zoo

$ cd$ cd zookeeper-3.4.5/

$ cp conf/zoo_sample.cfg conf/zoo.cfg

$ vim conf/zoo.cfg

找到名为“dataDir”的属性，将其指向“/home/you-account/zoo”目录。

$ bin/zkServer.sh start

$ bin/zkCli.sh -server 127.0.0.1:2181[zk: 127.0.0.1:2181(CONNECTED) 14] create /test 1

Created /test[zk: 127.0.0.1:2181(CONNECTED) 19] ls /[test, zookeeper]

此时，你已成功连到了ZooKeeper，并创建了一个名为“/test”的znode（稍后我们会用到）。ZooKeeper以树形结构保存数据。这很类似于文件系统，但“文件夹”（译者注：这里指非最底层的节点）又和文件很像。znode是ZooKeeper保存的实体。Node（节点）的说法很容易被混淆，所以为了避免混淆这里使用了znode。

因为我们稍后还会使用，所以这里我们让客户端保持连接状态。开启一个新窗口，并创建一个zookeeperdemo1.php文件。

?php

class ZookeeperDemo extends Zookeeper {

public function watcher( $i, $type, $key ) {

echo "Insider Watcher\n";

// Watcher gets consumed so we need to set a new one

$this-get( '/test', array($this, 'watcher' ) );

}

}

$zoo = new ZookeeperDemo('127.0.0.1:2181');$zoo-get( '/test', array($zoo, 'watcher' ) );

while( true ) {

echo '.';

sleep(2);}

现在运行该脚本。

$ php zookeeperdemo1.php

此处应该会每隔2秒产生一个点。现在切换到ZooKeeper客户端，并更新“/test”值。

[zk: 127.0.0.1:2181(CONNECTED) 20] set /test foo

这样就会静默触发PHP脚本中的“Insider Watcher”消息。怎么会这样的？

ZooKeeper提供了可以绑定在znode的监视器。如果监视器发现znode发生变化，该service会立即通知所有相关的客户端。这就是PHP脚本如何知道变化的。Zookeeper::get方法的第二个参数是回调函数。当触发事件时，监视器会被消费掉，所以我们需要在回调函数中再次设置监视器。

现在你可以准备创建分布式应用程序了。其中的挑战是让这些独立的程序决定哪个（是leader）协调它们的工作，以及哪些（是worker）需要执行。这个处理过程叫做leader选举，在ZooKeeper Recipes and Solutions你能看到相关的实现方法。

这里简单来说就是，每个处理（或服务器）紧盯着相邻的那个处理（或服务器）。如果一个已被监视的处理（也即Leader）退出或者崩溃了，监视程序就会查找其相邻（此时最老）的那个处理作为Leader。

在真实的应用程序中，leader会给worker分配任务、监控进程和保存结果。这里为了简化，我跳过了这些部分。

创建一个新的PHP文件，命名为worker.php。

?php

class Worker extends Zookeeper {

const CONTAINER = '/cluster';

protected $acl = array(

array(

'perms' = Zookeeper::PERM_ALL,

'scheme' = 'world',

'id' = 'anyone' ) );

private $isLeader = false;

private $znode;

public function __construct( $host = '', $watcher_cb = null, $recv_timeout = 10000 ) {

parent::__construct( $host, $watcher_cb, $recv_timeout );

}

public function register() {

if( ! $this-exists( self::CONTAINER ) ) {

$this-create( self::CONTAINER, null, $this-acl );

}

$this-znode = $this-create( self::CONTAINER . '/w-',

null,

$this-acl,

Zookeeper::EPHEMERAL | Zookeeper::SEQUENCE );

$this-znode = str_replace( self::CONTAINER .'/', '', $this-znode );

printf( "I'm registred as: %s\n", $this-znode );

$watching = $this-watchPrevious();

if( $watching == $this-znode ) {

printf( "Nobody here, I'm the leader\n" );

$this-setLeader( true ); }

else {

printf( "I'm watching %s\n", $watching );

}

}

public function watchPrevious() {

$workers = $this-getChildren( self::CONTAINER );

sort( $workers );

$size = sizeof( $workers );

for( $i = 0 ; $i $size ; $i++ ) {

if( $this-znode == $workers[ $i ] ) {

if( $i 0 ) {

$this-get( self::CONTAINER . '/' . $workers[ $i - 1 ], array( $this, 'watchNode' ) );

return $workers[ $i - 1 ];

}

return $workers[ $i ];

}

}

throw new Exception( sprintf( "Something went very wrong! I can't find myself: %s/%s",

self::CONTAINER,

$this-znode ) );

}

public function watchNode( $i, $type, $name ) {

$watching = $this-watchPrevious();

if( $watching == $this-znode ) {

printf( "I'm the new leader!\n" );

$this-setLeader( true );

}

else {

printf( "Now I'm watching %s\n", $watching ); }

}

public function isLeader() {

return $this-isLeader;

}

public function setLeader($flag) {

$this-isLeader = $flag;

}

public function run() {

$this-register();

while( true ) {

if( $this-isLeader() ) {

$this-doLeaderJob();

}

else {

$this-doWorkerJob();

}

sleep( 2 );

}

}

public function doLeaderJob() {

echo "Leading\n";

}

public function doWorkerJob() {

echo "Working\n";

}

}

$worker = new Worker( '127.0.0.1:2181' );$worker-run();

打开至少3个终端，在每个终端中运行以下脚本：

# term1

$ php worker.php

I'm registred as: w-0000000001Nobody here, I'm the leader

Leading

# term2

$ php worker.php

I'm registred as: w-0000000002I'm watching w-0000000001

Working

# term3

$ php worker.php

I'm registred as: w-0000000003I'm watching w-0000000002

Working

现在模拟Leader崩溃的情形。使用Ctrl+c或其他方法退出第一个脚本。刚开始不会有任何变化，worker可以继续工作。后来，ZooKeeper会发现超时，并选举出新的leader。

虽然这些脚本很容易理解，但是还是有必要对已使用的Zookeeper标志作注释。

$this-znode = $this-create( self::CONTAINER . '/w-', null, $this-acl, Zookeeper::EPHEMERAL | Zookeeper::SEQUENCE );

每个znode都是EPHEMERAL和SEQUENCE的。

EPHEMRAL代表当客户端失去连接时移除该znode。这就是为何PHP脚本会知道超时。SEQUENCE代表在每个znode名称后添加顺序标识。我们通过这些唯一标识来标记worker。

在PHP部分还有些问题要注意。该扩展目前还是beta版，如果使用不当很容易发生segmentation fault。比如，不能传入普通函数作为回调函数，传入的必须为方法。我希望更多PHP社区的同仁可以看到Apache ZooKeeper的好，同时该扩展也会获得更多的支持。

ZooKeeper是一个强大的软件，拥有简洁和简单的API。由于文档和示例都做的很好，任何人都可以很容易的编写分布式软件。让我们开始吧，这会很有趣的。

Consul和ZooKeeper的区别

Consul是一个在国外流行的服务发现和配置共享的服务。本文翻译自Consul的官方文档，文中重点讲述：在与主流同类ZooKeeper、Doozerd以及Etcd比较时，Consul的优势所在。

ZooKeeper、Doozerd、Etcd在架构上都非常相似，它们都有服务节点（server node），而这些服务节点的操作都要求达到节点的仲裁数（通常，节点的仲裁数遵循的是简单多数原则）。此外，它们都是强一致性的，并且提供各种原语。通 过应用程序内部的客户端lib库，这些原语可以用来构建复杂的分布式系统。

Consul在一个单一的数据中心内部使用服务节点。在每个数据中心中，为了Consule能够运行，并且保持强一致性，Consul服务端需要仲裁。然而，Consul原生支持多数据中心，就像一个丰富gossip系统连接服务器节点和客户端一样。

当提供K/V存储的时候，这些系统具有大致相同的语义，读取是强一致性的，并且在面对网络分区的时候，为了保持一致性，读取的可用性是可以牺牲的。然而，当系统应用于复杂情况时，这种差异会变得更加明显。

【Zookeeper系列】基本介绍

在学习一样技术之前，咱们需要先想一下，为什么需要学这一门技术？

许多分布式系统都是基于ZK作为底层核心组件对外提供服务，比如Kafka中，将Broker注册到ZK中，此时ZK充当着多重角色，比如注册中心、选举等；再比如说，我公司目前很多项目都是Dubbo，都是需要基于ZK实现服务发现和注册。

另外，ZK内其实也有很多优秀的算法和设计思想，熟悉ZK源码，也可以提升自己的“内功”。

如何快速入门Zookeeper呢？最简单的方式就是直接看 Zookeeper官网 啦！建议读者多参考官方文档和博客内容一起食用，效果更佳噢～

Zookeeper的 Logo 看起来就像个“铲屎官”，服务动物园内的动物们。

“A Distributed Coordination Service for Distributed Applications”，这是摘取官方的解释，我们可以得知Zookeeper 是一个为 分布式框架 提供协调服务的东东。

举些例子，有哪些分布式框架使用Zookeeper：

ZK的作用不止上面几个，其实还可以做到负载均衡、统一配置、分布式队列等，但使用场景相对少，企业级系统中，会使用其他更加专业的框架组件。

分布式锁、注册中心、Leader选举将会是ZK系列中，重点分享的内容，敬请期待哈~

在ZK中，需要先了解一些专业名词的概念，但不会一下子都列出来，当之后遇到的时候，再重点分析...

在ZK集群中，会分为 Leader 、 Follower 和 Observer 角色。

Leader作为集群的大佬，承担写请求和部分读请求；Follower作为Leader的小弟，将会承担部分读请求，当接收到写请求的时候会转发给Leader，由Leader处理写请求；Observer就有点特殊，Observer节点不参与选举和消息过半机制，这个不清楚的读者可以暂时有个记忆就行，之后遇到会重点说明。

实际上，节点只分为持久节点和临时节点，但有些场景需要保证顺序，所以就会在持久或临时节点的基础上，添加序号（递增的方式），形成持久顺序节点和临时顺序节点。/br 那么什么是持久节点，什么是临时节点呢？最直观的一个现象就是，每个ZK客户端连接ZK集群后，都会产生一个节点，如果ZK客户端下线后，节点还存在的就是持久节点，若ZK客户端下线后节点也随着消失，那么该节点就是临时节点。

在ZK客户端启动前，可以自定义监听回调函数，这个有什么作用呢？客户端启动后会将监听事件发送给Zookeeper集群，Zookeeper集群中有一个用于记录监听事件的列表，当客户端监听的目录节点发生变化，如节点数据变更、节点增删等，就会通过ZK集群的监听列表，找到对应的客户端回调监听函数，那么客户端这边就可以根据业务场景，做出相应的动作。

ZAB协议的全称是：ZooKeeper Atomic Broadcast。ZAB是Zookeeper保证数据一致性的核心算法。借鉴了Paxos算法的思想，特地为Zookeeper设计的支持崩溃恢复的原子广播协议。其包括两种基本模式： 消息广播 和 崩溃恢复

消息广播指的是，集群中只有一个Leader处理写请求，并将写请求的事件广播给所有Follower，且能够保证数据不丢失。（也就是说，消息的写入是原子性的，因为只能有leader写入）

崩溃恢复指的是，当ZK集群刚启动还没选举出Leader或Leader因故障、重启、网络等原因的时候，ZAB协议会进入崩溃恢复模式，其目的就是为了选举新的Leader，且保证新Leader的数据是最新的，这样就能够避免因为Leader故障而导致单点丢失消息的情况，至于ZAB具体的原理，各位可以先看下以下参考文章，后续有机会我再专门写一篇关于 ZAB 协议的文章~

ZAB 协议参考文章

ZK内的数据模型结构和Unix文件系统非常相似，是一个有层级关系的树形数据结构。在ZK内，树形的数据结构使用称为ZNode节点保存数据，ZNode是ZK中数据结构最小单元，不仅能够保存数据，还能挂载子节点，形成一个有层次关系的树。

值得注意的是，ZNode的创建是纯内存操作的，所以速度很快，然后在ZK内部会定期将ZNode的数据持久化到磁盘上。

众所周知，在实际的企业应用，面对高并发的场景下，肯定是不能单节点部署，而是通过集群部署保证 高并发、高性能、高可用 （简称三高）。

高性能 ：由于ZNode节点是纯内存操作，只要ZK部署在高配置的服务器中，三台ZK服务器抗住每秒几万的请求都是没问题的。 高可用 ：只要部署奇数的服务器集群（比如3台、5台、11台机器），只要不超过一半的服务器宕机，都能保证ZK集群可用。 高并发 ：因为ZNode是纯内存操作，所以在写数据的时候，速度是很快；而ZK集群中Leader和Follower节点都能处理读请求，所以ZK集群高并发能力是很强的。

基于ZAB协议，写请求统一由Leader服务器处理，然后由Leader将写数据的请求广播给其他Follower。

但会不会由于种种原因，如网络波动、Leader脑裂、Follower宕机等，导致消息不一致？

实际上，在ZK中采用2PC两阶段提交的思想，结合ZAB消息广播保证数据一致性。值得注意的是，Zookeeper只能保证最终一致性，并不能保证强一致性

那么具体是怎么保证数据最终一致性的呢？感兴趣的读者可以看下我另外一篇拙作【TODO...】

参考资料：

《从Paxos到Zookeeper分布式一致性原理与实践》

如果觉得文章不错的话，麻烦点个赞哈，你的鼓励就是我的动力！对于文章有哪里不清楚或者有误的地方，欢迎在评论区留言~

zookeeper启动为什么占用8080端口，修改哪个配置文件可以改变端口？

（1）.删除jetty。

（2）修改端口。

修改方法的方法有两种，一种是在启动脚本中增加 -Dzookeeper.admin.serverPort=你的端口号.一种是在zoo.cfg中增加admin.serverPort=没有被占用的端口号。

（3）停用这个服务，在启动脚本中增加"-Dzookeeper.admin.enableServer=false"。

通过查看zookeeper的官方文档，发现有3种解决途径：

（1）.删除jetty。

（2）修改端口。

修改方法的方法有两种，一种是在启动脚本中增加 -Dzookeeper.admin.serverPort=你的端口号.一种是在zoo.cfg中增加admin.serverPort=没有被占用的端口号。

（3）停用这个服务，在启动脚本中增加"-Dzookeeper.admin.enableServer=false"。

请教在线文档的api

Android中文版

api手册地址：

Ant最新版

api手册地址：

ASM字节码操作

api手册地址：

Axis2最新版

api手册地址：

Bash脚本

api手册地址：

Bootstrap 3

api手册地址：

Bootstrap 4

api手册地址：

C/C++

api手册地址：

C3P0连接池

api手册地址：

CentOS使用文档

api手册地址：

Commons-Beanutils

api手册地址：

Commons-Fileupload

api手册地址：

Commons-IO最新版

api手册地址：

Commons-Lang最新版

api手册地址：

Commons-Net最新版

api手册地址：

CSS 3

api手册地址：

DBCP连接池

api手册地址：

Dom4j

api手册地址：

dubbo中文文档

api手册地址：

EhCache

api手册地址：

Freemarker

api手册地址：

Go语言

api手册地址：

Hadoop

api手册地址：

Hibernate中文版

api手册地址：

IKAnalyzer中文版

api手册地址：

Java 10

api手册地址：

Java 6

api手册地址：

Java 7

api手册地址：

Java 8中文版

api手册地址：

jqGrid中文版

api手册地址：

Jquery中文版

api手册地址：

Json-lib

api手册地址：

Junit4最新版

api手册地址：

Kryo

api手册地址：

Log4j最新版

api手册地址：

Lucene

api手册地址：

Maven

api手册地址：

Windows MFC中文版

api手册地址：

Mybatis

api手册地址：

MySql中文版

api手册地址：

Netty 3.6

api手册地址：

Nginx中文版

api手册地址：

OpenJPA最新版

api手册地址：

PHP中文版

api手册地址：

POI-apache

api手册地址：

QuickServer

api手册地址：

redis中文参考文档

api手册地址：

Ruby

api手册地址：

Ruby-library

api手册地址：

Ruby on Rails

api手册地址：

Shiro

api手册地址：

Spring最新版

api手册地址：

Spring for Android

api手册地址：

Spring Boot

api手册地址：

Spring Cloud中文文档

api手册地址：

Spring Security

api手册地址：

Spring中文版

api手册地址：

Struts 2最新版

api手册地址：

Taperstry

api手册地址：

TensorFlow中文

api手册地址：

Tomcat

api手册地址：

Ubuntu

api手册地址：

Velocity 1.7

api手册地址：

VelocityTools2.0

api手册地址：

Vue Router中文参考

api手册地址：

vue.js中文文档

api手册地址：

XMLBeans

api手册地址：

Yahoo UI中文版

api手册地址：

Zend Framework中文版

api手册地址：

Zookeeper

api手册地址：

java 中文API谁有，百度云分享一下

Android中文版

api手册地址：

Ant最新版

api手册地址：

ASM字节码操作

api手册地址：

Axis2最新版

api手册地址：

Bash脚本

api手册地址：

Bootstrap 3

api手册地址：

Bootstrap 4

api手册地址：

C/C++

api手册地址：

C3P0连接池

api手册地址：

CentOS使用文档

api手册地址：

Commons-Beanutils

api手册地址：

Commons-Fileupload

api手册地址：

Commons-IO最新版

api手册地址：

Commons-Lang最新版

api手册地址：

Commons-Net最新版

api手册地址：

CSS 3

api手册地址：

DBCP连接池

api手册地址：

Dom4j

api手册地址：

dubbo中文文档

api手册地址：

EhCache

api手册地址：

Freemarker

api手册地址：

Go语言

api手册地址：

Hadoop

api手册地址：

Hibernate中文版

api手册地址：

IKAnalyzer中文版

api手册地址：

Java 10

api手册地址：

Java 6

api手册地址：

Java 7

api手册地址：

Java 8中文版

api手册地址：

jqGrid中文版

api手册地址：

Jquery中文版

api手册地址：

Json-lib

api手册地址：

Junit4最新版

api手册地址：

Kryo

api手册地址：

Log4j最新版

api手册地址：

Lucene

api手册地址：

Maven

api手册地址：

Windows MFC中文版

api手册地址：

Mybatis

api手册地址：

MySql中文版

api手册地址：

Netty 3.6

api手册地址：

Nginx中文版

api手册地址：

OpenJPA最新版

api手册地址：

PHP中文版

api手册地址：

POI-apache

api手册地址：

QuickServer

api手册地址：

redis中文参考文档

api手册地址：

Ruby

api手册地址：

Ruby-library

api手册地址：

Ruby on Rails

api手册地址：

Shiro

api手册地址：

Spring最新版

api手册地址：

Spring for Android

api手册地址：

Spring Boot

api手册地址：

Spring Cloud中文文档

api手册地址：

Spring Security

api手册地址：

Spring中文版

api手册地址：

Struts 2最新版

api手册地址：

Taperstry

api手册地址：

TensorFlow中文

api手册地址：

Tomcat

api手册地址：

Ubuntu

api手册地址：

Velocity 1.7

api手册地址：

VelocityTools2.0

api手册地址：

Vue Router中文参考

api手册地址：

vue.js中文文档

api手册地址：

XMLBeans

api手册地址：

Yahoo UI中文版

api手册地址：

Zend Framework中文版

api手册地址：

Zookeeper

api手册地址：