zookeeper实现分布式锁,吊打面试

前言

我们之前讲了很多锁的只用,比如synchonrized、ReentrantLock、AQS等等。

这些都是单体应用下锁的一些使用。众所周知,我们现在的应用都是分布式的。所以上面那些锁已经无法满足我们了。

我们需要用到分布式锁,分布式锁一般有三种实现方式,如:MySQL数据库、Redis、zookeeper。

其中zookeeper和Redis的实现方式普通被各大公司使用,他们各自也都有优缺点。我们今天主要讲一下zookeeper分布式锁的实现。Redis分布式锁我们之后也会讲到。

zookeeper简介

Zookeeper是一个开源的分布式协调服务,是一个典型的分布式数据一致性解决方案。

分布式应用程序可以基于Zookeeper实现诸如数据发布/订阅,负载均衡,命名服务,分布式协调/通知,集群管理,Master选举,分布式锁和分布式队列等功能。

ZK实现分布式锁的两个重要概念

ZNode节点

ZK的存储结构类似于Windows的文件系统。区别在于window他的目录是不能存储数据的,只有文件才能存储数据。

但是ZK的所有层级目录,都成为ZNode,他们都是一样的,没有目录和文件这种说法。只有父节点和子节点的概念。

无论是哪个层级的ZNode节点,都是可以存储数据的。

下面是zookeeper客户端连接工具截图:

ZNode节点种类

临时节点客户端与zookeeper断开连接后,该节点会自动删除临时有序节点客户端与zookeeper断开连接后,该节点会自动删除,但是这些节点都是有序排列的。持久节点客户端与zookeeper断开连接后,该节点依然存在持久节点客户端与zookeeper断开连接后,该节点依然存在,但是这些节点都是有序排列的。watch监听机制

主要是监听以下节点变化信息。

错误的实现分布式锁方式

锁原理

多个客户端同时去创建同一个临时节点,哪个客户端第一个创建成功,就成功的获取锁,其他客户端获取失败。

就像双十一,十万人同时秒杀一个商品,谁手速快谁就能秒杀到。

获取锁的流程

这里我们使用的是临时节点。

四个客户端同时创建一个临时节点。谁第一个创建成功临时节点,就代表持有了这个锁(这里临时节点就代表锁)。其他红色的客户端判断已经有人创建成功了,就开始监听这个临时节点的变化。

释放锁的流程

红色线的客户端执行任务完毕,与zookeeper断开了连接。这时候临时节点会自动被删除掉,因为他是临时的。其他绿色线的客户端watch监听到临时节点删除了,就会一拥而上去创建临时节点(也就是创建锁)

存在的问题分析

当临时节点被删除的时候,其余3个客户端一拥而上抢着创建节点。3个节点比较少,性能上看不出什么问题。

那如果是一千个客户端在监听节点呢?一旦节点被删除了,会唤醒一千个客户端,一千个客户端同时来创建节点。

但是只有一个客户端能创建成功,却要让一千个客户端来竞争。

对zookeeper的压力会很大,同时浪费这些客户端的线程资源,其中有个客户端是白跑一趟的。

这就叫做惊群现象,也叫羊群现象。

一个节点释放删除了,却要惊动一千个客户端,这种做法太傻了吧。

正确的实现分布式锁方式

这里用的是顺序临时节点。

锁原理

多个客户端来竞争锁,各自创建自己的节点,按照顺序创建,谁排在第一个,谁就成功的获取了锁。

就像排队买东西一样,谁排在第一个,谁就先买。

创建锁的过程

A、B、C、D四个客户端来抢锁A先来了,他创建了的临时顺序节点,他发现自己是最小的节点,那么就成功的获取到了锁然后B来获取锁,他按照顺序创建了的临时顺序节点,发现前面有一个比他小的节点,那么就获取锁失败。他开始监听A客户端,看他什么时候能释放锁同理C和D。

释放锁的过程

A客户端执行完任务后,断开了和zookeeper的会话,这时候临时顺序节点自动删除了,也就释放了锁B客户端一直在虎视眈眈的watch监听着A,发现他释放了锁,立马就判断自己是不是最小的节点,如果是就获取锁成功C监听着B,D监听着C。合理性分析

A释放锁会唤醒B,B获取到锁,对C和D是没有影响的,因为B的节点并没有发生变化。

同时B释放锁,唤醒C,C获取锁,对D是没有影响的,因为C的节点没有变化。

同理D。。。。

释放锁的操作,只会唤醒下一个客户端,不会唤醒所有的客户端。所以这种方案不存在惊群现象。

ps:创建临时节点=创建锁,删除临时节点=释放锁。

代码实现

我们这里直接用封装好的工具类,因为如果你自己写的话,如果测试不到位,一旦线上出现问题,那就是大问题。

这里我们用curator这个工具类,他这里把分布式锁已经都给我们实现好了,我们使用起来就像ReentrantLock这些锁一样,非常简单。

如果大家有兴趣,可以去阅读一下curator的源码。

pom文件配置

dependencygroupIdorg.apache.curator/groupIdartifactIdcurator-recipes/artifactIdversion4.0.0/versionexclusionsexclusiongroupIdorg.apache.zookeeper/groupIdartifactIdzookeeper/artifactId/exclusion/exclusions/dependencydependencygroupIdorg.apache.zookeeper/groupIdartifactIdzookeeper/artifactIdversion3.4.10/version/dependencyjava代码

importorg.apache.curator.framework.CuratorFramework;importorg.apache.curator.framework.CuratorFrameworkFactory;importorg.apache.curator.framework.recipes.locks.InterProcessMutex;importorg.apache.curator.retry.RetryNTimes;importjava.util.concurrent.TimeUnit;/***curator分布式锁测试*/publicclassCuratorDistrLockTestimplementsRunnable{//zookeeper的地址privatestaticfinalStringZK_ADDRESS=.0.0.1:;privatestaticfinalStringZK_LOCK_PATH=/zkLock;staticCuratorFrameworkclient=null;static{//连接ZK,如果连接失败,设置每毫秒重试一次,最多重试10次client=CuratorFrameworkFactory.newClient(ZK_ADDRESS,newRetryNTimes(10,));client.start();}privatestaticvoidcuratorLockTest(){InterProcessMutexlock=newInterProcessMutex(client,ZK_LOCK_PATH);try{if(lock.acquire(6*,TimeUnit.SECONDS)){System.out.println(======+Thread.currentThread().getName()+抢到了锁======);//执行业务逻辑Thread.sleep(1);System.out.println(Thread.currentThread().getName()+任务执行完毕);}}catch(Exceptione){System.out.println(业务异常);}finally{try{lock.release();}catch(Exceptione){System.out.println(锁释放异常);}}}publicstaticvoidmain(String[]args){//用两个线程,模拟两个客户端//每个线程创建各自的zookeeper连接对象newThread(newCuratorDistrLockTest()).start();newThread(newCuratorDistrLockTest()).start();}

Overridepublicvoidrun(){curatorLockTest();}}执行结果

同时观察zookeeper客户端的变化,zkLock目录下出现了两个临时顺序节点。

程序结束后,我们在刷新zookeeper客户端,发现zkLock目录下的临时顺序节点已经被自动删除了。

总结

为什么不采用持久节点呢,因为持久节点必须要客户端手动删除,否则他会一直存在zookeeper中。

如果我们的客户端获取到了锁,还没释放锁就突然宕机了,那么这个锁会一直存在不被释放。导致其他客户端无法获取锁。

zookeeper实现的锁功能是比较健全的,但是性能上稍微差一些。比如zookeeper要维护集群自身信息的一致性,频繁创建和删除节点等原因。

如果仅仅是为了实现分布式锁而维护一套zookeeper集群,有点浪费了。

如果公司本来就有zookeeper集群,同时并发不是非常大的情况下,可以考虑zookeeper实现分布式锁。

Redis在分布式锁方面的性能要高于zookeeper,同时他也存在他的缺点,我们之后会分析。

给个[在看],是对IT老哥最大的支持




转载请注明:http://www.aierlanlan.com/rzdk/3619.html

  • 上一篇文章:
  •   
  • 下一篇文章: 没有了