currenthashmap原理(currenthashmap源码解析)
1.8 hashMap 和CurrentHashMap结构
hashMap主要是 数组+链表+红黑树 ,1.7是 数组+链表
允许key 为null
1.8 HashMap put流程
1、计算key的hash值(高低位异或)
2、判断数组是否为空,如果数组为空 则直接扩容
3、如果数组非空 则 根据hash值计算数组下标(n-1) hash,根据下标取数组对应值,如果值为空则新建一个node,非空则转为下一步
4、key的hash 和 equals与 下标数组的值都相同,则直接覆盖;
5、如果不相同则 判断下标数组的值 是否 红黑树实例,是红黑树的话 新节点直接加入红黑树中
6、不是红黑树实例就是链表,循环遍历链表,并判断是否为已有节点如果有则直接返回,如果没有 则将新节点放到链表尾部,如果新链表大小超过 阈值(8-1)即= 7,将链表转为红黑树
7、key存储完毕之后,并判断 hashMap大小是否超阈值(上次map大小的2的次数),如果超过 则直接扩容,否则 put流程结束
1.8 ConcurrentHashMap put流程
1.8?ConcurrentHashMap 的数据结构和hashmap相同,不过处理方式上又有不同。
数据结构上是 数组+链表 +红黑树,但是 为了支持并发,又采取了 synchronized同步+ cas 模式来控制key的存放。
具体实现上 采用 被 volatile 修饰key value的node ,保证了并发的可见性。
从JDK1.7版本的ReentrantLock+Segment+HashEntry,到JDK1.8版本中synchronized+CAS+HashEntry+红黑树
并发行 是对 node节点 加同步锁 来保证 高效的插入。
put流程
1、key 或value 是否为空,任一为空直接返回空指针异常
2、非空,计算出key的hash值,高低位异或后 再与bit与操作
3、循环遍历数组,如果数组为空 则初始化数组主要?sizeCtl,非空则继续
4、数组非空,根据hash(n-1)下标值,取出数组对应的node,如果node为空 通过cas赋值
5、如果node非空,且node.hash 为moved,则扩容转移
6、否则,对取出的node加同步锁,如果此时内存的值未变(根据内存偏移取出的新值比较)如果 hash状态= 0,则循环遍历链表;若链表中已存在(通过hash和equals判断)则直接新值覆盖旧值;如果不存在 将新节点放入链表尾部。并记录链表大小 (binCount)
7、如果内存的值未变,如果 node是红黑树的实例,则将新node 放入红黑树中,如果红黑树中已存在,新值覆盖旧值。至此同步整个结束
8、另外 同步时候 有记录 binCount,如果binCount = 8,链表转红黑树处理
9、节点加入完成后,判断是否 需要扩容(转移),仅在无竞争情况下扩容
hashmap底层实现原理是什么?
HashMap的实现原理:首先有一个每个元素都是链表(可能表述不准确)的数组,当添加一个元素(key-value)时,就首先计算元素key的hash值,以此确定插入数组中的位置,但是可能存在同一hash值的元素已经被放在数组同一位置了。
这时就添加到同一hash值的元素的后面,他们在数组的同一位置,但是形成了链表,同一各链表上的Hash值是相同的,所以说数组存放的是链表。而当链表长度太长时,链表就转换为红黑树,这样大大提高了查找的效率。
当链表数组的容量超过初始容量的0.75时,再散列将链表数组扩大2倍,把原链表数组的搬移到新的数组中。
HashMap 的实例有两个参数影响其性能:
初始容量和加载因子。容量是哈希表中桶的数量,初始容量只是哈希表在创建时的容量。
加载因子是哈希表在其容量自动增加之前可以达到多满的一种尺度。当哈希表中的条目数超出了加载因子与当前容量的乘积时,则要对该哈希表进行 rehash 操作(即重建内部数据结构),从而哈希表将具有大约两倍的桶数。在Java编程语言中,加载因子默认值为0.75,默认哈希表元为101。
ConcurrentHashMap原理和使用
ConcurrentHashMap是线程安全的,使用环境大多在多线程环境下,在高并发情况下保证数据的可见性和一致性。
HashMap是一种键值对的数据存储容器,在JDK1.7中使用的是数组+链表的存储结构,在JDK1.8使用的是数组+链表+红黑树的存储结构,关于HashMap的实现原理可以查看 《hashMap实现原理》 。
HashMap是线程不安全的,主要体现在多线程环境下,容器扩容的时候会造成环形链表的情况,关于hashMap线程不安全原因可以查看 《HashMap线程不安全原因》
HashTable也是一种线程安全的键值对容器,我们一般都是听说过,具体使用较少,为什么线程安全的HashTable在多线程环境下使用较少,主要原因在于其效率较低(虽然效率低,但是很安全在多线程环境下)。
下面来分析一下HashTable为什么线程安全,但是效率较低的原因?
查看HashTable类,我们发现在源码中所有的方法都加上了synchronized同步关键字,这也就保证的在多线程环境下线程安全,由于所有的方法都加上了synchronized,这也就导致在一个线程获取到HashTable对象锁的时候,其他线程是不能访问HashTable中的其他方法的,比如A线程在使用HashTable的get()方法时,当B线程想使用HashTable的put()方法的时候必须等到A线程使用完get()方法并释放锁,而且B线程正好能够获取到HashTable的锁的时候才行,这样在多线程环境下就会造成线程长时间的阻塞。使其效率底下的原因所在。
在HashTable中由于在方法上设置synchronized,导致虽然是线程安全的,但是只有一个HashTable的对象锁,也就是说同一时刻只能有一个线程可以访问HashTable,线程都必须竞争同一把锁。假如容器中里面有多把锁,每把锁用于锁住容器的一部分数据,那么当多线程访问容器里面不同的数据时,多线程之间就不会存在锁的竞争,从而提高了并发访问的效率,这就是ConcurrentHashMap的 锁分段技术 。
ConcurrentHashMap是由Segment数组结构和HashEntry数组结构组成。Segment是一种可重入锁(ReentrantLock),在ConcurrentHashMap里扮演锁的角色;HashEntry则用于存储键值对数据。一个ConcurrentHashMap里包含一个Segment数组。Segment的结构和HashMap类似,是一种数组和链表结构。一个Segment里包含一个HashEntry数组,每个HashEntry是一个链表结构的元素,每个Segment守护着一个HashEntry数组里的元素,当对HashEntry数组的数据进行修改时,必须首先获得与它对应的Segment锁
ConcurrentHashMap的初始化
在ConcurrentHashMap中如何将数据均匀的散列到每一个Segment中?如果数据不能均匀的散列到各个Segment中,那么ConcurrentHashMap的并行性就会下降,好比,所有的数据都在一个Segment中,那么一个ConcurrentHashMap中就相当于只有一个锁,这和HashTable没有什么区别,所以通过一个hash()方法,将数据均匀的散列到不同的Segment中去(注意,虽然经过散列数据会均匀分散的不同的Segment中去,但是,也会有可能出现一个Segment中数据过多的问题,如果数据过多,多线程访问到的概率就会增加,导致并行度下降,如何优化解决ConcurrentHashMap中锁的加入时机和位置,这就是JDK1.8对ConcurrentHashMap所要做的事情)
查看ConcurrentHashMap的put()方法
由于put方法里需要对共享变量进行写入操作,所以为了线程安全,在操作共享变量时必须加锁。put方法首先定位到Segment,然后在Segment里进行插入操作。插入操作需要经历两个步骤,第一步判断是否需要对Segment里的HashEntry数组进行扩容,第二步定位添加元素的位置,然后将其放在HashEntry数组里。
(1)是否需要扩容
在插入元素前会先判断Segment里的HashEntry数组是否超过容量(threshold),如果超过阈值,则对数组进行扩容。值得一提的是,Segment的扩容判断比HashMap更恰当,因为HashMap是在插入元素后判断元素是否已经到达容量的,如果到达了就进行扩容,但是很有可能扩容之后没有新元素插入,这时HashMap就进行了一次无效的扩容。
(2)如何扩容
在扩容的时候,首先会创建一个容量是原来容量两倍的数组,然后将原数组里的元素进行再散列后插入到新的数组里。为了高效,ConcurrentHashMap不会对整个容器进行扩容,而只对某个segment进行扩容。
get操作的高效之处在于整个get过程不需要加锁,除非读到的值是空才会加锁重读。我们知道HashTable容器的get方法是需要加锁的,那么ConcurrentHashMap的get操作是如何做到不加锁的呢?原因是它的get方法里将要使用的共享变量都定义成volatile类型(关于volatile可以查看 《volatile synchronized final的内存语义》 ),如用于统计当前Segement大小的count字段和用于存储值的HashEntry的value。定义成volatile的变量,能够在线程之间保持可见性,能够被多线程同时读,并且保证不会读到过期的值,但是只能被单线程写(有一种情况可以被多线程写,就是写入的值不依赖于原值),在get操作里只需要读不需要写共享变量count和value,所以可以不用加锁。
锁的优化
在前面我们提到,在JDK1.7中ConcurrentHashMap使用锁分段的技术,提高了ConcurrentHashMap的并行度,虽然经过散列数据会均匀分散的不同的Segment中去,但是也会有可能出现一个Segment中数据过多的问题,如果数据过多,多线程访问到的概率就会增加,导致并行度下降。
在JDK1.8中ConcurrentHashMap细化了锁的粒度,缩小了公共资源的范围。采用synchronized+CAS的方式实现对共享资源的安全访问,只锁定当前链表或红黑二叉树的 首节点 ,这样只要hash不冲突,就不会产生并发,效率又提升N倍。
结构优化
在JDK1.7中ConcurrentHashMap的结构是数组+链表,我们知道链表随机插入和删除较快,但是查询和修改则会很慢,在ConcurrentHashMap中如果存在一个数组下标下的链表过长,查找某个value的复杂度为O(n),
在JDK1.8中ConcurrentHashMap的结构是数组+链表+红黑树,在链表的长度不超过8时,使用链表,在链表长度超过8时,将链表转换为红黑树复杂度变成O(logN)。效率提高
下面是JDK1.8中ConcurrentHashMap的数据结构
TreeBin:红黑树数节点? ? ?Node:链表节点
在JDK1.8中,hash()方法得到了简化,提高了效率,但是增加了碰撞的概率,不过碰撞的概率虽然增加了,但是通过红黑树可以优化,总的来说还是相较JDK1.7有很大的优化。
下面来分析put(),来观察JDK1.8中如何采用synchronized+CAS的方式细化锁的粒度,只锁定当前链表或红黑二叉树的 首节点。
hashmap底层实现原理
hashmap底层实现原理是SortedMap接口能够把它保存的记录根据键排序,默认是按键值的升序排序,也可以指定排序的比较器,当用Iterator遍历TreeMap时,得到的记录是排过序的。
如果使用排序的映射,建议使用TreeMap。在使用TreeMap时,key必须实现Comparable接口或者在构造TreeMap传入自定义的Comparator,否则会在运行时抛出java.lang.ClassCastException类型的异常。
Hashtable是遗留类,很多映射的常用功能与HashMap类似,不同的是它承自Dictionary类,并且是线程安全的,任一时间只有一个线程能写Hashtable
从结构实现来讲,HashMap是:数组+链表+红黑树(JDK1.8增加了红黑树部分)实现的。
扩展资料
从源码可知,HashMap类中有一个非常重要的字段,就是 Node[] table,即哈希桶数组。Node是HashMap的一个内部类,实现了Map.Entry接口,本质是就是一个映射(键值对),除了K,V,还包含hash和next。
HashMap就是使用哈希表来存储的。哈希表为解决冲突,采用链地址法来解决问题,链地址法,简单来说,就是数组加链表的结合。在每个数组元素上都一个链表结构,当数据被Hash后,得到数组下标,把数据放在对应下标元素的链表上。
如果哈希桶数组很大,即使较差的Hash算法也会比较分散,如果哈希桶数组数组很小,即使好的Hash算法也会出现较多碰撞,所以就需要在空间成本和时间成本之间权衡,其实就是在根据实际情况确定哈希桶数组的大小,并在此基础上设计好的hash算法减少Hash碰撞。
一图了解ConcurrentHashMap底层原理
1、ConcurrentHashMap底层数据结构是一个数组table
2、table数组上挂着单向链表或红黑树
3、new ConcurrentHashMap();如果没有指定长度的话,默认是16,并且数组长度必须是2的n次幂,若自定义初始化的长度不是2的n次幂,那么在初始化数组时,会吧数组长度设置为大于自定义长度的最近的2的n次幂。(如:自定义长度为7,那么实际初始化数组后的长度为8)
4、底层是使用synchronized作为同步锁,并且锁的粒度是数组的具体索引位(有些人称之为分段锁)。
5、Node节点,hash0,当hash冲突时,会形成一个单向链表挂在数组上。
6、ForwardindNode,继承至Node,其hash=-1,表示当前索引位的数据已经被迁移到新数组上了
7、ReservationNode,继承至Node,其hash=-3,表示当前索引位被占用了(compute方法)
8、TreenBin,继承至Node,其hash=-2,代表当前索引下挂着一颗红黑树
9、lockState为ConcurrentHashMap底层自己实现的基于cas的读写锁,锁粒度是具体的某颗树。当向红黑树进行增,删操作时,首先会先上sync同步锁,然后自平衡的时候会上lockState写锁,当读红黑树的时候,会上lockState读锁,然后判断此时是否有线程正持有写锁,或是否有线程正在等待获取写锁,若有,则读线程会直接去读双向链表,而不是去读红黑树。
10、TreeNode,hash0,为红黑树具体节点。TreeBin的root代表红黑树的根节点,first代表双向链表的第一个节点
11、双向链表:构建红黑树时还维护了一个双向链表,其目的为:(1)当并发写读同一颗红黑树的时候,读线程判断到有线程正持有写锁,那么会跑去读取双向链表,避免因为并发写读导致读线程等待或阻塞。(2)当扩容的时候,会去遍历双向链表,重新计算节点hash,根据新的hash判断放在新数组的高位还是地位
1、触发扩容的规则:
1)添加完元素后,若判断到当前容器元素个数达到了扩容的阈值(数组长度*0.75),则会触发扩容
2)添加完元素后,所在的单向链表长度=8,则会转为红黑树,不过在转红黑树之前会判断数组长度是否小于64,若小于64则会触发扩容
2、table为扩容前的数组,nextTable为扩容中创建的新数组,迁移数据完毕后需要将nextTable赋值给table
3、扩容后的数组是元素组长度的2倍
4、ln,hn分别表示高位和低位的链表(高链,低链)。即,扩容时,会用nh==0来判断元素应该放在新数组的i位置还是i+n位置。n:元素组长度;h:元素hash值;i:元素所在的原数组索引位;。这样就会出现有些元素会被挂在低位,有些元素会被挂在高位,从而达到打散元素的目的。
5、红黑树扩容时,会遍历双向链表,并且计算nh==0来判断元素放在低位(lo)还是高位(ho),确定完元素的去处之后,会判断分别判断两个双向链表(lo,ho)的长度是否大于6,若大于6则将还是以一颗红黑树的结构挂在数组上,若=6的话,则转为单向链表,挂在数组上
CurrentHashMap源码分析(2018-08-11)
1.7实现
采用segment数组分段锁机制,实现并发的更新,底层采用数组+链表+红黑树
每一个segment相当于一个hashMap
1.8实现
采用CSA和Synchronized机制,底层同样采用了数组+链表+红黑树
初始化:initTable()
当tab==null || tab.length()==0时 while循环中执行;
table只在put方法中初始化1次,初始化的线程将sizeCtl设置为-1,
U.compareAndSwapInt(this, SIZECTL, sc, -1)
其他线程判断sizeClt0,则THhread.yield()让出时间片
putVal()方法
1.hash算法
static final int spread(int h) {return (h ^ (h 16)) HASH_BITS;}
2.table中定位索引位置,n是table的大小? int index = (n - 1) hash
3.获取table中对应索引的元素f
Doug Lea采用Unsafe.getObjectVolatile来获取,为什么不直接从每个线程的table[index]中取?
因为每个线程中取到的table的元素,有可能不是最新的,而Unsafe.getObjectVolatile()可以直接从内存中获取最新的元素
【红黑树】
如果链表结构中元素超过TREEIFY_THRESHOLD阈值,默认为8个,则把链表转化为红黑树,提高遍历查询效率,效率为log(n)
链表转树阈值:8
树转链表阈值:6
树根节点的hash值为:-2
【sizeCtl】
sizeCtl是控制标识符,不同的值表示不同的意义。
负数代表正在进行初始化或扩容操作
-1代表正在初始化
-N 表示有N-1个线程正在进行扩容操作
正数或0代表hash表还没有被初始化,这个数值表示初始化或下一次进行扩容的大小,类似于扩容阈值。它的值始终是当前ConcurrentHashMap容量的0.75倍,这与loadfactor是对应的。实际容量=sizeCtl,则扩容(sc?=?n?-?(n??2);?//无符号右移2位,此即0.75*n?)
参考博客:
JDK 1.8 ConcurrentHashMap 源码剖析