golang无锁设计,golang 锁的底层实现

http://www.itjxue.com  2023-01-14 03:03  来源:未知  点击次数: 

GoLang中的切片扩容机制

[5]int 是数组,而 []int 是切片。二者看起来相似,实则是根本上不同的数据结构。

切片的数据结构中,包含一个指向数组的指针 array ,当前长度 len ,以及最大容量 cap 。在使用 make([]int, len) 创建切片时,实际上还有第三个可选参数 cap ,也即 make([]int, len, cap) 。在不声明 cap 的情况下,默认 cap=len 。当切片长度没有超过容量时,对切片新增数据,不会改变 array 指针的值。

当对切片进行 append 操作,导致长度超出容量时,就会创建新的数组,这会导致和原有切片的分离。在下例中

由于 a 的长度超出了容量,所以切片 a 指向了一个增长后的新数组,而 b 仍然指向原来的老数组。所以之后对 a 进行的操作,对 b 不会产生影响。

试比较

本例中, a 的容量为6,因此在 append 后并未超出容量,所以 array 指针没有改变。因此,对 a 进行的操作,对 b 同样产生了影响。

下面看看用 a := []int{} 这种方式来创建切片会是什么情况。

可以看到,空切片的容量为0,但后面向切片中添加元素时,并不是每次切片的容量都发生了变化。这是因为,如果增大容量,也即需要创建新数组,这时还需要将原数组中的所有元素复制到新数组中,开销很大,所以GoLang设计了一套扩容机制,以减少需要创建新数组的次数。但这导致无法很直接地判断 append 时是否创建了新数组。

如果一次添加多个元素,容量又会怎样变化呢?试比较下面两个例子:

那么,是不是说,当向一个空切片中插入 2n-1 个元素时,容量就会被设置为 2n 呢?我们来试试其他的数据类型。

可以看到,根据切片对应数据类型的不同,容量增长的方式也有很大的区别。相关的源码包括: src/runtime/msize.go , src/runtime/mksizeclasses.go 等。

我们再看看切片初始非空的情形。

可以看到,与刚刚向空切片添加5个int的情况一致,向有3个int的切片中添加2个int,容量增长为6。

需要注意的是, append 对切片扩容时,如果容量超过了一定范围,处理策略又会有所不同。可以看看下面这个例子。

具体为什么会是这样的变化过程,还需要从 源码 中寻找答案。下面是 src/runtime/slice.go 中的 growslice 函数中的核心部分。

GoLang中的切片扩容机制,与切片的数据类型、原本切片的容量、所需要的容量都有关系,比较复杂。对于常见数据类型,在元素数量较少时,大致可以认为扩容是按照翻倍进行的。但具体情况需要具体分析。

Golang 1.14中内存分配、清扫和内存回收

Golang的内存分配是由golang runtime完成,其内存分配方案借鉴自tcmalloc。

主要特点就是

本文中的element指一定大小的内存块是内存分配的概念,并为出现在golang runtime源码中

本文讲述x8664架构下的内存分配

Golang 内存分配有下面几个主要结构

Tiny对象是指内存尺寸小于16B的对象,这类对象的分配使用mcache的tiny区域进行分配。当tiny区域空间耗尽时刻,它会从mcache.alloc[tinySpanClass]指向的mspan中找到空闲的区域。当然如果mcache中span空间也耗尽,它会触发从mcentral补充mspan到mcache的流程。

小对象是指对象尺寸在(16B,32KB]之间的对象,这类对象的分配原则是:

1、首先根据对象尺寸将对象归为某个SpanClass上,这个SpanClass上所有的element都是一个统一的尺寸。

2、从mcache.alloc[SpanClass]找到mspan,看看有无空闲的element,如果有分配成功。如果没有继续。

3、从mcentral.allocSpan[SpanClass]的nonempty和emtpy中找到合适的mspan,返回给mcache。如果没有找到就进入mcentral.grow()—mheap.alloc()分配新的mspan给mcentral。

大对象指尺寸超出32KB的对象,此时直接从mheap中分配,不会走mcache和mcentral,直接走mheap.alloc()分配一个SpanClass==0 的mspan表示这部分分配空间。

对于程序分配常用的tiny和小对象的分配,可以通过无锁的mcache提升分配性能。mcache不足时刻会拿mcentral的锁,然后从mcentral中充mspan 给mcache。大对象直接从mheap 中分配。

在x8664环境上,golang管理的有效的程序虚拟地址空间实质上只有48位。在mheap中有一个pages pageAlloc成员用于管理golang堆内存的地址空间。golang从os中申请地址空间给自己管理,地址空间申请下来以后,golang会将地址空间根据实际使用情况标记为free或者alloc。如果地址空间被分配给mspan或大对象后,那么被标记为alloc,反之就是free。

Golang认为地址空间有以下4种状态:

Golang同时定义了下面几个地址空间操作函数:

在mheap结构中,有一个名为pages成员,它用于golang 堆使用虚拟地址空间进行管理。其类型为pageAlloc

pageAlloc 结构表示的golang 堆的所有地址空间。其中最重要的成员有两个:

在golang的gc流程中会将未使用的对象标记为未使用,但是这些对象所使用的地址空间并未交还给os。地址空间的申请和释放都是以golang的page为单位(实际以chunk为单位)进行的。sweep的最终结果只是将某个地址空间标记可被分配,并未真正释放地址空间给os,真正释放是后文的scavenge过程。

在gc mark结束以后会使用sweep()去尝试free一个span;在mheap.alloc 申请mspan时刻,也使用sweep去清扫一下。

清扫mspan主要涉及到下面函数

如上节所述,sweep只是将page标记为可分配,但是并未把地址空间释放;真正的地址空间释放是scavenge过程。

真正的scavenge是由pageAlloc.scavenge()—sysUnused()将扫描到待释放的chunk所表示的地址空间释放掉(使用sysUnused()将地址空间还给os)

golang的scavenge过程有两种:

GoLang中defer的作用域不是块,而是函数,是出于怎样的考虑

举个例子,如果我们的代码逻辑是下面这样的:

打开数据库连接

defer 关闭连接

defer 删除数据

因为一般defer定义是和打开连接并列的,打开文件,打开连接之后就定义了defer, 如果这之后你的defer是基于这个连接做的事情,那么如果先进先执行的话就会错误了。这就是当初Go设计defer的时候考虑的问题。

这里顺带提醒一下defer是存在一些小坑的,就是defer里面的变量是申明的时候就copy的,不会随着后面的函数逻辑改变而改变,除非你用指针类型。

package main

import "fmt"

func main() {

var whatever [5]struct{}

for i := range whatever {

fmt.Println(i)

}

for i := range whatever {

defer func() { fmt.Println(i) }()

}

for i := range whatever {

defer func(n int) { fmt.Println(n) }(i)

}

}

Golang项目部署3,容器部署

容器部署即使用 docker 化部署 golang 应用程序,这是在云服务时代最流行的部署方式,也是最推荐的部署方式。

跨平台交叉编译是 golang 的特点之一,可以非常方便地编译出我们需要的目标服务器平台的版本,而且是静态编译,非常容易地解决了运行依赖问题。

使用以下指令可以静态编译 Linux 平台 amd64 架构的可执行文件:

生成的 main 便是我们静态编译的,可部署于 Linux amd64 上的可执行文件。

我们需要将该可执行文件 main 编译生成 docker 镜像,以便于分发及部署。 Golang 的运行环境推荐使用 alpine 基础系统镜像,编译出的容器镜像约为 20MB 左右。

一个参考的 Dockerfile 文件如下:

其中,我们的基础镜像使用了 loads/alpine:3.8 ,中国国内的用户推荐使用该基础镜像,基础镜像的 Dockerfile 地址: ,仓库地址:

随后使用 " docker build -t main . " 指令编译生成名为 main 的 docker 镜像。

需要注意的是,在某些项目的架构设计中, 静态文件 和 配置文件 可能不会随着镜像进行编译发布,而是分开进行管理和发布。

例如,使用 MVVM 模式的项目中(例如使用 vue 框架),往往是前后端非常独立的,因此在镜像中往往并不会包含 public 目录。而使用了 配置管理中心 (例如使用 consul / etcd / zookeeper )的项目中,也往往并不需要 config 目录。

因此对于以上示例的 Dockerfile 的使用,仅作参考,根据实际情况请进行必要的调整。

使用以下指令可直接运行刚才编译成的镜像:

容器的分发可以使用 docker 官方的平台: ,国内也可以考虑使用阿里云: 。

在企业级生产环境中, docker 容器往往需要结合 kubernetes 或者 docker swarm 容器编排工具一起使用。

容器编排涉及到的内容比较多,感兴趣的同学可以参考以下资料:

(责任编辑:IT教学网)

更多

推荐Access文章