跳到主要内容

Go-内存分配与GC

。 Go-内存分配与GC

TcMalloc 内存分级分配内存 GC 回收算法

GC 原理​

go采用了标记清除算法，没有采用分代、计数等算法。这与 go 的内存模型、goroutine 、高并发等有很大关系。

  • 跨代写屏障的开销会非常显著（尤其是写密集负载）。
  • 实现复杂度和维护成本。

原因：简单、可预测、低暂停、高并发

核心机制：​

  • 三色不变性：对象分为白色（未标记，可能垃圾）、灰色（已标记但子对象未扫描）、黑色（已标记且子对象扫描完成）。
  • 阶段：
    1. 标记准备（STW）：短暂暂停，开启写屏障。
    2. 并发标记：与用户代码并行，从根（全局变量、栈等）开始扫描。
    3. 标记终止（STW）：处理遗漏，极短暂停。
    4. 并发清扫：回收白色对象。
  • 混合写屏障（Hybrid Write Barrier）：保证并发标记正确性。
  • Pacing：根据分配速率和堆大小动态调节 GC 频率（由 GOGC 控制，默认增长 100% 触发）。

强弱三色不变式：​

为了解决漏标问题（悬垂指针导致不可预知错误），出现了写屏障机制（插入写、删除写）。 漏标问题的本质就是，一个已经扫描完成的黑对象指向了一个被灰\白对象删除引用的白色对象. 构成这一场景的要素拆分如下： （1）黑色对象指向了白色对象 （2）灰、白对象删除了白色对象 （3）（1）、（2）步中谈及的白色对象是同一个对象 （4）（1）发生在（2）之前

一套用于解决漏标问题的方法论称之为强弱三色不变式：

  • 强三色不变式：白色对象不能被黑色对象直接引用（直接破坏（1））
  • 弱三色不变式：白色对象可以被黑色对象引用，但要从某个灰对象出发仍然可达该白对象（间接破坏了（1）、（2）的联动）

插入写屏障（Dijkstra）的目标是实现强三色不变式，保证当一个黑色对象指向一个白色对象前，会先触发屏障将白色对象置为灰色，再建立引用. 删除写屏障（Yuasa barrier）的目标是实现弱三色不变式，保证当一个白色对象即将被上游删除引用前，会触发屏障将其置灰，之后再删除上游指向其的引用.

混合写屏障​

插入写屏障、删除写屏障二者择其一，即可解决并发GC的漏标问题，至于错标问题，则采用容忍态度，放到下一轮GC中进行延后处理即可.

然而真实场景中，需要补充一个新的设定——屏障机制无法作用于栈对象.

这是因为栈对象可能涉及频繁的轻量操作，倘若这些高频度操作都需要一一触发屏障机制，那么所带来的成本将是无法接受的.

在这一背景下，单独看插入写屏障或删除写屏障，都无法真正解决漏标问题，除非我们引入额外的Stop the world（STW）阶段，对栈对象的处理进行兜底。 为了消除这个额外的 STW 成本，Golang 1.8 引入了混合写屏障机制，可以视为糅合了插入写屏障+删除写屏障的加强版本，要点如下：

  • GC 开始前，以栈为单位分批扫描，将栈中所有对象置黑
  • GC 期间，栈上新创建对象直接置黑
  • 堆对象正常启用插入写屏障
  • 堆对象正常启用删除写屏障

GC 优化经验（回收内存）​

一、监测​

两种方式进行监测，但主要应用于开发/测试、排查问题时，才开启：

1、使用GODEBUG=gctrace=1 ./you-app 可以清晰看到每次GC的时机、耗时、回收量等信息； 2、项目中设置开关，控制是否开启 pprof。

二、限制​

Go 1.19+ 提供了两个关键参数，让你在 吞吐量 和 内存占用/延迟 之间做权衡：

参数作用适用场景风险
GOGC (默认 100)控制触发 GC 的堆内存增长百分比。GOGC=100 表示堆内存比上次 GC 后存活对象增长 100% 时触发。提高 (如 200)：减少 GC 频率，提升吞吐，但内存占用翻倍。
降低 (如 50)：增加 GC 频率，降低内存占用和单次暂停风险，但可能降低吞吐。		过高易致 OOM，过低可能浪费 CPU。
GOMEMLIMIT (Go 1.19+)为 GC 设置一个软内存上限。GC 会努力将内存使用维持在此目标下，优先于 GOGC 生效。在容器环境中非常有用。设置为容器内存限制的 80-90%，可以有效防止 OOM Kill，并提供更可预测的 GC 行为。设置过低会导致 GC 陷入“死亡螺旋”，频繁触发，浪费 CPU。

举例：

# 在一个内存限制为 1GiB 的容器中，追求低延迟
GOMEMLIMIT=900MiB GOGC=50 ./your-app

三、优化代码​

最有效的优化，减少不必要的分配。

1、复用对象

使用 sync.Pool ： 用于缓存频繁创建/销毁的临时对象（解析用的缓冲区、编解码的临时结构体）。Pool 中的对象可能在任何时候被回收，适用于重建成本高的对象。 局部切片的重用： 在热点循环中，复用局部切片而非每次都 make

标签：