GitLab 63G 日志填满磁盘导致 Pipline 不能正常运行

背景

今天一觉醒来收到消息说构建失败,登上 GitLab 看了一眼发现是 500 Internal Server Error

gitlab-pipeline-error.png

心想跑了这么长时间也没出现过这种问题,GitLab 服务器的 Runner 是在集群中,但是看了眼 Runner 状态没问题

于是打算上 GitLab 服务器看一眼(用的是 podman),但发现根本 exec 进入不了容器,说是磁盘空间不足

(这还额外挂载在了一个云盘上,还能出问题?)

然后:

df -hT

disk-full

好家伙,不至于吧

解决

由于使用的是 podman,所以日志目录有所不同

cd /var/lib/containers/overlay-containers/<gitlab-容器ID>/userdata

发现 ctr.log 占了 63G

large-ctrlog

之后:

echo "" > ctr.log

Pipeline 恢复运行