GitLab 63G 日志填满磁盘导致 Pipline 不能正常运行
背景
今天一觉醒来收到消息说构建失败,登上 GitLab 看了一眼发现是 500 Internal Server Error
心想跑了这么长时间也没出现过这种问题,GitLab 服务器的 Runner 是在集群中,但是看了眼 Runner 状态没问题
于是打算上 GitLab 服务器看一眼(用的是 podman),但发现根本 exec
进入不了容器,说是磁盘空间不足
(这还额外挂载在了一个云盘上,还能出问题?)
然后:
df -hT
好家伙,不至于吧
解决
由于使用的是 podman,所以日志目录有所不同
cd /var/lib/containers/overlay-containers/<gitlab-容器ID>/userdata
发现 ctr.log
占了 63G
之后:
echo "" > ctr.log
Pipeline 恢复运行