运维日记|数据库服务器有空间却报空间不足 – 作者:database

今天美创科技运维中心又遇到一个有趣的问题，Linux数据库服务器有监控系统监控着，空间明明剩余很多，但通过数据库访问却报“No space left on device”的问题。

让我们登录linux系统检查下空间，发现使用率都很低。

那再进入数据库安装目录“/u01”,尝试建个文件看看，发现确实是报无空间问题。

检查inode使用情况呢？发现已经达到了100%，啊，我明白了！

原来是小文件数据量过多耗尽可用的inode。

当inode耗尽，这时即使通过“du -sh”去查，也不能查出是哪个目录空间占用的多些。但Inode耗尽一般都是小文件占用太多，所以我们就去查各目录的文件数！

通过检查发现“/u01/11.2.0”文件数最多，竟然多达370多万，进一步check，最后查出如下：

原来是数据库审计日志！它耗尽了inode！

所有小文件都在“/u01/11.2.0/grid/rdbms/audit”目录下。

这时去删除文件，直接删除，但由于文件太多，不能通过rm命令直接去删除，只能通过管道方式进行删除，具体如下：

结论：

经过我们检查，审计日志文件，每个文件只有1M大小，但大概有5年都没有删除过了。小文件达到了370万个，耗尽了inode，所以我们在看实际空间使用量的同时，偶尔也要看看inode的使用情况。

美创运维中心数据库服务团队拥有Oracle ACE 1人、OCM 10余人、数十名Oracle OCP、MySQL OCP、红帽RHCA、中间件weblogic、tuxedo认证、达梦工程师 ，著有《Oracle DBA实战攻略》，《Oracle数据库性能优化方法和最佳实践》，《Oracle内核技术揭秘》等多本数据运维优化书籍。目前运维各类数据库合计2000余套，精通Oracle、MySQL、SQLServer、DB2、PostgreSQL、达梦等主流商业和开源数据库。并成为首批国内达梦战略合作伙伴之一，拥有海量经验和完善的人员培养体系。并同时提供超融合，私有云整体解决方案。

来源：freebuf.com 2020-06-03 10:14:16 by: database