前言

最近這兩天登陸服務(wù)器，發(fā)現(xiàn)用 wget 下載文件的時(shí)候提示“No space left on device”，而且連使用 tab 鍵進(jìn)行補(bǔ)全時(shí)也會(huì)提示該錯(cuò)誤。

之前遇到過(guò)一次這種問(wèn)題，是由于磁盤空間被占滿了，導(dǎo)致無(wú)法創(chuàng)建新文件。正常情況下，刪除一些文件來(lái)釋放空間，即可解決該問(wèn)題。

當(dāng)我使用 df 命令查看分區(qū)情況時(shí)，結(jié)果如下：

# df -hFilesystem Size Used Avail Use% Mounted on/dev/vda1 29G 29G 0 100% /udev  10M 0 10M 0% /devtmpfs  101M 232K 100M 1% /runtmpfs  5.0M 0 5.0M 0% /run/locktmpfs  405M 0 405M 0% /run/shm

看到這里，我以為磁盤真的被 100% 占用了，于是就查看了各目錄的占用情況：

# du -sh /*8.8M /bin30M /boot0 /dev5.3M /etc24K /home0 /initrd.img205M /lib4.0K /lib6416K /lost+found8.0K /media4.0K /mnt4.0K /opt0 /proc2.5G /root232K /run5.2M /sbin8.0K /srv0 /sys4.0K /tmp2.6G /usr1.8G /var0 /vmlinuz

很明顯，總共的磁盤占用完全不到 10G，磁盤理論上并未被占滿。

這種情況下，很可能是小文件過(guò)多，導(dǎo)致 inode 急劇增加，消耗完 inode 區(qū)域的空間。

如果真是如此，那么即使磁盤空間有剩余，但由于無(wú)法創(chuàng)建新的 inode 來(lái)存儲(chǔ)文件的元信息，也就無(wú)法創(chuàng)建新文件。

因此，我用 df 命令進(jìn)行驗(yàn)證：

# df -ihFilesystem Inodes IUsed IFree IUse% Mounted on/dev/vda1 1.9M 299K 1.6M 17% /udev  123K 299 123K 1% /devtmpfs  126K 249 125K 1% /runtmpfs  126K 4 126K 1% /run/locktmpfs  126K 2 126K 1% /run/shm

可以看到，inode 區(qū)域只被占用了一小部分，還有大量的空間未使用，所以也不是 inode 區(qū)域被占滿的問(wèn)題。

到了這里，我的內(nèi)心是非常郁悶的。這個(gè)問(wèn)題直接導(dǎo)致了Apache、MySql以及其它的一些服務(wù)均無(wú)法啟動(dòng)，服務(wù)器已經(jīng)基本沒法使用了，然而原因卻撲朔迷離。

最后，服務(wù)器提供商告訴我另一種可能的情況，就是有些文件刪除時(shí)還被其它進(jìn)程占用，此時(shí)文件并未真正刪除，只是標(biāo)記為 deleted，只有進(jìn)程結(jié)束后才會(huì)將文件真正從磁盤中清除。

于是我通過(guò) lsop 命令查看了被進(jìn)程占用中的文件：

# lsof | grep deletedmysqld 1952 2982 mysql 5u REG  254,1  0 127 /tmp/ibzMEe4z (deleted)mysqld 1952 2982 mysql 6u REG  254,1  0 146 /tmp/ibq6ZFge (deleted)mysqld 1952 2982 mysql 10u REG  254,1  0 150 /tmp/ibyNHH8y (deleted)apache2 2869  root 9u REG  254,1  0 168 /tmp/.ZendSem.2w14iv (deleted)apache2 2869  root 10w REG  0,16  0 11077 /run/lock/apache2/rewrite-map.2869 (deleted)...python 3102  root 1w REG  254,1 22412342132 264070 /var/log/nohup.out (deleted)

終于找到了罪魁禍?zhǔn)?，原?lái)是在后臺(tái)運(yùn)行的 Python 腳本，源源不斷地將輸出保存到 /var/log/nohup.out 文件中，文件大小居然達(dá)到了20G+！

前階段在后臺(tái)運(yùn)行腳本之后，就沒再管過(guò)它。估計(jì)是我在 Python 運(yùn)行過(guò)程中刪掉了 nothup.out 文件，由于該文件被占用，所以只能先標(biāo)記為 deleted，而未真正刪除，最后導(dǎo)致磁盤爆滿。

這次的教訓(xùn)提醒了我，不能將任務(wù)簡(jiǎn)單放到后臺(tái)就放任不管，特別是使用 nohup 命令時(shí)，所有的輸出都會(huì)被不斷地添加到同一個(gè)文件中，如果該進(jìn)程不會(huì)自己終止，就可能導(dǎo)致輸出文件占滿整個(gè)磁盤。

總結(jié)

以上就是這篇文章的全部?jī)?nèi)容了，希望本文的內(nèi)容對(duì)大家的學(xué)習(xí)或者工作能帶來(lái)一定的幫助，如果有疑問(wèn)大家可以留言交流，謝謝大家對(duì)VEVB武林網(wǎng)的支持。