Как исправить периодически возникающие ошибки «Нет места на устройстве» во время mv, когда на устройстве достаточно места?

Главная

Другие контенты

Новости

Технологии

Channel: Roel Van de Paar • Sourced: Youtube • Published 5 лет ago

Unix и Linux: как исправить периодически возникающие ошибки / «Нет места на устройстве /» во время mv, когда на устройстве достаточно места?

Вопрос: * Ubuntu 14.04 на рабочем столе.
* Исходный диск: /dev/sda1: одиночный ext4 емкостью 5 ТБ.
объем диска
* Целевой том: /dev/mapper/archive-lvarchive: RAID6 (mdadm) том 18 ТБ.
с ЛВМ
раздел и ext4
Необходимо переместить примерно 15 миллионов файлов, некоторые из которых могут быть дубликатами (я так делаю).
не хочу перезаписывать дубликаты).
Использованная команда (из исходного каталога):
ls -U xargs -i -t mv -n {} /mnt/archive/targetDir/{}
Как и ожидалось, это продолжается уже несколько дней, но я получаю сообщение об ошибке
с возрастающей частотой. При запуске целевой диск был заполнен примерно на 70 %.
сейчас это около 90%. Раньше около 1/200 ходов устанавливали и
ошибка, теперь это около 1/5. Ни один из файлов не превышает 100 МБ, большинство из них около
100 тыс.
Некоторая информация:
дф -ч
Размер используемой файловой системы Доступно % использования Установлено на
/dev/sdb3 155G 5,5G 142G 4% /
нет 4.0К 0 4.0К 0% /sys/fs/cgroup
udev 3.9G 4.0K 3.9G 1% /dev
tmpfs 797M 2,9M 794M 1%/запуск
нет 5.0M 4.0K 5.0M 1% /запуск/блокировка
нет 3.9G 0 3.9G 0% /run/shm
нет 100M 0 100M 0% /запуск/пользователь
/dev/sdb1 19G 78M 18G 1% /boot
/dev/mapper/archive-lvarchive 18T 15T 1,8T 90% /mnt/archive
/dev/sda1 4,6Т 1,1Т 3,3Т 25% /mnt/tmp

дф -я
Индексные дескрипторы файловой системы IUsed IFree IUse% установлены на
/dev/sdb3 10297344 222248 10075096 3% /
нет 1019711 4 1019707 1% /sys/fs/cgroup
udev 1016768 500 1016268 1% /dev
tmpfs 1019711 1022 1018689 1%/запуск
нет 1019711 5 1019706 1% /run/lock
нет 1019711 1 1019710 1% /run/shm
нет 1019711 2 1019709 1% /run/user
/dev/sdb1 4940000 582 4939418 1% /boot
/dev/mapper/archive-lvarchive 289966080 44899541 245066539 16% /mnt/archive
/dev/sda1 152621056 5391544 147229512 4% /mnt/tmp
Вот мой результат:
mv -n 747265521.pdf /mnt/archive/targetDir/747265521.pdf
mv -n 61078318.pdf /mnt/archive/targetDir/61078318.pdf
mv -n 709099107.pdf /mnt/archive/targetDir/709099107.pdf
mv -n 75286077.pdf /mnt/archive/targetDir/75286077.pdf
mv: невозможно создать обычный файл «/mnt/archive/targetDir/75286077.pdf»: нет места
осталось на устройстве
МВ -n 796522548.pdf /mnt/archive/targetDir/796522548.pdf
mv: невозможно создать обычный файл «/mnt/archive/targetDir/796522548.pdf»: нет места
… (Пожалуйста, посмотрите видео, чтобы увидеть полный вопрос)

Решения. Посмотрите видео целиком, чтобы увидеть все решения в порядке того, скольким людям они показались полезными.

Это решение помогло 26 людям
Ошибка в реализации функции ext4 dir_index, которую вы используете на своем компьютере.
файловая система назначения.
Решение: воссоздать файловую систему без dir_index. Или отключите функцию, используя
Tune2fs (требуется определенная осторожность, см. соответствующую ссылку https://www.novell.com/).
support/kb/doc.php?id7011432, который, хотя и относится к ext3, может нуждаться в аналогичном
осторожность.
(получите действительно хорошую резервную копию файловой системы)
(размонтировать файловую систему)
Tune2fs -O индекс_каталога /dev/foo
e2fsck -fDvy /dev/foo
(монтируем файловую систему)
* http://blog.merovius.de/2013/10/20/ext4-mysterious-no-space-left-on.html
В ext4 по умолчанию включена функция dir_index, которая
весьма восприимчив к хеш-коллизиям.
……
ext4 имеет возможность хешировать имена файлов своего содержимого. Этот
повышает производительность, но имеет «небольшую» проблему: ext4 не растет.
его хэш-таблица, когда она начинает заполняться. Вместо этого он возвращает -ENOSPC
или /"на устройстве не осталось места/".

С благодарностью и хвалой Богу, а также с благодарностью многим людям, которые сделали этот проект возможным! Контент (кроме музыки и изображений) доступен по лицензии cc by-sa 3.0 Музыка: https://www.bensound.com/royalty-free-music Изображения: https://stocksnap.io/license и другие С благодарностью пользователю Thomas Dickey (https://unix.stackexchange.com/users/105132), пользователь Стив (https://unix.stackexchange.com/users/104877), пользователь Руи Ф Рибейро (https://unix.stackexchange.com/users /138261), пользователь Питер Кордес (https://unix.stackexchange.com/users/79808), пользователь Джефф Шаллер (https://unix.stackexchange.com/users/117549), пользователь Chris.Caldwell (https:/ /unix.stackexchange.com/users/45877), пользователь Barani r (https://unix.stackexchange.com/users/103751) и сеть Stack Exchange (http://unix.stackexchange.com/questions/222221). ). Торговые марки являются собственностью их соответствующих владельцев. Отказ от ответственности: Вся информация предоставляется «КАК ЕСТЬ» без каких-либо гарантий. Вы несете ответственность за свои действия. Пожалуйста, свяжитесь со мной, если что-то не так с Roel D.OT VandePaar AT gmail.com.