У меня есть файловый backup с версиями который делаю с рабочего компа программой FreeFileSync на Synology, папка на сервере ~6Tb которую я решил дедурлицировать.
дедубликацию делал вот по этой методике русская / английская — статьи слегка творческий копипаст друг друга, кто первичен не задумывался… так что советую проглядеть обе.
краткое содержание:
0. устанавливаем докер на Synology / Хренолоджи
1. в докерее создаем контейнер с debian
2. устанавливаем duperemove (блочная дедубликация) и fdupes (файловая дедубликация)
3. дедублицируем
мой опыт:
в сервере стоит 4х ядерный процессор с тактовой чатсотой 3Ггц и 8Гб DDR2, папка с бекапами лежит на raid 5 из 4х дисков — не самая быстрая конструкция, в реальных дисковых операциях работает на скорости где-то 120-140MB/c. Объем дедублицируемой папки 5.8Гб.
выделил процессу 7гб и поставил высокий приоритет процессора в Docker
попытка запустить блочную дедубликацию «как есть» уперлась в неприемлемое время работы. Файловая дедубликация же проработала где-то 2-3 суток, и даже что-то нашла но «в лоб» дублирующхся файлов было не очень много.
тогда я воткнул в сервер SSD, бытовой, не самый быстрый, тот который был у меня в наличии, создал на нем раздел и указал hash файл писать на него.
duperemove -rdh --hashfile=/tmp/hash_tmp /backup
где /tmp — папка на SSD
первые ~24 часа создание хешей файлов, при этом чтение было на скорости ~100-120MB/c и 1000-1500IOPS, ну и запись пиками до 6000-7000IOPS, на SSD был создан файл размером 3.74гб. Процессор загружался на 10-15%, была занята вся выделенная память.
в следующие ~12 часов процесс задумался и ничего не выводил в консоль и только общался с SSD судя по IOPS. Потом началась дедубликация создаявая нагшрузку 5000-7000IOPS на чтение, собственно работа с той самой базой хешей на SSD.
Дедубликацмя продолжалась трое суток, в какой-то момент полез смотреть что так долго, выяснилось что запустилась плановая проверка жестких дисков, проверку выкубил. От начала процесс занял ~5 суток, дедубликация освободила 2.3Гб (из 5.8Гб) что в общем очень круто…
выводы без SSD и/или 16гб памяти дедубликацмя идет неприемлемо долго, дедубликация файловаого бекапа рабочих картинок с версиями позволит освободить до 30-40% места, по мере раздувания бекапа буду изредка напускать на него этот процесс.
я не IT`шник и не юниксойд, все делал из общих соображений, в силу своего ограниченного понимания… возможно совершил какие-то глупые ошибки, не судите строго.