Твоим порокам нынче жить!

навигация по блогу (поиск, теги, категории, календарь)

Архив:

Метка: XPEnology

Synology Hybrid RAID (SHR)

Как завести рейд уровня SHR на Synology/xPnology которые не поддерживает SHR, например DS3615xs который хренолоджи косплеет. это извечный вопрос… прямо «как размножаются ежики»: Форматируем диск, любой, в устройстве которое может отформатировать в Synology Hybrid RAID (SHR), у меня это старичок Synology 209. Ставим диск в Устройство которое не поддерживает этот уровень и объединяем с другим диском (дисками), причем если объединять с одним диском то получается что-то типа зеркала, raid 1 … после чего диск можно вынуть, а тот который остался остался зараженным :) Наверное можно обойтись и без второго Synology, воспользовавшись образом сохраненным с такого диска «акронисом» … но я так не пробовал.

ценность Synology Hybrid RAID (SHR) в том что его можно набивать дисками разного размера… с некими ограничениями понятно… но например если в shr 4х3 = 9 гб два диска заменить на 6гб, то получится 3+3+6+6 =12гб а в случае raid5 так и останется 9

14.06.2020
Synology: дедубликация btrfs

У меня есть файловый backup с версиями который делаю с рабочего компа программой FreeFileSync на Synology, папка на сервере ~6Tb которую я решил дедурлицировать.

дедубликацию делал вот по этой методике русская / английская — статьи слегка творческий копипаст друг друга, кто первичен не задумывался… так что советую проглядеть обе.

краткое содержание:
0. устанавливаем докер на Synology / Хренолоджи
1. в докерее создаем контейнер с debian
2. устанавливаем duperemove (блочная дедубликация) и fdupes (файловая дедубликация)
3. дедублицируем

мой опыт:
в сервере стоит 4х ядерный процессор с тактовой чатсотой 3Ггц и 8Гб DDR2, папка с бекапами лежит на raid 5 из 4х дисков — не самая быстрая конструкция, в реальных дисковых операциях работает на скорости где-то 120-140MB/c. Объем дедублицируемой папки 5.8Гб.

выделил процессу 7гб и поставил высокий приоритет процессора в Docker

попытка запустить блочную дедубликацию «как есть» уперлась в неприемлемое время работы. Файловая дедубликация же проработала где-то 2-3 суток, и даже что-то нашла но «в лоб» дублирующхся файлов было не очень много.

тогда я воткнул в сервер SSD, бытовой, не самый быстрый, тот который был у меня в наличии, создал на нем раздел и указал hash файл писать на него.

duperemove -rdh --hashfile=/tmp/hash_tmp /backup
где /tmp — папка на SSD

первые ~24 часа создание хешей файлов, при этом чтение было на скорости ~100-120MB/c и 1000-1500IOPS, ну и запись пиками до 6000-7000IOPS, на SSD был создан файл размером 3.74гб. Процессор загружался на 10-15%, была занята вся выделенная память.

в следующие ~12 часов процесс задумался и ничего не выводил в консоль и только общался с SSD судя по IOPS. Потом началась дедубликация создаявая нагшрузку 5000-7000IOPS на чтение, собственно работа с той самой базой хешей на SSD.

Дедубликацмя продолжалась трое суток, в какой-то момент полез смотреть что так долго, выяснилось что запустилась плановая проверка жестких дисков, проверку выкубил. От начала процесс занял ~5 суток, дедубликация освободила 2.3Гб (из 5.8Гб) что в общем очень круто…

выводы без SSD и/или 16гб памяти дедубликацмя идет неприемлемо долго, дедубликация файловаого бекапа рабочих картинок с версиями позволит освободить до 30-40% места, по мере раздувания бекапа буду изредка напускать на него этот процесс.

я не IT`шник и не юниксойд, все делал из общих соображений, в силу своего ограниченного понимания… возможно совершил какие-то глупые ошибки, не судите строго.

20.09.2019
XPEnology: Active Backup for Busines

XPEnology не имеет оригиналного серийного номера Synology, а Active Backup for Busines для регистрации требует реальный серийник… ради интереса поискал возможность запустить на своей подделке… и вот внезапно нашел сслочку с инструкцией по регистрации Active Backup

краткая инструкция, копирую в блог против гниения интернета:

краткая инструкция, копирую в блог против гниения интернета:!
1. Устанавливаем Active Backup for Busines, если он был установлен то может быть переустановить
2. в браузере последовательно запустить эти две ссылки:

https://URL:PORT/webapi/auth.cgi?api=SYNO.API.Auth&method=Login&version=1&account=USER&passwd=PASS https://URL:PORT/webapi/entry.cgi?api=SYNO.ActiveBackup.Activation&method=set&version=1&activated=true&serial_number="SERIALNUMBER"

где: URL = адрес сервера
PORT = порт, обычно 5001
user = логин пользователя, например admin
pass = пароль парный к логину
SERIALNUMBER = серийный номер, который можно найти: панель управления — информационный центр

и все должно работать… чтобы получить текущий статус активации выполнить два урла:

https://URL:PORT/webapi/auth.cgi?api=SYNO.API.Auth&method=Login&version=1&account=USER&passwd=PASS https://URL:PORT/webapi/entry.cgi?api=SYNO.ActiveBackup.Activation&method=get&version=1

Active Backup for Busines — может сохранять загрузочный и любые диски под винды, и вроде как имеет средство восстановления без загрузки системы, использует дедупликуацию на уровне блоков… есть браузер для винды, чтобы лазать по архивам… почти акронис и даже лучше… из найденных минусов: через windows приложение нельзя бекапить отдельную папку, только диск целиком.

27.08.2019
Энергоэффективность не к черту

У меня хренолоджи собран на старом железе, core 2 extreme (4 ядра, 3ГГц) — приемлемо мощный даже по современным меркам процессор, не знаю как для игр, а работать в фотошопе можно не напрягаясь … для меня это критерий :)

Ну так вот в при копировании на хренолоджи по SFTP в четыре потока, с суммарной скоростью ~80MB/s, SSH жрет приблизительно половину процессорных ресурсов… сам сервер жрет примерно 120-160 ватт из котырых 40-50 ватт диски… но я на нем не работаю, только бекапы, пока покрайней мере… видимо надо будет пересобрать на чем-то более современном и энергоэффективном… когда будут ресурсы… рабочий комп, то-же не самый современный, с 7 HDD дисками в состоянии покоя жрет 70 ватт, что для домашнего сервера тоже многовато…

А вообще сборка такого серверка из того что лежит в загашниках верный способ желать готовый серверок ;)

25.08.2019
для бесперебойной работы

Мне все говорят что рейд нужен для без остановочной работы, а вот фигушки, в рабочей станции raid 6 на аdaptec 5805, в Хренолоджи софтверный raid SHR (raid 5) и вот если начинает один диск глючить, адаптек завешивает машину др тех пор пока не поймет что один из дисков отвалился и массив надо объявить деградировавшим… иногда это очень неприятно. Хренолоджи, когда его собирал один из массивов был собран из старых дисков один из которых сыпался и в момент когда DSM обнаруживала сбойный кластер она как-то контактно подвешивалась… то есть я понимаю что как-то так и должно быть, но о какой бесперебойной работе может быть речь.

Ещё интересный момент, raid SHR из 5ти дисков, в Хренолоджи, теоретически должен быть уже довольно быстрым, понятно что снаружи ограничено гигабитным соединением, но внутри себя копирование происходит со скоростью, в лучшем случае, 120-130MB/c… хотя по идее должна быть скорость что-то типа 200MB/c

А если я включаю дедубликацию и сжатие (btrfs) — то скорость падает, хотя процессор 4x3GGz загружен только на 1/5-1/4… и вот зачем мне мощный процессор? на самом деле процессор какой был… если он не используется на цело когда нужен?

понятно что все сделано так чтобы не завешивалось на цело, что бы можно было запустить кучу фоновых процессов но… Кстати в адаптеке приоритет фоновых дисковой операции, например восстановления или проверки, довольно высокий, и довольно стабильный по скорости, прикинув пройденные проценты можно предположить сколько ещё операция займет времени. В хренолоджи, пусть даже с довольно мощным процессором, фоновые дисковые операции проседают если запустить какое-нибудь пользовательское копирование с/на сервер… ну прямо как в моем стареньком Synology 209… хотя возможно это где-то настраивается.

22.08.2019
Хренолоджи

Занимаюсь последние дни XPEnology (системa от Synology установленная на левом железе) буду делиться впечатлениями по мере того как буду впечататься… собираю сервер не то чтобы из смолы и палок, но…
1. корзина на 5 дисков от procase которую я выкупил как-то за очень дешево и ждал когда-же соберу с ней сервер, оказалась не жизнеспособна, или гудит как настоящий сервер, или температура поднимается до 45-50-54С
2. добавление дисков в 5ятый рейд происходит со скоростью 3% в час… те-же диски на адаптековском контроллере в 5/6 рейд добавляются в течение 42 часов… однофигственно… и кстати непонятно что будет если игрушку перегрузить, продолжится процесс или все надо запускать по новой.
3. диск вынутый из одного Synology читается в другом, и это прекрасно не надо переписывать файлики по сети.. но файлики я переписал ;)
4. Мой старенький Synology 209 (файло/музыкальная помойка) такой миленький… вместе с роутером и двумя 7400 дисками потребляет всего 30 ватт, наверное он так и останется музыкальной помойкой…
5. Вообще у Synology 209, по современным меркам, очень грустно со скоростью… максимум 30-35МБ/с, если на нем ничего не запущено в параллель, если запускать какие-то процессы то скорость падает до 12-8-5МБ/с… торренты качает со скоростью 4-6МБ/с (при канале 100 мегабит) … и вот сейчас переписывая с Synology на XPEnology в первый раз увидел стабильную скорость 50-60МБ/с … то есть возможно надо было бы пошаманить с настройками сети у винды… но не шаман я, не шаман.

добавление про сборку райда на XPEnology/Synology:
3 Tb (с данными) + 2 x 3 Tb — должно получится 6 Tb raid SHR
raid SHR — это фича synology в простейшем виде подобно raid 5, но можно добавлять диски большей длинны чем те что были.
так вот тайминги:
первый прогресс про который писал 3%/час это «checking consistency» занял 17 часов
после хренолоджи запустил «проверку соответствия четности» — со скорость примерно 1,79% / 1 час (55 часов) … ну может ещё разгонится

и пока пересобирается этот массив ничего другого сделать с дисками нельзя, я хотел инициализировать другой диск, который не будет в этом массиве, так вот он висит в ожидании все эти 17 + часов.

добавление II проверка четности шла честно со скоростью ~1,79% / 1 час, через 24 часа было проверено ~44-45% а потом процесс как-то быстро закончился проработав 44 часа (опять вспоминается адаптековский контороллер) несмотря на то что у сервара дофига ресурсов в плане дисковых операций все сильно однозадачное (может быть это где-то можно разблокировать) перенос папок общего доступа на собранный диск возможен только поштучно, пока одна папка не копировалась другую не скопировать… и даже в очередь не поставить.

так, же мне хотелось проверить производительность полученного массива, но поскольку через сетевой 1гигабит реальной скорости не увидишь, думал воспользоваться внутренней системой тестирования а она только для отдешльных дисков… в принципе можно было бы поставить какую-нибудь програмку для работы с дисками из репрезтория но … перебьюсь, мне просто было интересно будет ли этот raid 5 3×3 быстрее или медлен ее того который получался на адаптеке.

27.07.2019