Твоим порокам нынче жить!

навигация по блогу (поиск, теги, категории, календарь)

Архив:



Метка: raid 5

  • Хренолоджи

    Занимаюсь последние дни XPEnology (системa от Synology установленная на левом железе) буду делиться впечатлениями по мере того как буду впечататься… собираю сервер не то чтобы из смолы и палок, но…
    1. корзина на 5 дисков от procase которую я выкупил как-то за очень дешево и ждал когда-же соберу с ней сервер, оказалась не жизнеспособна, или гудит как настоящий сервер, или температура поднимается до 45-50-54С
    2. добавление дисков в 5ятый рейд происходит со скоростью 3% в час… те-же диски на адаптековском контроллере в 5/6 рейд добавляются в течение 42 часов… однофигственно… и кстати непонятно что будет если игрушку перегрузить, продолжится процесс или все надо запускать по новой.
    3. диск вынутый из одного Synology читается в другом, и это прекрасно не надо переписывать файлики по сети.. но файлики я переписал ;)
    4. Мой старенький Synology 209 (файло/музыкальная помойка) такой миленький… вместе с роутером и двумя 7400 дисками потребляет всего 30 ватт, наверное он так и останется музыкальной помойкой…
    5. Вообще у Synology 209, по современным меркам, очень грустно со скоростью… максимум 30-35МБ/с, если на нем ничего не запущено в параллель, если запускать какие-то процессы то скорость падает до 12-8-5МБ/с… торренты качает со скоростью 4-6МБ/с (при канале 100 мегабит) … и вот сейчас переписывая с Synology на XPEnology в первый раз увидел стабильную скорость 50-60МБ/с … то есть возможно надо было бы пошаманить с настройками сети у винды… но не шаман я, не шаман.

    добавление про сборку райда на XPEnology/Synology:
    3 Tb (с данными) + 2 x 3 Tb — должно получится 6 Tb raid SHR
    raid SHR — это фича synology в простейшем виде подобно raid 5, но можно добавлять диски большей длинны чем те что были.
    так вот тайминги:
    первый прогресс про который писал 3%/час это «checking consistency» занял 17 часов
    после хренолоджи запустил «проверку соответствия четности» — со скорость примерно 1,79% / 1 час (55 часов) … ну может ещё разгонится

    и пока пересобирается этот массив ничего другого сделать с дисками нельзя, я хотел инициализировать другой диск, который не будет в этом массиве, так вот он висит в ожидании все эти 17 + часов.

    добавление II проверка четности шла честно со скоростью ~1,79% / 1 час, через 24 часа было проверено ~44-45% а потом процесс как-то быстро закончился проработав 44 часа (опять вспоминается адаптековский контороллер) несмотря на то что у сервара дофига ресурсов в плане дисковых операций все сильно однозадачное (может быть это где-то можно разблокировать) перенос папок общего доступа на собранный диск возможен только поштучно, пока одна папка не копировалась другую не скопировать… и даже в очередь не поставить.

    так, же мне хотелось проверить производительность полученного массива, но поскольку через сетевой 1гигабит реальной скорости не увидишь, думал воспользоваться внутренней системой тестирования а она только для отдешльных дисков… в принципе можно было бы поставить какую-нибудь програмку для работы с дисками из репрезтория но … перебьюсь, мне просто было интересно будет ли этот raid 5 3×3 быстрее или медлен ее того который получался на адаптеке.

  • как я raid 5/6 строил

    Заметки о измерении производительности raid5 который собрал

    Долго писал развернутый тест о том как прекрасен аппаратный raid 5 (4×3 tb на adaptec 5805) да как-то и бросил, то что у меня получилось не обладало какой-то сверх скоростью, хотя и не залипало на многопоточных операциях. По факту скорость в файловых операциях была до 90-110 мб/с, а чередую большие и маленькие файлы (raw + xmp) проседала до 60-80… — как на одиночном диске, наверное это определяется контролером. Но как выяснялось в процессе третирования скорость не является тонким местом для photoshop и lightroom (в моих задачах), то есть работа на SSD не давала какого-то особого прироста производительности. Реально lightroom начилал (или не начинал в зависимости от диска) упирался в диск при генерации ~96 мегапиксельных 16 битных tiff’ов создавая поток 111.7 Mb/c (для тестирования брал реальную съемку разобранную и обработанную)… пока у меня нет задачи генерировать их на потоке проблем с производительности нет… фотошоп же при сохранении огромных файлов так-же не загружал диск (судя по ресурс монитору) вероятнее всего упираясь в память, шину, архитектуру… по крайней мере не моем железе (intel i5 (2500) 3.3гГц разогнанный до ~4)

    На момент покупки, в мои планы входило через полгода/год перевести raid 5 в raid 6 (два диска четности вместо одного) контроллер позволяет это делать. Но через 5 месяцев эксплуатации массива один из дисков начал отваливаться, и я решил его заменить, мигрировать на raid 6 и добавить ещё одни диск, потому что за это время я пару раз подходил к 10% свободного места и занимался «творческой утруской и присушкой»

    В одну операцию мигрировать на raid 6 и добавить диск не получается, но миграция на raid 6 вполе нормально идет в фоновом режиме приблизительно поторасуток. Я так и не удосужился проверить производительность raid 6 5×3тб и сразу запустил расширение массива. В расширением массива есть одна «лингвистическая» проблема не позволяющая с помощью Adaptec Storage Manager увеличивать размер массива больше 10тб, я превел windows на американский английский и расширение массива запустилось в фоновом режиме, позволяя работать с диском на скорости приблизительно 10-12 мб/с.

    через ~10 часов процесс показывал 36% и…
    я выключил машину приученный к тому что все процессы идут как-то сами по себе с защитой от дурака… компьютер не захотел грузится дальше биоса если был подкоючен raid контроллер (или диски к контроллеру), но если открыть bios adaptec’a процесс расширения продолжал идти … в течении 32 часов, Ели миграция начиналась с 4%/час, то под конец скорость упала до 1%/час… Все бы ничего но надо мной висела не разобранная и необработанная съемка :)

    Собирая райд на адаптеке я надеялся что буду его расширять по мере надобности но 42 часа на добавление диска выглядит несколько пугающе, и непонятно следующий диск будет добавятся быстрее или медленее.

    изначально у меня диск был разбит на разделы:
    [0,5тб быстрая часть][основная часть][2тб архив, медленная часть] = 2.7×3=8.1 гб
    после добавления диска пространство появилось в конце массива
    [0,5тб быстрая часть][…][2тб архив, медленная часть][2.7Гб пусто] = 2.7×4 = 10.8 гб
    это логично, но не совсем очевидно покрайней мере вот так с ходу.
    Acronis’ом с «флешки доктора» распорядился пустым пространством
    [0,5тб быстрая часть][основная часть][2.7Гб архив, медленная часть] поскольку основную массу данных не трогал операция заняла только 2 часа… если бы хотел увеличить быструю часть то опять выпал бы на долго.


    это «на тестировал» на первом быстром разделе raid 5 4×3тб, сразу после создания


    А вот что получилось там-же но на raid 6 6×3тб, циферки конечно красивые… В реальных файловых операциях быстрее чем то что было, но не драматично быстрее, если смотреть по системному монитору копирование с массива на массив около 200МБ/с то есть не скорость копирования, а сумма чтени+запись. Тестировал в один поток потому что в 90% случаев у меня один поток и будет… ну и потому что лень ;)


    скорость медленной части дска

    да… я знаю что программка не самая лучшая для тестирования, но у меня и не тест… а так феноменология

  • как я raid 5 строил

    Здесь должна быть тематическая картинка для привлечения внимания…
    дальнейший текст следует воспринимать как лабораторный журнал… или заметки о… поехали

    У меня 3 x 3tb диска под данные, raid не использовал но делаю внутреннее «ручное зеркалирование» + внешние бекапы. Когда в прошлый раз полетел диск я ничего важного не потерял кроме нервов и времени :) ну вот этих 8тб (3 х 3 = 8 если кто не знает) мне стало не хватать, при том что свободного места около 1тб оно раскидано по разным дискам.

    И вот я, как не замутненное существо, решил сделать raid 5 (4х3тб=8тб) на чипсетном контроллере. Аргументы за были: выше скорость записи и чтения, объединение свободного места… аргументы против… ну за последний год у троих моих знакомых слуичилось перестроение raid 5 и занимало это как правило неделю + вероятность того что все накроется совсем.

    Забекапился, докупил ещё один диск и… (далее…)

Твоим порокам нынче жить!