как я raid 5 строил

Здесь должна быть тематическая картинка для привлечения внимания…
дальнейший текст следует воспринимать как лабораторный журнал… или заметки о… поехали

У меня 3 x 3tb диска под данные, raid не использовал но делаю внутреннее «ручное зеркалирование» + внешние бекапы. Когда в прошлый раз полетел диск я ничего важного не потерял кроме нервов и времени :) ну вот этих 8тб (3 х 3 = 8 если кто не знает) мне стало не хватать, при том что свободного места около 1тб оно раскидано по разным дискам.

И вот я, как не замутненное существо, решил сделать raid 5 (4х3тб=8тб) на чипсетном контроллере. Аргументы за были: выше скорость записи и чтения, объединение свободного места… аргументы против… ну за последний год у троих моих знакомых слуичилось перестроение raid 5 и занимало это как правило неделю + вероятность того что все накроется совсем.

Забекапился, докупил ещё один диск и…

… первый раз
инициация массива заняла около 22х часов, сам виноват, первое что сделал после сборки массива отформатировал полученный диск и попытался на него писать, проверять его скорость и всячески изголялся. Понял что что-то не так где=то через час или два игрищ.

После инициализации массива у меня была иллюзия того что я вот так сразу и быстро перелью на него данные (картинки от 14 до 80мп, перемежающиеся мелкими xmp и jpg), возможно с 2х дисков в параллель, с максимальной скоростью…

по тестам CristalDiskMark (скриншет не сохранил) линейная запись 200-220 мб/сек линейное чтение 500-550 мб/сек … ну собственно то что и хотел получить

реальность оказалась прозаичнее ~25мб/сек в один поток и совсем плохо в несколько потоков. Диски из которых этот массив собран и диски с бекапами пишут/читают на скорость до 120 мб/сек… ну в реальных условиях скорее ~70-80 мб/сек … что за нафиг.

игры с выключением кеша дисков и системного делали только хуже, в смысле медленее.
копировал системой, far’ом и total commander. В последнем так-же игрался с настройками внутреннего кеша.

про температуру: в обычных условиях мои рабочие диски имеют теипературу ~35c они стоят в корзине с вентилятором… при работе с raid’ом что при инициализации что при попытках копирования, что в простое, хотя он и не был долгим, температ рура дисков была 41-45С

ещё неприятный момент не запускается монитор ресурсов, то есть запускается но ничего не показывает… может это какой-то глюк системы… да всеми этими экспериментами занимаюсь на чистой или почти чистой системе, дрова под железо + минимум софта.

… второй раз
разобрал массив нафиг, удалил драйвер raid поставил заново, пересоздал массив снова с большим размером страйпа (было 64 стало 128 кб) на этот раз систему не трогал и оно инициировалось за ~14 часов, точно не замерял. Возможно ускорение было вызвано тем что оставил включенным кеш обратной записи.


когда процесс закончился получил вот такую картинку ^^^


ну и чтобы дважды не вставать SSD и одиночный HDD


копирование с SSD


копирование с себя же


ну и копировнаие с обычного HDD … копирование на SSD делать не хочу потому что там и так все должно быть хорошо

относительно первого, не удачного раза отличий было три:
1. Не трогал диск во время инициализации (встряли это вялит на производительность в дальнейшем)
2. изменил размер страйпа с 64 на 126кб … все возможно, но система предлагала именно 64кб, и все рекомендации сводились к тому что рекомендации системы то святое.
3. переставил драйвера и в первом и во втором случае были дрова от ASUS’a но есть у меня подозрение что видна могла туда что-то твое вписать.

что было не так в первый раз я так и не понял… с одной стороны хорошо что все заработало, а то я у же думал делать raid 10… которого на этих дисках мне по объему было бы почти впритык (5.4гб). с другой стороны остался такой здоровенный осадок… когда проблемы raid 5 начинаются сразу с момента его создания… пока игрался в эти игры начитался ужасов в интернете, и теперь хочется нормальный raid контроллер.

копирую данные на массив
один поток 60-80мб/с
два потока с разных дисков 80-120 мб/с … которые постепенно падают до тех же 60-80мб/с
три потомка при таком раскладе бессмысленно

ну и пару раз система подвисает причем как-то ну очень сильно…

… после того как скопировано ~1.5 тб понимаю что так жить нельзя, скорость упала до 30 мб/с при копировании в 2 потока (с разных дисков) компьютер становится не отзывчивым… ну до полного залипания, один раз даже перегрузился ресетом.

… мой третий раз
понимаю что так жить нельзя, в смысле я не хочу жить с такой глючной и не быстрой системой хранения и звоню старшему товарищу, который предлагает Adaptek 5805, собираю все на этом адаптеке, переинициализирую диски… и… у меня система не грузится от слова совсем, после недолгой паники понимаю что контроллер залез в биос… или как его там в уэфи и все переписал и хочет чтобы что грузились с него, ещё убрал разгон шины (с разгоном надо разобраться), выключил возможность виртуализации… а виртуализайия то ему чем мешала?

Все венул, поставил дрова, система грузится, скорость… опять не с делал скриншет… Поставил переписываться 2 потока на больших файлах скорость деожится около 120 мб/с на маленьких проседает… часов за восемнадцать все переписал.

При всей вкусности этой картинки как я понимаю поспоследние 1-1.5тб будут более медленные (надо делать тесты), возможно их надо выделить в отдельный логический диск для всякого не очень важного… мне эта конструкция нужна помимо всего в качестве убыстрялки доступа к файлам… мои картинки в некие моменты работы над ними раздуваются до 700мб…1500мб потм слои схлопываются и картинка уменьшается но распухший проект тоже хочется быстро сохранять…


ну вот на картинке видно что по мере заполнения скорость работы с диском падает

… мне тут обьяснили что CristalDiskMark не самая оптимальная проверялка скоростей… но уж раз я с ней начал заморачиваться… если верить CristalDiskMark чипсетный raid 5 приблизительно в 2 раза медленнее на запись чем аппаратный что приятно.

+ быстьрый и работает
+ можно расширится например сделать raid 6 (выше надежность) ну или места добавить, а с местом и скорости
— не удобно смотреть SMART в основном температуру, обычными средствами она не видна, а адаптековская программка… ну не для людей
— надо бы к этому контроллеру батарейку
— при перезагрузке контроллер грузится где-то минуту… кто мне здесь предлагал систему на SSD ставить?

…утро после тяжелой ночи
Начинаю работать, лезу посмотреть в программку мониторинга и… 107С на чипсете… на улице жарко, около 30С..

при этом нет никакой внятной системы оповещения о пергревах… ну вроде можно настроить чтобы письмо присылало. Выключаю комп и иду колхозить вентилятор, с вентилятором температура 65-75С…

теоретически этот контроллер позволяет на ходу расширять массивы, мне условно интересно было бы добавить два диска увеличить объем, скорость и сделать отказоустойчевее raid 5ee или 6… в процессе чтения выясняется что у этого контроллера есть «10Tb problem» и добавляя следующие 3тб в нее упрусь.. иду читать о проблеме … о это прекрасно: проблема носит лингвистический а не железный характер «The problem occurs when using a language version of Windows, ie such as French or Russian» и кончается документ душеспасительным «This problem will be resolved in a future release of Adaptec Storage Manager» ну вот у меня как раз эта самая future версия… но блин я нигде не смог найти какие были внесены изменения… покат нет не дисков ни системы их крепления поживу с имеющимся… ну и перед расширением опять бекапится а это ещё ~12 часов + пара суток на перестроение +…

Немного подумал и сделал (отрезал) ещё один раздел (2тб) в конце диска — типа для медленных данных, постаивл эти самые медленные данные копироваться, скорость копирования с массива на массив стабильно держится 80мб/с при этом при копировании в 2 или три потока ничего не залипает и суммарная скорость остается такой-же.


а вот так выглядит падение скорости: диск W:\ тот диск который создал в тормозном конце массива.

Самый самый конец массива скорость просела почти на 1/4… если не на 1/3 (я не мерил пустой диск). Жадность говорит что надо делать ещё и быстрый раздел в начале диска и на нем работать с актуальным… и… уйдя от 3х дисков я возвращаюсь опять к трем дисками… правда скорость открытия/сохраниея фотошопом должна быть в разы быстрее чем с одиночного диска.

когда-то вроде встречал дефрагментатор который файлы к которым требуется быстрый доступ размещал в начале диска а те файлы к которым обращаются редко размещались в конце диска… ну как зовут программу не помню… да и не уверен что raid 5 нужно/можно дефрагментировать… но идея богатая.

… производительность
система i5 2500 3.3гГц (разогнанное до 4.1) 16гб DDR3.
Первое что я попробовал — сохранять картинку из фотошопа… комп был перегружен, фотошопу отданно 11гб памяти и свопится он на SSD, для сохранения выбрал 400мб .psd файл в слоях (то с чем работаю и то где ускорение было бы полезно) в результате получил 41″ на SSD, 42″ на raid и 44″ на одиночный диск — то есть основной вклад вносит сам фотошоп и куда сохранять однофигственно… я думал разница будет более существенная.

со скоростью все оказалось не так однозначно… диск стал менее «залипучим», хотя особого прироста скорости работы в фотошопе и лайтруме что-то не заметил… хотя например постороение 100% превьюх в лайтруме заняло одно и то-же время что с базой находящейся на SSD что с базой на raid 5, но на экспримент с одиночным диском у меня не хватило терпения… Пока же складывается впечатление что аппаратный raid5 из 4х дисков соизмерим по скорости в реальных задачах с SSD на который свопится система и фотошоп… к сожалению у меня нет для тестов/работы отдельного SSD под рабочие файлы. Так же мне очень интересно насколько улучшится работа любимых программ при добавлении 1-2 дисков, понятно что скорость массива возрастет… а вот будут ли быстрее сохранятся толстые файлы из фотошопа

Если будет время сделаю «всеобщее исследование всего» в плане влияния носителя на производительность программ с которым работаю, а пока мне надоело писать этот лабораторный журнал.

ps: уже где-то 10 дней все нормально работает.

Добавить комментарий