Обзор на Dell EMC PowerEdge R640
PowerEdge R640 — это масштабируемый стоечный одноюнитовый сервер, предназначенный для вычислений и хранения данных на его двухпроцессорной платформе. Производители утверждают, что в его случае был достигнут баланс между производительностью, стоимостью и плотностью расположения элементов, сервер R640 создан для обработки рабочих нагрузок при работе как части центра обработки данных, в частности, для организации программно-определяемого хранилища данных, работы на уровне приложений, создания частного облака для хранения данных, виртуализации и высокопроизводительных вычислений. Кроме того, Dell разработала PowerEdge R640 как легко развертываемый сервер, который с легкостью можно масштабировать от 3 до 1000+ узлов в процессе создания программно-определяемого хранилища с помощью узлов Dell EMC VxFlex Ready.
PowerEdge R640 включает в себя множество мощных компонентов, что дает большое количество возможностей для расширений. Например, сервер может быть оснащен двумя процессорами Intel Xeon Processor Scalable Family с 28 ядрами на процессор. В нем также есть 24 слота DIMM для реализации максимального объема ОЗУ в 3 ТБ и до 12 слотов NVDIMM для реализации максимального объема ОЗУ в 192 ГБ. В структуру также входят два резервных блока питания переменного (или постоянного) тока. R640 также поддерживает карты расширения PCI третьего поколения.
Стоечный сервер Dell может быть оснащен 2,5-дюймовыми или 3,5-дюймовыми жесткими дисками и твердотельными накопителями, он поддерживает до 8 NVMe в случае если вам нужна максимальная производительность хранилища. Это вдвое больше NVMe, чем у R630, что, безусловно, делает эту одноюнитовую платформу значительно более универсальной. Для R640 возможна конфигурация с 8 жесткими дисками по 2,5 дюйма или 4 жесткими дисками по 3,5 дюйма на передней панели или 10 жесткими дисками по 2,5 дюйма на передней панели с дополнительной поддержкой 2 жестких дисков по 2,5 дюйма на задней панели.
PowerEdge R640 поддерживает порты USB, порты сетевой карты, порты VGA, последовательный разъем и карту IDSDM/vFlash, которая поддерживает дополнительную карту флэш-памяти и один внутренний двойной модуль SD.
Для проведения тестов мы собрали конфигурацию R640 с двумя процессорами Intel Xeon Platinum 8180 и оперативной памятью 384 ГБ (32 ГБ x 12) 2666 МТ/с. Нужный объем хранения был достигнут с использованием 3,2 ТБ NVME (2 x 1,6 ТБ твердотельных накопителей PM1725a NVMe) и 2 ТБ SAS (5 x 400 ГБ твердотельных накопителей PM1635a SAS).
Технические характеристики Dell EMC PowerEdge R640
Форм-фактор |
1U |
Процессор |
До двух процессоров Intel Xeon Scalable, до 28 ядер на процессор |
Память |
24 слота DDR4 DIMM, поддержка RDIMM /LRDIMM, скорость до 2666 МТ/с, макс. 3 ТБ |
|
До 12 модулей NVDIMM, 192 ГБ Макс |
|
Поддерживает только зарегистрированные модули ECC DDR4 DIMM |
Контроллеры хранения |
|
Внутренние контроллеры |
PERC H330, H730p, H740p, программный RAID (SWRAID) |
Оптимизированная для загрузки подсистема хранения |
HWRAID 2 твердотельных накопителя M.2 120 ГБ, 240 ГБ |
Внешние адаптеры PERC (RAID) |
H840 |
12 Гбит/с SAS HBA (не -RAID) |
Внешний - SAS HBA 12 Гбит/с (не RAID), внутренний - HBA330 (не RAID) |
Отсеки для дисков |
|
Передние отсеки |
До 10 2,5-дюймовых SAS/SATA (жестких/твердотельных) и до 8 твердотельных накопителей NVMe макс. 58 ТБ или до 4 3,5-дюймовых жестких дисков SAS/SATA макс. 48 ТБ |
Задние отсеки для дисков |
До 2 2,5-дюймовых жестких дисков SAS/SATA (HDD/SSD), NVMe SSD макс. 12 ТБ |
Дополнительные I/O и порты |
DVD-ROM, DVD+RW |
|
|
Варианты сетевых карт |
4 x 1GE или 2 x 10GE + 2 x 1GE, или 4 x 10GE, или 2 x 25GE |
Передние порты |
Видео, 1 x USB 2.0, доступный USB 3.0, выделенный IDRAC Direct USB |
Задние порты |
Видео, последовательный, 2 x USB 3.0, выделенный сетевой порт iDRAC |
Видеокарта |
VGA, NVIDIA NVS310 доступна как карта PCIe До 3 слотов Gen3, все x16 |
Блоки питания |
Titanium 750 Вт, Platinum 495 |
|
Вт, 750 Вт, 1100 Вт и 1600 Вт 48 В пост. тока 1100 Вт, 380 В пост. тока 1100 Вт, 240 В пост. расходные материалы с опцией полного резервирования |
Поддерживаемые ОС |
Canonical |
|
Ubuntu LTS |
|
Citrix XenServer |
|
Microsoft Windows Server с Hyper-V |
|
Red Hat Enterprise Linux |
|
SUSE Linux Enterprise Server |
|
VMware ESXi |
Дизайн и сборка
Хотя стоечный сервер Dell PowerEdge R640 имеет очень компактную конструкцию, но при этом он крайне универсален, а также имеет возможность различных конфигураций и вариантов расширений. Как мы упоминали выше, конфигурации включают в себя систему из 8 дисков по 2,5 дюйма, 4 дисковых системы по 3,5 дюйма и 10 по 2,5 дюйма, все что необходимо для организации системы хранения.
Панель управления расположена слева спереди, на ней находятся индикатор работоспособности системы и идентификатор системы, индикатор состояния и индикатор iDRAC Quick Sync 2 (беспроводной). Светодиодный индикатор состояния отображает все неисправные аппаратные компоненты, а дополнительная беспроводная технология Quick Sync 2 указывает на то, что система поддерживает быструю синхронизацию (функция, которая позволяет администраторам управлять системой с помощью мобильных устройств).
Как и в случае со всеми стоечными серверами, большую часть пространства на передней панели занимают отсеки для дисков. В нашей конфигурации с 10 дисками это означает либо установка до десяти 2,5-дюймовых дисков с возможностью горячей замены (хотя у пользователей есть возможность использовать шесть 2,5-дюймовых дисков с возможностью горячей замены), либо до четырех устройств NVMe.
Управление
Как и другие серверы PowerEdge, сервер R640 предлагает широкий спектр возможностей управления.
Производительность
В этом разделе, посвященном производительности локальной системы, мы рассмотрим R640 с хорошей конфигурацией, который мы протестируем с двумя разными уровнями флэш-памяти. Первая — это флэш-память NVMe, предоставляемая на четырех твердотельных накопителях объемом 1,6 ТБ, а вторая — флэш-память SAS, которая предоставляется на четырех твердотельных накопителях объемом в 400 ГБ. Оба выпускаются под маркой Samsung, хотя конкретные детали могут различаться в зависимости от того, какие компоненты выбраны при сборке сервера. Благодаря выбору процессоров Intel Platinum 8180 мы смогли прогнать множество циклов, ведь они способны выдержать подобные рабочие нагрузки. Как уже говорилось в разделе «Введение», сервер был оснащен двумя процессорами Intel 8180 Platinum, а также 384 ГБ оперативной памяти. Для тестирования наших приложений мы используем ESXi 6.5.
Производительность SQL Server
Протокол тестирования Microsoft SQL Server OLTP компании StorageReview использует текущую версию теста Transaction Processing Performance Council Benchmark C (TPC-C), интерактивного эталонного теста обработки транзакций, который имитирует действия, встречающиеся в сложных средах приложений. Тест TPC-C подходит нам лучше, чем синтетические тесты производительности, особенно для оценки производительности и поиска слабых мест инфраструктуры хранения в средах баз данных.
Каждая виртуальная машина SQL-сервера состоит из двух виртуальных дисков: один на 100 ГБ для загрузки и один на 500 ГБ для базы данных и файлов журналов. С точки зрения системных ресурсов мы настроили каждую виртуальную машину с 16 виртуальными ЦП, 64 ГБ DRAM и использовали контроллер LSI Logic SAS SCSI. И поскольку ранее протестированные нами рабочие нагрузки Sysbench нагружали платформу как с точки зрения операций ввода-вывода, так и с точки зрения емкости, в тесте SQL мы рассмотрим производительность с задержкой.
В этом тесте используется SQL Server 2014, работающий на гостевых виртуальных машинах Windows Server 2012 R2. Хотя мы традиционно использовали этот тест для тестирования больших баз данных с 3000 элементами в локальном или общем хранилище, в этой итерации мы сосредоточимся на равномерном распределении четырех баз данных с масштабом 1500 элементов на наших серверах.
Конфигурация SQL-сервера для проведения тестов (на виртуальную машину)- Windows Server 2012 R2
- Хранилище: выделено 600 ГБ, использовано 500 ГБ
- SQL Server 2014
- масштаб 1500
- Нагрузка виртуального клиента: 15 000
- ОЗУ Буфер: 48 ГБ
- Продолжительность теста: 3 часа
- 2,5 часа предварительной подготовки
- 30-минутный период проведения
Для SQL-сервера мы рассматривали отдельные виртуальные машины, а также давали совокупные оценки. Результаты транзакций показали общую оценку 12 638,2 TPS с отдельными виртуальными машинами в диапазоне от 3 159,5 TPS до 3 159,6 TPS.
При средней задержке SQL Server R640 показал совокупную и индивидуальную задержку виртуальной машины в 4 мс.
Производительность Sysbench MySQL
Наш первый эталонный тест приложения для локального хранилища состоит из базы данных Percona MySQL OLTP, исследования проводились с помощью SysBench. Этот тест также измеряет среднее значение TPS (количество транзакций в секунду), среднюю задержку и среднюю задержку 99-го процентиля.
Каждая виртуальная машина Sysbench настроена с тремя виртуальными дисками: один для загрузки (~ 92 ГБ), один с предварительно созданной базой данных (~ 447 ГБ) и третий для тестируемой базы данных (270 ГБ). С точки зрения системных ресурсов мы настроили каждую виртуальную машину с 16 виртуальными ЦП, 60 ГБ DRAM и использовали контроллер LSI Logic SAS SCSI.
Конфигурация тестирования Sysbench (на виртуальную машину)- CentOS 6.3 64-разрядная
- Percona XtraDB 5.5.30-rel30.1
- Таблицы базы данных: 100
- Размер базы данных: 10 000 000
- потоков базы данных: 32
- Буфер ОЗУ: 24 ГБ
- Продолжительность теста: 3 часа
- 2 часа предварительной подготовки 32 потока
- 1 час на 32 потока
В нашем тесте Sysbench мы тестировали R640 с подключенным макетом, аналогичным приведенному выше. Что касается производительности транзакций, сервер показал среднее значение 13 046 TPS с отдельными виртуальными машинами в диапазоне от 3 231,4 TPS до 3 308 TPS.
Что касается средней задержки для Sysbench, R640 показал результат в 9,8 мс, а отдельные виртуальные машины — от 9,7 мс до 9,9 мс.
В нашем наихудшем измерении задержки в случае 99-го процентиля сервер показал впечатляющий совокупный показатель 19,9 мс, а с отдельными виртуальными машинами в диапазоне от 19,7 мс до 20 мс.
Анализ рабочей нагрузки VDBench
Имея новейший и лучший сервер, всегда хочется использовать новейшее и лучшее хранилище, чтобы получить максимальную отдачу от затраченных средств. Однако не все могут это сделать, и некоторые пользователи будут модернизировать свои серверы с помощью имеющегося у них хранилища или более дешевой флэш-памяти на основе SAS. Для наших целей мы установили хранилище NVMe и SAS для каждого теста. Мы не выбираем «какой из них лучше», потому что с точки зрения производительности победит NVMe. Но мы хотели понять «чего ожидать от данного хранилища», так что наши тесты следует рассматривать именно таким образом.
Последний раздел будет посвящен исследованию производительности синтетических рабочих нагрузок. В этой конфигурации мы использовали четыре твердотельных накопителя SAS и четыре твердотельных накопителя NVMe управляемых с помощью Ubuntu 16.04.4. Рабочая нагрузка была сконфигурирована таким образом, чтобы задействовать 25 % емкости каждого диска с акцентом на устойчивую производительность по сравнению со стабильной производительностью в случае наихудшего результата.
Когда дело доходит до бенчмаркинга массивов хранения, лучше всего тестировать их с помощью приложений, синтетическое тестирование стоит на втором месте. Хотя синтетические тесты и не являются идеальным воспроизведением реальных рабочих нагрузок, они помогают коэффициент повторяемости устройств, что упрощает сравнение конкурирующих решений по принципу «яблоки к яблокам». Использование подобных рабочих нагрузок предлагают нам ряд различных профилей тестирования, начиная от тестов «четыре угла», общих тестов на объем базы данных, а также захвата трассировки из различных сред VDI. Во всех этих тестах используется общий генератор рабочей нагрузки vdBench с подключенным обработчиком сценариев для автоматизации и сбора результатов в большом вычислительном кластере тестирования. Это позволяет нам повторять одни и те же рабочие нагрузки на широком диапазоне устройств хранения, включая флэш-массивы и отдельные устройства хранения.
Профили:
- 4K Произвольное чтение: 100% чтение, 128 потоков, 0-120% скорость чтения
- 4K Произвольная запись: 100% запись, 64 потока, 0-120% скорость чтения
- 64K Последовательное чтение: 100% чтение, 16 потоков, 0-120% скорость чтения
- Последовательная запись 64 КБ: 100 % запись, 8 потоков, 0-120 % iorate.
- Синтетическая база данных: клоны SQL и Oracle
- VDI и трассировки связанных клонов
Глядя на пиковую производительность чтения для дисков SAS, PowerEdge R640 смог поддерживать задержку менее миллисекунды почти до пика своей производительности. Сервер выдавал задержку 1 мс при скорости около 269 тыс. операций ввода-вывода в секунду и достиг примерно 271 тыс. операций ввода-вывода в секунду с задержкой около 1,1 мс.
При чтении NVMe на R640 мы наблюдали задержку менее миллисекунды при пиковой производительности 2 711 968 IOPS с задержкой 186 мкс.
Что касается максимальной производительности записи SAS, R640 поддерживал задержку менее миллисекунды, а для пиковой производительности 266 641 IOPS задержка составила 807 мкс.
Производительность записи 4K с дисками NVMe достигла пикового значения 1 265 764 IOPS с задержкой всего 191 мкс.
Когда мы переключаемся на последовательные тесты (64 КБ), мы видим тот же тип производительности, что и у PowerEdge R7415. Задержка начинается с высокой (в данном случае 19,8 мс) и уменьшается по мере выполнения задач. R640 с дисками SAS показал 25 606 операций ввода-вывода в секунду или 1,61 ГБ/с с задержкой 2,49 мс.
Для последовательного чтения NVMe 64K R640 начал с очень низкой задержки и достиг пика при 193 493 IOPS или 12,1 ГБ/с при задержке 329 мкс.
При последовательной записи 64 КБ R640 с SAS начал с высокой задержки (8,9 мс), а затем закончил с 27 394 IOPS или 1,71 ГБ/с с задержкой 1,16 мс.
И здесь сервер на основе NVMe начал с низких показателей и достиг примерно 89 000 операций ввода-вывода в секунду или 5,6 ГБ/с с задержкой около 315 мкс.
Переключившись на рабочую нагрузку SQL, диски SAS в целом показали лучшие результаты с задержкой менее миллисекунды, достигнув пикового значения 275 406 IOPS с задержкой 418 мкс.
Для рабочей нагрузки SQL на версии сервера NVMe мы увидели пиковую производительность 930 251 IOPS с задержкой всего 135 мкс.
Для SQL 90-10 с SAS R640 показал пиковую производительность 268 036 IOPS с задержкой 448 мкс.
В NVMe-версии SQL 90-10 сервер демонстрировал пиковую производительность 774 044 операций ввода-вывода в секунду с задержкой 163 мкс.
SAS в SQL 80-20 показал пиковое значение 254 044 IOPS с задержкой 491 мкс.
Для SQL 80-20 с NVMe R640 смог достичь максимальной производительности в 652 259 IOPS с задержкой 193 мкс.
Что касается рабочих нагрузок Oracle, R640 с SAS-нагрузкой достиг пикового значения 239 794 IOPS с задержкой 533 мкс.
Для NVMe Oracle сервер достиг максимальной производительности 570 158 IOPS с задержкой 230 мкс.
Для SAS Oracle 90-10 сервер достиг максимальной производительности 263 745 IOPS и задержки 327 мкс.
Oracle 90-10 с NVMe достиг пикового значения 615 818 операций ввода-вывода в секунду с задержкой всего 141 мкс.
Oracle 80-20 с дисками SAS в R640 дал нам пиковую производительность 239 107 IOPS с задержкой 361 мкс.
Для Oracle 80-20 с дисками NVMe сервер достиг максимальной производительности в 532 046 IOPS с задержкой 163 мкс.
Затем мы переключились на наш тест с полным и связанным клоном VDI. Для полной клонированной загрузки VDI с SAS PowerEdge R640 достиг пикового значения 221 147 операций ввода-вывода в секунду с задержкой 575 мкс, а затем эти показатели снизились.
Для NVMe R640 при загрузке полного клона VDI, сервер достиг максимальной производительности 626 040 IOPS с задержкой 205 мкс.
Для SAS при подключении полного клона VDI Initial Login сервер показал задержку меньше миллисекунды примерно до 105 тыс. операций ввода-вывода в секунду и достиг пикового значения при 107 280 операций ввода-вывода в секунду с задержкой 1,11 мс.
При первоначальном запуске полного клона VDI с NVMe пиковый показатель сервера составил 246 628 операций ввода-вывода в секунду и задержку в 476 мкс.
Для полного клона VDI при обычном повседневном подключении R640 достиг пикового значения в 79 495 IOPS с задержкой 797 мкс.
С дисками NVMe сервер смог достичь максимальной производительности в 161 771 IOPS и задержку 386 мкс.
После перехода к VDI Linked Clone, R650 с SAS-нагрузкой показал пиковую производительность при загрузке в 125 587 IOPS с задержкой 506 мкс.
В тесте NVMe для связанного клона VDI Boot сервер достиг пикового значения в 346 693 IOPS и задержки 182 мкс.
При подключении к связанному клону VDI SAS мы увидели, что сервер достигает максимальной производительности 47 656 IOPS с задержкой 662 мкс.
При начальном входе в систему связанного клона NVMe R640 достиг пикового значения 87 384 IOPS с задержкой 359 мкс.
Для обычного повседневного подключения связанного клона VDI PowerEdge R640 на базе SAS показывал задержку меньше миллисекунды до примерно 59 000 операций ввода-вывода в секунду и достиг пикового значения 60 708 операций ввода-вывода в секунду с задержкой 1,04 мс.
И, наконец, NVMe-версия связанного клона для повседневного входа показала максимальную производительность сервера 120 850 IOPS с задержкой 521 мкс.
Заключение
PowerEdge был выпущен как один из первых серверов 14-го поколения, Dell EMC PowerEdge R640 представляет собой двухпроцессорный одноюнитовый сервер, он это мощный сервер небольшого размера, который вы можете купить по приемлемой цене. Сервер может быть оснащен двумя процессорами Intel Xeon Scalable (до 28 ядер на процессор) и имеет 24 слота DIMM, которые можно заполнить до 3 ТБ ОЗУ, или 12 слотов, при заполнении модулями NVDIMM. Для организации хранилища пользователи могут оборудовать R640 либо восемью отсеками на 2,5 дюйма, либо четырьмя отсеками на 3,5 дюйма на передней панели (его также можно настроить на 12 отсеков для слотов на 2,5 дюйма: 10 спереди и 2 сзади). Как и все серверы PowerEdge, R640 поставляется с несколькими вариантами управления и инструментами для его организации, включая iDRAC и OpenManage. Сервер может работать с несколькими различными сценариями использования. Мы можем получать информацию о SDS, поставщиках услуг, о работе приложений или частного облачного хранилища, о виртуализации и проводимых высокопроизводительных вычислениях.
В наших тестах мы проверяли производительность PowerEdge R640 с использованием VMware, чтобы увидеть производительность отдельных ВМ, а также их производительность в совокупности. В нашем транзакционном тесте для SQL-сервера мы увидели совокупную оценку 12 638,2 TPS и совокупную задержку всей системы в 4 мс. Для Sysbench мы увидели совокупную транзакционную производительность в 13 046 TPS и среднюю задержку 9,8 мс, а для наихудшего сценария мы увидели совокупную задержку всего 19,9 мс.
При подключаемых рабочих нагрузках VDBench мы использовали хранилище SAS и NVMe. Как указано выше, у нас не было цели выяснить, какой из них «лучше», поскольку очевидно, что NVMe будет иметь более высокую производительность. Однако мы демонстрируем для потенциальных пользователей, что они могут ожидать от различных типов носителей. Вместо того, чтобы рассматривать каждый результат представленный выше, мы просто рассмотрим некоторые основные моменты для каждого типа дисков. Что касается дисков SAS, мы увидели, что R640 достиг случайных пиковых показателей производительности в 271 тыс. операций ввода-вывода в секунду при чтении и около 267 тыс. операций ввода-вывода в секунду при записи, а пиковые последовательные скорости отображения составили 1,61 ГБ/с при чтении и 1,171 ГБ/с при записи. В остальных наших тестах сервер R640 на базе SAS смог поддерживать производительность с задержкой менее миллисекунды, за исключением начального входа в систему с полным клоном VDI и обычны повседневный вход со связанным клоном VDI, где в обоих случаях время сервера составляло чуть более 1 мс. Диски NVMe показали показатели до 2,7 млн операций ввода-вывода в секунду при произвольном чтении и 1,26 млн операций ввода-вывода в секунду при произвольной записи, при этом последовательные числа достигают 12,1 ГБ/с при чтении и 5,6 ГБ/с при записи. Диски NVMe также смогли достичь почти 1 миллиона IOPS в нашей рабочей нагрузке SQL и полмиллиона IOPS в нашей рабочей нагрузке Oracle. Версия NVMe R640 имела задержку менее миллисекунды.
Как и его предшественники, семейство одноюнитовых PowerEdge может предложить многое, включая множество опций и невероятные возможности настройки шасси. На этот раз R640 предлагает так много вариантов конфигурации, что сразу ясно почему он является краеугольным камнем в стратегии Dell EMC по выходу на рынок SDS, где вычислительные ресурсы важнее встроенного объема памяти. R640 отлично подходит для основных вариантов использования HCI, таких как vSAN/VxRail и серии XC (Nutanix), а также для более крупных масштабируемых решений HCI/CI, таких как VxRack SDDC. Конечно, R640 может хорошо работать и в других классических средах за пределами традиционных центров обработки данных, таких как Dell EMC, которые могут полагаться на такие программные инструменты, как OpenStack и Redfish. В любом случае, R640 является отличным дополнением к семейству PowerEdge и, несомненно, найдет свою нишу применения.