Mikrotik RB1100AHx2 - стоимость на текущий момент примерно: 24000 рублей.
Данное устройство при полном наборе настроек, можно использовать приблизительно до 250 мегабит при смешанном размере пакетов. Дорого и не очень практично.

 

Mikrotik Cloud Core Router CCR1009-8G-1S-1S+ - стоимость на текущий момент примерно: 28000 рублей.
Данное устройство при полном наборе настроек, можно использовать примерно до 600 мегабит при смешанном размере пакетов. Это самая младшая модель данной линейки, разница в цене с RB1100AHx2 - четыре тысячи рублей, зато разница в производительности более чем в два раза.

Mikrotik Cloud Core Router CCR1036-12G-4S-EM+ - стоимость на текущий момент примерно: 87000 рублей.
Данное устройство при полном наборе настроек, можно использовать примерно до 5 гигабит при смешанном размере пакетов. Это самая навороченная модель данной линейки, так же есть промежуточные модели с 16 ядрами и 36 ядрами, но с более скромным количеством памяти.

 

 

VmWare VSphere
Это не только гипервизор, это целый комплекс продуктов для реализации технологии виртуализации, управления, резервного копирования и пр.

 

 

 

Гипервизор ESXI (VmVisor)
Простыми словами гипервизор это независимая операционная система, которая устанавливается на голое железо. Данная система организует разделение ресурсов реального железа. Поверх данной системы разворачиваются виртуальные машины, которые делят между собой данные ресурсы.

В качестве виртуальных машин на данном сервере можно развернуть одновременно RouterOS в качестве маршрутизатора, биллинг, NetFlow коллектор для сбора детализации, витуальную машину для снятия резервных копий, сервер мониторинга и прочие необходимые сервисы.

RouterOS X86 или CHR
До недавнего времени у всех в качестве виртуальной машины (маршрутизатора) использовался образ Mikrotik Router OS x86, который имеет привязку лицензии к жесткому диску и имеет те же уровни лицензирования, что и другие платформы (L3, L4, L5, L6).

Сейчас же доступна еще одна платформа, специально заточенная под развертывание в виртуальной среде: Cloud Hosted Router (CHR) и имеет несколько различий при сравнении с обычной x86. Первое это наличие в платформе драйверов для виртуальных контроллеров жестких дисков и сетевых карт.

Обычная x86 умеет работать только с виртуальным IDE контроллером жесткого диска, что не так страшно сказывается на производительности как на невозможности включения технологии VmWare FT (FaultTolerance) если виртуальная машина работает на хостах в составе кластера. Для FT требуется использование виртуального SCSI контроллера жесткого диска.
Так же в обычной x86 нет поддержки виртуального адаптера VMXNET3 что негативно сказывается на производительности виртуальной машины, т.к. при использовании контроллера E1000 нагрузка на процессор значительно выше чем при использовании VMXNET3.

Кроме всего этого сменился тип лицензирования, теперь лицензия привязана к аккаунту на сайте разработчика и изменены уровни лицензии. Теперь все ограничения связаны со скоростью на интерфейс. Для бесплатной лицензии такое ограничение выставлено в 1 мегабит на интерфейс, платные лицензии имеют лимиты в 1 гигабит, 10 гигабит и безлимит.

Так же не очень хорошая новость для тех, у кого на одной системе работают несколько экземпляров виртуальной машины, лицензия привязана не только к личному кабинету но и к UID виртуальной машины, исходя из этого, можно сделать вывод, что для каждого экземпляра потребуется отдельная лицензия.

Да, UID можно скопировать в конфигурационный файл другого экземпляра, но это сразу повлечет за собой определенные последствия: гипервизор будет автоматически назначать одинаковые MAC адреса виртуальным сетевым контроллерам, но и это можно обойти, назначая мак-адреса руками или меняя их в самой ROS, но какие последствия это принесет владельцу кластера, с включенными HA (HighAvability) и FT (FaultTolerance) пока не известно. Одно лишь можно сказать: на всех ресурсах по данному вопросу, специалистами VmWare сказано, что UID в пределах одной виртуальной системы должен быть уникальным.

Почему так получилось? Почему нельзя было просто добавить драйвера виртуальных контроллеров в текущую платформу x86? Ответ прост! Бабло не всегда побеждает зло!
Видимо разработчиков ROS в очередной раз задушила жаба, что почти все пользователи гипервизоров покупают только одну лицензию, но используют неограниченное число экземпляров или вообще не покупают, а просто скачивают пиратский образ и пользуются как хотят бесплатно. И еще ко всему требуют поддержки виртуализации.

Но помимо экземпляров есть еще один интересный факт, как разработчики сначала обещали поддержку виртуализации, люди покупали лицензии с надеждой, что вот-вот она появится, но их кинули, через всем известный орган. Хотите виртуализацию? Купите еще вот это, а старую лицензию можете выбросить. Я сам разработчик и понимаю, что не всегда новый функционал можно вписать в текущую линейку или платформу, но в данном случае явно, что появление новой платформы это способ быстро срубить бабла и вторично побороть пиратство.

Если честно, я не поклонник открытого исходника и бесплатных продуктов. Как по мне, за бесплатно и только на альтруистических позывах, очень сложно создать хороший и качественный продукт. Тем не менее, чужое авторство нужно уважать, GPL никто не отменял. Хотите продавать свой продукт-напишите свое ядро, загрузчик и т.д. или купите его.

Ну, да и хватит на отвлеченные темы, если вы планируете развивать свою систему до кластера и чтобы на нем работал FT и VMXNET3, на CHR придется все-таки раскошелится. Если нет - подумайте, стоит ли покупка L5, когда лицензия на CHR дешевле.

 

Корпус
Предположим, решили мы собрать небольшой сервер из десктопного барахла. В какой корпус ставить комплектующие?

Корпус выбирайте исходя из следующих параметров:
1. Количество и размер мест под вентиляторы охлаждения корпуса. Чем больше - тем лучше. Хорошо когда есть возможность поставить вентилятор на нагнетание свежего воздуха снаружи через корзину с жесткими дисками. Возьмите за правило - подача воздуха осуществляется спереди, сбоку, снизу. Выход воздуха из корпуса - сзади, сверху и через блок питания.
2. Блок питания должен располагаться на задней стенке, желательно горизонтально и выше материнской платы, вентилятор должен брать воздух из корпуса и выбрасывать его наружу.
3. Толщина стали корпуса - чем толще, тем лучше.
4. Размер корпуса - полноразмерный, желательно серверный (tower). Не стоит толкать комплектующие в midi и mini ATX корпуса - им там будет душно.

Блок питания
Тут как бы особых рекомендаций нет, мощность блока берите с запасом и обязательно хорошего производителя. Плохой блок, неизвестного производителя с большой вероятностью вздует конденсаторы на материнской плате или заберет ее вместе с HDD на тот свет.

 

 

 

Процессор
Вот тут пойдут рекомендации исходя из всего вышеописанного. Для работы гипервизора требуется поддержка процессором аппаратной виртуализации Intel VT-x или AMD-V и это очень важно, без данной поддержки на гипервизоре в качестве гостевой ОС смогут работать только x32 битные системы, что в наше время является недопустимым.
Следовательно, поддержка VT-x на Intel платформах появилась на 775 сокете и только на поздних моделях процессоров, на AMD на сокете AM3.
Так сложилось, что с интелом мне больше нравится работать, хотя и в AMD есть свои прелести. Но в интеле мне нравится еще одна фишка, а именно 775 сокет с его линейками C2D и C2Q. Как раз после этих линеек пошли i3, i5, i7 которые сейчас являются актуальными на рынке.
Хоть линейки на 775 сокете морально устарели, цены на данные бу процессоры из топовых моделей достаточно высоки.

Но не все знают, что в 775 сокет материнской платы можно установить процессор с 771 сокетом, а он значительно дешевле топовых процессоров 775 сокета.

В китае данное дело поставлено на поток, для того чтобы установить процессор intel xeon x5470 в материнскую плату с 775 сокетом требуется поменять местами два контакта на процессоре и сделать два пропила с краев. Можно не делать пропилы - тогда потребуется отломить ограничители в самом сокете на материнской плате. Для смены контактов продаются специальные наклейки (адаптеры) которые наклееваются на контактрую площадку процессора меняя местами нужные контакты.

В китае продаются как адаптеры, так и уже готовые процессоры с пропилами и наклеенным адаптером, на сегодня intel xeon x5470 3.33 ГГц / 12 м / 1333, а это аналог процессора Q9750 можно легко заказать с нужным степпингом из китая с доставкой за 3700 руб.
Для справки, Q9750 крайне дорогой процессор, если вы его и найдете - а это редкость, цена на него будет от 6000руб и выше.

Кроме прорезей и адаптера так же придется прошить микрокод данного процессора в БИОС материнской платы, это чуть сложнее, чем обычное обновление, но не представляет особых проблем.

Процессор Xeon X5470 с пропилами	Приклеенный адаптер для смены контактов

Материнская плата
При покупке бу материнской платы, внимательно осмотрите все электролитические конденсаторы на предмет "вспухания". Мосфеты и мосты не должны иметь темных и желтых пятен с тыльной стороны материнской платы, если был перегрев или КЗ по портам USB как с печальными (S478) чаще всего такие пятна есть. На мосфеты еще можно закрыть глаза (там три контакта) а вот внезапный отвал моста вас вряд ли обрадует. Так же стоит осмотреть плату на предмет царапин на тыльной стороне и под слотами - иногда из за небрежной установки или снятия дорожки могут быть повреждены. Ну и конечно же тестирование.

Из чего стоит выбирать, вопрос спорный, но я считаю, что лучше, чем Asus и Gigabyte для простеньких десктопов никто ничего не сделал.
Второй критерий выбора это тип поддерживаемой памяти DDR2 или DDR3 и количество разъемов под нее, конечно лучше DDR3 т.к. эта память шустрее и значительно дешевле, количество разъемов от 4х, памяти нужно будет минимум 8гб, а мелкие планки стоят дешевле.
Третий критерий выбора это наличие и количество слотов расширения на материнской плате. Они нам будут нужны для сетевых контроллеров. Крайне желательно иметь 4 и более PCI-E разъемов. PCI тоже хорошо, но следует помнить о пропускной способности шины PCI и о том факте, что она делится между всеми PCI устройствами на материнской плате.
Четвертый критерий наличие интегрированного видео контроллера или возможность запуска без него. Все просто - хочется сэкономить разъем на матплате.

Память
Внимательный осмотр экономит время на тестирование. Если с внешним видом все в порядке - ставим память на Memtest на сутки.
Какую выбрать? Да любую, какую найдете, чем выше частоты и меньше тайминги - тем лучше. Радиаторы будут плюсом. Планки покупаются парами.

 

 

Куллер
На процессор выбираете исходя из типичного тепловыделения вашего процессора с запасом, хорошо подходят своего рода "башни" на которых можно будет поменять вентилятор в случае поломки.

 

 

 

 

 

Жесткий диск
С выбором жестких дисков все несколько сложнее, особенно если с деньгами туго, и вы намерены приобрести жесткий диск, бывший в употреблении.

Старайтесь не приобретать бу диски в мастерских по ремонту HDD и восстановлению информации, если гарантия на диск менее года. Показатель работы диска в большинстве случаев это SMART данного накопителя, с помощью специальных программно аппаратных комплексов вполне реально изменить или сбросить показания SMART. Уважающие себя специалисты никогда не продают неисправные диски со сброшенным или корректированным SMART под видом исправных. Есть случаи нормальной работы диска более пяти лет после ремонта. Многое зависит от того что именно было с диском, проблемы с электроникой и иногда служебной зоной накопителя вполне решаемы и большинстве случаев не отражаются на дальнейшей работе. Неисправная головка накопителя может быть отключена и объем накопителя и модель изменены (будет разница между наклейкой и реальными параметрами). Так же бывает, когда диск покрывается сбойными секторами, их вносят в заводской дефект лист, сбрасывают SMART и тут возможны два развития событий. В первом случае дальнейшего разрушения поверхности не происходит, и диск работает нормально много лет. Во втором случае SMART начинает показывать растущие проблемы с поверхностью диска и, в конце концов, диск погибает.

Если вы покупаете диск у частного лица по объявлению, просите 3 дня на тесты, если вам что-то не понравится - вернете диск и заберете деньги. Если продавец замешкался - лучше откажитесь.
Для проверки диска нормально подойдет программа Victoria под Windows, подключаем диск и внимательно смотрим SMART, часы наработки, количество включений не должны быть мизерными (признак сброса SMART) либо накопитель новый. Переназначенных секторов и кандидатов на переназначение быть не должно. Крайне желательно чтобы параметр G-Shock Sensor был нулевым (удары при работе, ноутбучные диски часто жалуются на побои именно эти параметром). Если со SMART все в порядке делаете всему диску "erase" т.е. запись по всей поляне, по окончании смотрите количество секторов с задержкой более 500мс. если их несколько или нет вообще это хорошо, если более десятка это уже не очень. График скорости при этом должен быть относительно ровным с плавным снижением скорости от начала к концу диска. После стирания следует провести проверку чтением, после чтения верификацией. График и количество медленных блоков не должно быть существенно больше.

Кроме этого полезно иметь несколько Torx отверток различных размеров и обычный канцелярский ластик. Суть заключается в следующем: гермоблок жесткого диска, в котором установлен набор пластин, двигатель, блок магнитных головок, предусилитель/коммутатор и пр. соединен с платой электроники средствами прижима контактов платы к подпружиненным контактам на гермоблоке. Со временем контакты на плате окисляются, и теряется связь с гермоблоком. Симптомом этого иногда является резкое возникновение большого количества нечитаемых секторов и разрушения пользовательских данных. Для профилактики престарелых дисков рекомендую открутить плату электроники и аккуратно почистить контакты на плате ластиком. Некоторые производители покрывают данные контакты оловом для предотвращения окисления, в некоторых случаях это даже хуже чем без лужения (были серии старых жестких дисков, которые теряли контакт именно из-за лужения).

Какой диск выбрать?
Из опыта скажу, что ломаются абсолютно все диски, любых производителей, одни чаще, другие реже.
Мне нравятся диски Western Digital.
Что касается интерфейса то тут только SATA.
Какие из них я бы выбрал? Для начала я бы ставил не один диск, а несколько. Первый очень дешевый и минимального объема (80гб) под установку самого гипервизора. Это разделение будет полезно в будущем при создании кластера и общего хранилища. В связи с тем, что общее хранилище не может выступать в качестве загрузочного устройства, требуется данное разделение.
Жесткий под гипервизор есть, теперь нужен жесткий под хранилище виртуальных машин и жесткий под резервные копии.
Исходя из расчета цена/объем самые доступные для нас это диски в 1тб. Я бы выбирал диски из серии WD Black, WD Enterprise Edition, WD Enterprise Storage, WD RE.
Да, это шумные диски, но зато более шустрые, чем 5400rpm.

SSD
Лучше брать новые, производства Intel т.к. остальные дохнут просто пачками.

 

 

 

 

Шлейф
Я не просто так затронул эту маленькую, но очень важную деталь. Всегда используйте только новые SATA шлейфы и желательно с фиксирующей защелкой. Проблема в том, что большинство шлейфов изготовлены из дешевого сырья, со временем пластмасса устает (трескается и теряет форму) вследствие чего возникает плохой контакт, от этого диск может "выпасть" из системы или просто начать тормозить.

 

 

 

Видеокарта
На сервере она просто не нужна, если есть интегрированная карта или материнская плата стартует без нее - то это очень хорошо. Если нет - можно попробовать найти старую PCI видеокарту, но не факт что материнская плата с ней заведется. Если и этот вариант не прокатил, ставьте самую простую PCI-E карту с пассивным охлаждением.

 

 

Вентиляторы в корпус
Многое зависит от того где и в чем будет стоять сервер. Я думаю, что вы пересмотрите этот вариант несколько раз. Готовьтесь, что максимальное количество пропускаемого воздуха через корпус дает кроме хорошего охлаждения еще огромный шум.

 

 

 

 

Сетевые карты
Для старта нам их потребуется в сервере 2 штуки, одна для аплинков, вторая на выход.
При создании кластера нужны будут еще 2 штуки. Все сетевые карты должны быть гигабитными.

Какие сетевые карты выбрать решать вам, на самом деле это самая распостраненная проблема при использовании ESXI, все, что в списке HCL-дорого. Все что дешевое и десктопное не видится гипервизором. Но выход есть и из этой ситуации, существует определенная методика интеграции драйверов, как в установленную систему, так и в дистрибутив гипервизора. Как это делается, я расскажу в следующей статье.