воскресенье, 22 августа 2010 г.

100 гигабитный Ethernet

Интернет полон сообщений о том что Brocade готовит к выпуску 100-гигабитные Ethernet модули для маршрутизаторов NetIron MLX и тем самым выйграет гонку вендоров за взятие очередного рубежа пропускной способности сетей. По словам Дейва  Стивенса, Chief Technology Officer (CTO) Brocade подробности о новых модулях последую в сентябре. Официальный сайт хранит молчание, хотя в разделе технологии появилась вкладка посвященная 40 и 100 гигабитному Ethernet. Страсти накаляются и похоже ждать остается не долго.

Вы спросите - "А кому это нужно?". На самом деле Интернет уже давно испытывает проблемы связанные с недостатком пропускной способности существующих каналов связи. Так точки обмена трафиком (IXP) влотную приблизились к терабитным скоростям и только технология объединения линков Brocade позволяющая аггрегировать до 32-х портов 10GbE в один логический канал с пропускной способностью 320Gbps позволяет IXP как то справляться с все возрастающей нагрузкой. Ниже схематично изображены места сети которые ждут новых скоростей. Это сети сервис-провайдеров, городские сети, уровни аггрегации дата-центров и операторов, ядра сетей крупных предприятий.

Brocade анонсировал модули на 100 гигабит которые можно будет установить в шасси NetIron MLX и это с потрясающей плотностью портов 32 100GbE модуля на шасси MLX-32. Учитывая что архитектура MLX уже сегодня готова переваривать и гораздо большие объемы трафика, нет ничего удивительного в том что для поддержки нового стандарта не потребовалось существенных переделок существующего железа.

Для меня было интересно посмотреть что включает в себя принятый в июне стандарт IEEE 802.3ba на 40/100 GbE. Вот табличка с характиристиками и дальностью линков для разных сред передачи:
Как можно видеть в стандарте используется технология MPO (Multi-fiber Push On) для мультимода, то есть агрегация нескольких волокон и сигнализация 4 х 25 Gbps для одномода.
Ну что же не совсем честные 100 гигабит получаются, но будем пользоваться тем что есть.
Учитывая продолжающиеся исследования в области терабитного Ethernet, 100 гигабит это уже почти что пройденный этап.
Brocade уже анонсировал 100-гигабитные модули, которые можно будет установить как в новое шасси NetIron MLXe так и в выпускающиеся долгие годы NetIron MLX.


Зеркало блога на Ya.ru

Друзья, теперь вы можете читать и комментировать мои записи и на Я.ру — brocade_guru!

пятница, 13 августа 2010 г.

Конвергированный Ethernet – настоящее и будущее дата-центров

Сети хранения данных (SAN) традиционно строились на базе протокола FC (Fiber Channel), который предоставляет быстрый и надежный транспорт для передачи данных между массивом и подключаемыми серверами. Подключение к системе хранения по FC обеспечивает серверам высочайшую надежность и производительность работы логической дисковой подсистемы, практически не достижимую при использовании локальных жестких дисков. Надежность и предсказуемость сетей хранения базируются на жесткой стандартизации и тщательной технической проработке решений производителями оборудования.

Желание получить дополнительные степени свободы, гибкость и простоту внедрения и использования систем хранения всегда толкало разработчиков в сторону использования возможностей Ethernet, так появились iSCSI и FCoE. Однако сразу было понятно, что то, что как то работает в тестовых лабораториях и непритязательных сетях SMB построенных на дешевых блокируемых коммутаторах Ethernet, неприемлемо для использования в серьезных решениях, сетях передачи данных крупных предприятий или центров обработки данных (ЦОД).

Производители оборудование Ethernet достаточно вольно относятся к соблюдению стандартов, обеспечению качества обслуживания и надежности устройств. По большому счету такие задачи раньше и не ставились, среди пользователей, и даже среди некоторых сетевых инженеров бытовала уверенность, что все проблемы можно решить увеличением пропускной способности, и что всех нас спасет переход на 100Мегабит, гигабит, 10 и 100 гигабит. Впереди маячит уже терабит, но сейчас стало понятно, что Ethernet в том виде, в каком он зародился в семидесятых годах прошлого века, не удовлетворяет современным требованиям сети передачи данных. Результатом стало появление различных расширений Ethernet и работающих поверх него протоколов позволяющих разрешить те или иные проблемы сети.

Подход, описывающий конвергенцию и передачу по Ethernet других протоколов, прежде всего FCoE, названый Converged Enhanced Ethernet (CEE) разрабатывается сообществом производителей Broadcom, Brocade, Cisco, Emulex, HP, IBM, Juniper, QLogic и другими. Главная задача CEE обеспечить передачу трафика FC поверх Ethernet с сохранением предсказуемости и производительности, присущих Fiber Channel. Другой термин который по сути аналогичен CEE - Data Center Bridging (DCB) используется институтом IEEE для обозначения группы расширений Ethernet для центров обработки данных.


Совмещение трафика Storage Area Network (SAN) и Local Area network (LAN) в одном сегменте сети позволяет получить множество преимуществ при построении дата-центров, включая снижение начальных затрат на оборудование (CapEx) и операционных издержек на поддержку, обслуживание, электропитание и кондиционирование оборудования (OpEx). CEE и FCoE объединяют традиционные порты хранения и порты передачи данных в одном 10-гигабитном порту, существенно уменьшая суммарное число портов и адаптеров установленных в серверах. Другое достоинство CEE – отсутствие необходимости перестраивать или менять существующую FC-структуру при добавлении FCoE устройств.
Оставляя описание протоколов специализированным документам попробуем посмотреть из каких элементов строиться CEE-сеть , каковы принципы дизайна для построения сети хранения на FCoE и какие. На первом этапе CEE был ограничен одним «хопом» то есть сервер с CEE-адаптером подключался непосредственно в Ethernet-порт конвергентного коммутатора, который в свою очередь уже по FC включался в сеть хранения SAN. У Brocade это коммутатор BR-8000 с 24 портами 10GbE CEE и 8 портами FC.


Сервер с установленным CNA-адаптером воспринимает его как два различных логических устройства Host-bus Adapter (HBA) и Network Interface Card (NIC). Вся работа связанная с обработкой, приоритезацией и разделением трафика SAN и LAN ложится на коммутатор и CAN-адаптеры. Достоинства решения очевидны, сеть на стороне серверов становится существенно проще, количество кабелей и адаптеров снижается в два раза.
Ограничение на один хоп (сервера должны быть подключены непосредственно в CEE-коммутатор), которое пока присутствует в такой схеме не позволяет масштабировать решение, передавая FCoE трафик через несколько коммутаторов LAN. Проблема вызвана использованием в Ethernet-коммутаторах протокола Spanning Three (STP) который может вызывать временные потери трафика в моменты реконфигурации сети. Для трафика IP пропадание связи на несколько секунд стандартная ситуация, которую отрабатывают протоколы верхнего уровня (TCP/IP) используя механизм перезапросов и восстановления сессий. Однако для работающих в синхронном режиме протоколов SAN такие прерывания абсолютно не приемлемы.

Протокол, который призван заменить STP в сети CEE, и, вдобавок, обеспечивает одновременное функционирование нескольких альтернативных маршрутов передачи трафика, называется TRILL (Transparent Interconnection of Lots of Links). Это протокол второго уровня (L2) стандартизированный IETF, который подобно OSPF использует алгоритм Shortest path и функционирует аналогично протоколам маршрутизации третьего уровня (L3). TRILL и CEE являются элементами концепции построения и развития конвергентных сетей Brocade One которая превращает всю сеть передачи данных в виртуальный коммутатор – Virtual Cluster Switch (VCS) с единой Ethernet фабрикой работающей без потерь и задержек и объединяющей в себе трафик SAN и LAN.


С интеграцией поддержки VCS, CEE и TRILL в существующие SAN и IP устройства Brocade, такие как DCX и NetIron MLX у заказчиков появляется возможность реализации более простой, надежной и масштабируемой логической архитектуры центра обработки данных с минимальными изменениями существующей физической сетевой инфраструктуры.

воскресенье, 8 августа 2010 г.

Архитектура Brocade NetIron MLX

После публикации ряда маркетинговых статей, предлагаю читателю копнуть чуть глубже и выяснить как достигается высочайшая на сегодняшний день производительность и не блокируемая коммутация на всех портах шассийных устройств Brocade.

Собственно никакого секрета здесь нет. Архитектура устройств базируется на старой доброй математике Чарльза Клосса, которая издавна использовалась в телефонных свичах где блокировки мягко говоря не приветствуются, а потом была взята на вооружение для построения всех старших линеек Brocade, включая BigIron, NetIron MLX и XMR.

Итак. NetIron MLX. Устройство выпущенное в 2006 году, проверенное временем и множеством инсталляций, с производительностью фабрики 7,68Tbps, маршрутизацией 7,6 миллиарда пакетов в секунду, и поддержкой на сегодняшний день 256 не блокируемых портов 10 GbE. 
Новое шасси  NetIron MLXe которое стало доступно к заказу в сентябре 2010 года поддерживает уже до 15,36 терабит/сек или до 5 миллиардов пакетов в секунду.  В шасси MLXe можно установить 32 100 гигабитных порта с возможностью объединения в транк до 16 портов с общей пропускной способностью 1.6 терабита. Либо 256 10-гигабитных портов с аггрегацией в транк до 64 портов с суммарной пропускной способностью 640 гигабит.

Архитектура устройств подробно описана в соответствующем документе на сайте вендора. Мы же посмотрим схему и остановимся на самых интересных фактах:


  1. Используемые модули свич-фабрики и идеология построения устройства едины для всех устройств линейки MLX/MLXe от 4-х слотового шасси до 32-х слотового.
  2. Блокировки отсутствуют как на уровне линейных модулей так и в свич-фабрике при любых типах трафика и размерах пакетов
  3. Свичфабрика задействована постоянно и целиком вплоть до последнего модуля, обеспечивая максимальную производительность с резервированием N+1
  4. Control Plane отделен от Data Plane. Решение об отправке пакета принимается локально на процессоре линейной карты, обслуживающем конкретный порт.
На схеме изображены главные элементы линейной карты и фабрики коммутации.
  • NP - Network Processor
  • TM - Traffic Manager
  • FE - Fabric Element
 Итак NP- сетевой процессор отвечающий за обработку трафика на порту и имеющий производительность 20/40 Gbps отправляет входящий пакет на трафик менеджер (TM) который соединен одновременно со всеми фабрик-элементами всех установленных свич-фабрик. TM получая пакет от сетевого процессора формирует из него ячейки одинакового размера и отправляет их разом на все элементы свич-фабрики (FE). Пакет заново собирается на исходящем TM и отправляется в исходящий порт обслуживающим его процессором.

Таким образом  достигается заявленная пропускная способность устройства без блокировок и задержек. Но это хорошо для L2, скажете вы, а что на третьем уровне? Как достигается сумасшедшая цифра в миллиарды пакетов в секунду? И тут все достаточно просто. Весть основной функционал реализован в железе, на ASIC-ах локальных карт. Как уже упоминалось, каждая локальная карта MLX/MLXe/XMR имеет свою таблицу маршрутизации, локальные сетевые процессоры которые обращаются к таблице маршрутизации (Brocade Direct Routing) находящейся в памяти каждой локальной карты.

Итак на сегодня мы имеем систему MLX которая без снижения производительности держит в железе:
  • 4000 VPLS Instances
  • 8000 VLL
  • 4094 VLAN и 1 миллион MAC-адресов
  • 512 000 Ipv4 маршршутов
  • 112 000 Ipv6 маршрутов
  • 2 миллиона маршрутов BGP
  • 400 BGP/MPLS VPN
NetIron MLX - универсальное шасси которое хорошо зарекомендовало себя в транспортных сетях операторов где требуется поддержка MPLS, MPLS-TE, VPLS, Metro Ethernet и в сетях дата центров, где требуется высокопроизводительная не блокируемая коммутация и поддержка протокола BGP.

вторник, 3 августа 2010 г.

Железная балансировка Microsoft® Exchange Server 2010


Современные тяжелые приложения часто используют многоуровневую распределенную архитектуру, в которой разнесены сервера баз данных, сервера приложений и Front-End сервера принимающие запросы пользователей.
Так Exchange 2010 включает следующие роли сервера:
 
·  Сервер почтовых ящиков   На этом сервере размещаются почтовые ящики и общие папки.
·  Сервер клиентского доступа   На этом сервере размещаются протоколы клиентов, например POP3, IMAP4, HTTPS, мобильный Outlook, служба доступности и служба автоматического обнаружения.
·  Сервер единой системы обмена сообщениями   Этот сервер соединяет внутреннюю УАТС и Exchange 2010.
·  Транспортный сервер-концентратор   Это сервер маршрутизации почты, осуществляющий маршрутизацию внутри организации Exchange.
·  Пограничный транспортный сервер   Это сервер маршрутизации почты, который обычно размещается на границе топологии и осуществляет маршрутизацию входящей и исходящей почты в организации Exchange.

Стандартный дизайн предполагает наличие фермы серверов клиентского доступа  с балансировкой нагрузки для обеспечения высокой доступности и производительности решения.
Для Exchange 2010 возможно использование софтовой балансировки Windows Network Load Balancing (WNLB) но с учетом следующих ограничений:
·  WNLB не может использоваться одновременно с database availability groups (DAGs) – функционалом позволяющим синхронизовать почтовые ящики между несколькими сайтами.
·  Из-за проблем с производительностью не рекомендуется запускать более 8 серверов клиентского доступа с балансировкой WNLB.
·  WNLB не может определить отказ сервисов на серверах и работает только на уровне L3, то есть определяет доступность серверов по IP. То есть если сервер отзывается по IP, но серверные приложения не работают, требуется выводить неисправный сервер клиентского доступа из пула балансировки вручную.
·  Ошибки в конфигурации WNLB могут привести к деградации пропускной способности сети.
·  Поскольку WNLB осуществляет балансировку только по адресу клиента, при ограниченном пуле клиентских адресов, например в случае использования NAT, распределение нагрузки между серверами клиентского доступа работает не эффективно.

Все эти проблемы снимает применение аппаратных балансировщиков  Brocade ServerIron ADX, которые балансируют нагрузку на уровнях L4-L7, с максимальной пропускной способностью на одно шасси до 70Gbps, позволяют выбирать из множества механизмов балансировки и осуществляют постоянный контроль за состоянием серверов начиная от IP-доступности и загруженности по SNMP и заканчивая расширенным Health check вплоть до проверки заданного отклика от конкретного приложения.

Совместное решение Brocade и Microsoft прошло лабораторное тестирование в Microsoft Enterprise Engineering Center (EEC) в штаб квартире Microsoft в Редмонде.
Схема тестирования и типового применения ServerIron ADX с Exchange 2010 приведена на следующей картинке:
 
В такой схеме ServerIron ADX обеспечивает:
  • Сохранение сессий. Клиент подключившийся к одному из серверов продолжает работать только с ним в пределах сессии.
  • Правила переключения контента (Content Switching Rules). За счет поддержки коммутации на уровне L7, ADX может принимать решения о балансировке трафика на основе данных об URL, cookes, или ID SSL-сессии
  • SSL-proxy – поддержание защищенного туннеля между клиентом и сервером с возможностью балансировки на уровне приложений
  • Мониторинг северов для контроля их доступности и готовности к обработке запросов.