Google и Facebook: как использовать оптоволоконную передачу данных для обновления сети

Традиционное сетевое оборудование не справляется с огромным трафиком данных

Однажды утром 2011 года инженер самой популярной в мире социальной сети  Facebook  нажал кнопку, и вся деятельность компании замерла. Инженер, который не должен был допускать ошибок, не знал об этом. Он просто пытался управлять гигантом социальной сети, но на самом деле занимался разработкой программного обеспечения. Он управлял распределённой платформой анализа данных Hadoop. В результате Facebook начал анализировать данные, генерируемые сотнями миллионов пользователей. Эти данные хранятся на десятках тысяч серверов в многочисленных центрах обработки данных компании. При анализе этих данных все эти серверы должны начать взаимодействовать друг с другом.

Сотрудник Facebook Дорн Ли, по его словам, вспоминал случай на совещании весной прошлого года, когда задача Hadoop привела к перегрузке компьютерной сети компании и практически остановила другие предприятия. «Я отчётливо помню то утро», — сказал Ли. — «Это привело к тому, что Facebook был парализован, очень серьёзно».

Раньше большая часть сетевого трафика передавалась туда и обратно между сервером и пользователями, пытающимися получить доступ к сети. Но теперь, когда в центрах обработки данных появляются всё более крупные и сложные компании, такие как Facebook, Google и Amazon, и увеличивается объём трафика серверов, это традиционное сетевое оборудование, используемое гигантами, уже не справляется с таким объёмом трафика.

Таким образом, сетевое развитие развивается в соответствии с современными требованиями. Такие компании, как Facebook и  Google  , создают более высокоскоростное сетевое оборудование и пересматривают топологию сетей, чтобы справиться с большим потоком данных между серверами. Однако эффект от таких улучшений неочевиден. Как и Донн-Ли, эксперты по сетям начали рассматривать новое сетевое оборудование, включая имеющееся оборудование для передачи данных в конфигурации центров обработки данных.

Электронные и оптоволоконные сети на равных

Да, некоторые интернет-данные начали передаваться в виде света. Это  оптоволоконная сеть . Стандартные электронные сигналы преобразуются в фотографии и передаются по оптоволоконному кабелю .

Однако в обычных условиях такая передача данных обычно происходит между центрами обработки данных, что редко происходит внутри центра. Следующим шагом является запуск волоконно-оптической сети для реконструкции центра обработки данных, чтобы традиционные электронные сетевые коммутаторы могли значительно ускорить передачу данных между коммутаторами серверной фабрики.

«Если мы сможем это сделать, то эта гибридная сеть, которую можно адаптировать к крупномасштабной сети с большим объемом трафика данных, будет очень привлекательной». Исследователь волоконно-оптических сетей Джордж Папен из кампуса Калифорнийского университета имени Бога Диего, сказал: «Мы еще не достигли этой точки, но мы ближе, чем когда-либо прежде».

В школьном округе Папен, где команда НИОКР разработала гибридную сеть, она всё ещё находится на этапе тестирования и демонстрирует принцип работы  оптоволоконных коммутаторов . Их исследовательский проект, обычно известный как Helios, финансируется Google и другими технологическими гигантами.

По словам Папена, проекту Helios ещё предстоит долгий путь до полной реализации. Однако в Кембридже, штат Массачусетс, США, стартап Plexxi недавно запустил оптоволоконный сетевой коммутатор, предназначенный для воссоздания центра обработки данных. Хотя эта технология полностью отличается от Helios, у них та же основная цель.

«Функция фотонного переключения очень мощная, как только ваш бизнес вовлечен в область обмена оптоволокном, а не в область электронного обмена, вы получите преимущество внутренней производительности». Генеральный директор компании Plexxi Дэвид Хусак (Dave Husak) сказал: «Мы стремимся достичь этого эффекта».

Будущее проекта «Гелиос»

Традиционно сеть иерархична. Если ваш сервер относится к уровню, расположенному выше сетевого коммутатора, необходимо подключить эти серверы к сетевым коммутаторам. Затем эти коммутаторы высокого уровня подключаются к высокоскоростному сетевому оборудованию более высоких уровней. Далее, ваше сетевое оборудование соединяет эти два уровня и сетевое оборудование более высокого уровня. Достигнув ядра сети, вы используете очень дорогостоящее сетевое оборудование, которое работает гораздо быстрее, чем коммутатор на уровне сервера.

Вам нужна эта более высокая скорость для адаптации ко всему трафику в сети — возможно, это наша прежняя точка зрения. Амин Вахдат и его коллеги показывают, что эта иерархия ошибочна. Использование более дешёвого сетевого оборудования может повысить эффективность работы вашей сети.

«Это революция», — сказал Папен. «Раньше люди строили свои центры обработки данных, как и телекоммуникационные сети. Вахдат из исследовательской группы понял, что это сложно сделать, чтобы сэкономить средства. Они доказали, что можно использовать совершенно другой подход к строительству центров обработки данных».

Эта унифицированная сетевая архитектура известна как архитектура «толстого дерева». Она стала универсальной формой крупномасштабного сетевого бизнеса. Именно поэтому такие компании, как Google, начали отказываться от дорогостоящего оборудования, например,  Cisco , переходя от азиатских производителей к закупке недорогого оборудования.

Основная идея проекта «Гелиос» заключается в создании настоящей оптоволоконной сети, устраняющей нагрузку традиционных электронных сетей.

В каком-то смысле этот проект – это возвращение в будущее. Современные сети используют так называемую «коммутацию пакетов» для передачи данных туда и обратно, предварительно разбивая их на более мелкие потоки информации перед выходом. Именно так работает Интернет. Однако оптоволоконная часть проекта Helios представляет собой «коммутацию каналов», устанавливающую выделенное соединение между двумя конечными точками. Это и есть принцип работы устаревшей мобильной сети.

«Просто посмотрите на каждый пакет в центре обработки данных, и вы увидите, что он не использует ваши ресурсы эффективно». Папен сказал: «Если вы сможете понять, хотя бы частично, направление передачи трафика данных, вам не придётся просматривать каждый заголовок каждого пакета, вы сможете создать выделенный канал для передачи больших объёмов данных, а не пропускать их через сеть с коммутацией пакетов».

Такая структура весьма привлекательна, поскольку  оптоволоконные сети с коммутацией каналов  более гибкие, чем традиционные.  «Схема — это своего рода конвейер, ей не важна скорость передачи данных, она не зависит от скорости». Он сказал: «В указанных выше сетях можно передавать данные практически с любой скоростью, что очень привлекательно».

Хотя эта архитектура должна стать реальностью в центре обработки данных, предстоит еще долгий путь, но Папен верит, что в конечном итоге она будет реализована.

Вахдат и Google, вероятно, близки к реальности, но Папен подчеркнул, что даже он не знает, как поступит Google. « У меня много друзей, которые занимаются оптоволокном в крупных дата-центрах, однако я пока не знаю, на что они готовы пойти », — сказал он.

Google, её важнейшее конкурентное преимущество — это дизайн внутренней архитектуры. Даже внешние исследователи, финансировавшие её, не хотят раскрывать её особенности. Но Google Switch Fabric — это не только исследование будущего компании. В этом участвуют  Facebook, Cisco, IBM, а теперь и Plexxi Company .