Rechenzentrumsinfrastruktur mit 40G und 100G

Nach einem Server-Upgrade benötigt der Uplink des Top-of-Rack-Switches eine höhere Geschwindigkeit. Der Übergang von 1G auf 10G ist jedoch mit vielen Frustrationen verbunden. Früher boten Serveranbieter 1GbE RJ-45 LAN-on-Motherboards kostenlos an. Dual-Port 10GBASE-T ist heute jedoch teuer. Cat5e ist nahezu kostenlos, und Interconnect war früher kein ernstzunehmendes Kostenproblem, heute jedoch nicht mehr. Serverhersteller verkaufen 10G-Ports, die auf steckbaren „Tochterkarten“ montiert werden können, um nachfolgende Marktkonkurrenten auszugrenzen und hohe Preise zu erzielen. Tochterkarten können 1G 10GBASE-T, 2-4 SFP+-Ports und Dual-Port QSFP kombinieren. Kollokation mit 100G CXP und CFP/2 wird genutzt. Da Serverhersteller hohe Investitionen in 10G/40G-Upgrades tätigen, stellen wir die Frage: „Kehren Serverhersteller zum LOM-Modus zurück, ohne dass Käufer dafür zahlen müssen?“ Unsere Antwort: Ja. Allerdings steht die Umstellung auf 40G kurz bevor! 10GBASE-T hat Probleme mit dem hohen Stromverbrauch, der Größe und den Kosten. Daher wird bei der Entwicklung von 10GBASE-T auf dem Markt eine 28-nm-Version entwickelt, sodass SFP+-DACs davon profitieren. Dies hat die gesamte Branche stark verändert. Auch DACs haben ihre Probleme. Da sie elektrisch mit zwei verschiedenen Systemen verbunden sind, sind nicht alle SFP+-Ports gleich.

Die Server-Switch-Verbindung wurde von 1G auf 10G aktualisiert, der Switch-Uplink auf 40G erhöht und der TOR-Switch (Top of Rack) mit dem EOR-Switch (End of Row) bis zur Aggregations-Switching-Schicht verbunden. Die Betreiber von Rechenzentren haben gerade die düstere Konjunkturlage überstanden und ihr Budget ist weiterhin knapp. Die Investitionsstrategie der Betreiber lautet „inkrementelle Upgrades“. Die aktuelle Investition besteht in der „notwendigen“ Erweiterung der 10G/40G-Verbindung. 100G scheint im Rampenlicht der Medien zu stehen, aber 40G wird in den nächsten 2–3 Jahren Geld einbringen. Rechenzentren benötigen bereits 4 bis 6G, nicht einmal 10G. Daher haben viele Rechenzentren noch immer einen Überschuss und müssen „upgegradet“ werden. Google, Facebook, Microsoft und andere betreiben so genannte 1-Milliarden-Dollar-Superrechenzentren, die zwar von den Leuten bewundert werden, aber nicht den Mainstream der Rechenzentren darstellen.

Um die Möglichkeiten von Glasfaser-Transceivern zu nutzen   , bieten mehrere Transceiver-Anbieter als erste 40G QSFP SR-Transceiver und Ethernet AOC mit einer Übertragungsreichweite von unter 50 Metern an. 40G QSFP MSA mit Multimode-Glasfaser unterstützt kurze Reichweiten (SR) von bis zu 100 Metern, Dual-Core-Singlemode-Glasfaser sogar bis zu 10 km – alles über denselben QSFP-Switch-Port. QSFP unterstützt 36–44 Ports pro Linecard, während CFP nur zwei Ports in 32 W unterstützt. Obwohl in der Telekommunikation sehr beliebt, ist dies in der Datenkommunikation nicht der Fall! Die OEM-Preise liegen je nach Rechenzentrums- oder Telekommunikationsbedarf zwischen 2.000 und 3.000 US-Dollar.

Rechenzentren müssen aufgrund der explosionsartig gestiegenen Informationsnachfrage dringend Zehntausende von 100G-Verbindungen mittlerer Übertragungslänge unterstützen. Branchenkonferenzen fordern dies. Diese Anforderungen ergeben sich aus Servervirtualisierung, Big Data, Smartphones, Tablet-PCs und sogar softwaredefinierten Netzwerken (SDN). Große Core-Switch-Unternehmen setzen hauptsächlich auf 10-Kanal-CXP für Multimode, die mit Transceivern und AOCs zusammenarbeiten. Bei 4x25G und der 25G-Übertragung können Multimode-Rauschspitzen eine Gefahr für den Multimode-Transceiver bis hinunter zu 25–50 Metern darstellen. FEC und/oder eine Entzerrung können erforderlich sein, um 125 Meter zu erreichen. Dies führt zu höheren Preisen für Transceiver in einer Entfernung von 25–125 Metern. Mit 2 km sinken die Preise für Singlemode-  Glasfaser-Transceiver  .

Derzeit gibt es für Übertragungsdistanzen von 100 bis 600 m keine wirtschaftlich praktikablen 100G-Lösungen (es sei denn, sie werden mit zwei 40G- und 10G-Transceivern beschrieben). Größere Rechenzentren, die zu Hotspots werden, stehen im Mittelpunkt der IEEE-Debatte. Jeder zusätzliche Meter führt zu OEM-Transceiver-Preisen von 1.000 US-Dollar (CXP) bis 16.000 US-Dollar (CFP) für Telezentren! Normalerweise wird eine Übertragungsdistanz von 2 km angegeben, tatsächlich sind jedoch nur 400 bis 600 Meter möglich. In Rechenzentrumsumgebungen erreichen Patchpanels und verschmutzte Stecker nur einen Verlust von 4 bis 5 dB, für 10-km-Verbindungen sind 6 dB erforderlich. Es werden Laser der nächsten Generation und SiGe-CMOS-Elektronikbauelemente entwickelt, aber die Entwicklung von CMOS-Elektronik ist schwieriger.

40G und 100G sind die beiden wichtigsten Übertragungsformate für Rechenzentren. Short-Range-Transceiver (SR4) mit Multimode-Glasfasern ermöglichen Übertragungsweiten von etwa 100 Metern. Long-Range-Transceiver (LR4) mit Singlemode-Glasfasern ermöglichen Übertragungsweiten von 100 bis 10 Kilometern. Der sogenannte NR4 (ohne formale Bezeichnung) erreicht eine Reichweite von 2 km und 4 dB. SR-Transceiver werden typischerweise zur Verbindung von Computerclustern und Switches in Rechenzentren eingesetzt. In Kombination mit SR-Transceivern und OM4-Glasfasern ermöglichen sie Übertragungsweiten von etwa 300 Metern. Bei 125 bis 200 Metern kann die Konvertierung mit Singlemode-Glasfasern, Transceivern und Glasfasern Vorteile bringen; auch bei 25G-Übertragungen sind Vorteile möglich.

40G wird üblicherweise in QSFP oder QSFP MSA sowie in vier 10G-Kanälen verwendet. Der SR-Transceiver verwendet acht Multimode-Fasern (entsprechend einer Richtung), VCSEL-Laser und QSFP MSA. Der LR-Transceiver verwendet Kantenemittierende Laser und multiplext vier 10G-Kanäle auf zwei Singlemode-Fasern. Die Singlemode-Fasern übertragen 10 km über das  CFP-  MSA-Modul. Diese Distanz wird bald auch mit 28 CFP/2 und QSFP MSA erreicht. 40G, SR4 und LR4 können problemlos über dieselbe QSFP-Switch-Schnittstelle verwendet werden – einfach anschließen und los geht‘s – Sie erreichen problemlos Reichweiten von einem Meter bis 10 km. (Funktioniert aber immer noch nicht mit 100G.)

Der 100G SR10 verwendet 20 Multimode-Fasern, VCSELs und CXP MSA. Der 100G LR4 CFP und zwei Singlemode-Fasern. Obwohl eine Übertragungsreichweite von 100 Metern versprochen wird, wird der SR10 CXP-Transceiver typischerweise für den Anschluss großer Aggregations- und Core-Switches über weniger als 50 Meter eingesetzt. Bei größeren Entfernungen werden mehr als 20-Mode-Fasern sehr teuer, da Multimode-Glasfasern etwa dreimal so teuer sind wie Singlemode-Fasern. Erst 2012 kündigten mehrere Transceiver-Hersteller die Entwicklung des CXP 100G SR-Transceivers an. Der  40G QSFP-Transceiver  und die AOCs kommen seit 2008 auf den Markt. Später könnten 4x25G QSFP SR-Transceiver auf den Markt kommen.