Kvalitní sít postavená na pořádných síťových prvcích je základ. Podívejte se, jaké prvky v síti používáme ve vshosting~ .
Čím routujeme
Kvalitní routery jsou základ. Spousta firem nezveřejňuje, jaké používá routery, přitom na pořádných routerech stojí stabilita celé sítě. Internet je routován dynamicky a propojení s jinými operátory je realizováno prostřednictvím BGP protokolu.
Právě výpočet dynamického routingu je nejslabší místo většiny routerů. K dnešnímu dni (6.6.2017) je v Internetu celkem 670868 IPv4 prefixů (rozsahů) z celkem 57624 autonomních systémů operátorů a 39910 IPv6 prefixů (počet však roste cca 300 za týden) z 13477 autonomních systémů. Málo výkonné routery, které pracují s plnou routovací tabulkou, potřebují k výpočtu rout klidně desítky minut. Po takovou dobu nemusí být některé destinace plně funkční.
Často se proto operátoři uchylují k tomu nepracovat s plnou routovací tabulkou, ale udržovat v paměti routerů jen některé základní prefixy (max. jednotky tisíc prefixů) a používat default gateway nadřazeného operátora. Připravují se tak o možnost podrobně nastavovat a určovat kudy potečou jaká data a rozhodovat, například na základě kvality spojení do jednotlivých lokalit, přes jakého operátora priorizují daný prefix.
Za posledních 11 let jsme si ve vshosting~ vyzkoušeli různé routery a postupně vyměnovali routery za lepší až jsme se nakonec rozhodli nedělat žádné kompromisy a využít routery z těch nejdražších a nejvyšších řad, které se pro datová centra používají u velkých nadnárodních operátorů. K routingu tak používáme routery Juniper MX960. V ServerPark DC1 máme hned 2, pro jistotu.
Tyto routery s výkonnými routing enginy, které používáme, zvládnou spočítat celý internet za desítky vteřin. Navíc máme v hlavním routeru dva routing enginy pro plnou redundanci, takže případná porucha jednoho neznamená nutnost přepínat provoz mezi routery, což s sebou vždy a u všech operátorů přináší mikrovýpadek (ten však může následně vést k přepnutí clusterů a způsobit další dílčí situace). S takovou situací se jeden router vypořádá a přepne veškerý provoz ihned na záložní router engine.
Kapacita MX960 udávaná výrobcem je 10Tbps (tedy asi 20 násobek datového provozu v NIX.CZ) a rozšiřování kapacity se provádí za běhu přidáváním či výměnou karet. Podporována je samozřejmě 100Gbps technologie (zatím aktivně nepoužíváme), její nasazení je pak již jednoduché.
Výhodou těchto high performance enteprise routerů je fakt, že veškerý provoz zajišťuje hardware, kde nehrozí, že provoz neupočítají procesory routerů, jak se to stává u méně výkonných zařízení. V tomto případě routing enginy v routerech provádí výpočet rout a vše poté zapisují přímo do karet, kde se o samotný provoz dále stará již hardware.
Co používáme na L2 páteř (páteřní switche)
L2, tedy switching, je druhý základní prvek páteřní sítě. Ani zde jsme nedělali kompromisy a o switchování se starají Nexus řady 7000 (konkrétně Nexus 7010). V datacentru jsou opět 2. Oba Nexusy 7000 používají pro redundanci vPC technologii. Jak Nexus 7000, tak vPC technologie je používána například na páteřní síti NIX.CZ, z čehož je patrné, že jsme zvolili špičkové zařízení.
Stejně jako v případě routerů i Nexus 7010 podporuje přidávání či výměnu karet za běhu dle potřeby. Kapacita na jeden slot je 550Gbps a i zde jsme připraveni na 100Gbps. Do těchto páteřních switchů se sbíhají uplinky “top of rack” switchů. Díky vPC je každý rack připojen v režimu active-active do dvou těchto páteřních prvků a rychlost připojení každého racku je 20Gbps.
Jak tyto nexusy tak routery bylo poměrně obtížné dostat do racků :-), každé zařízení má několik set kilo. I v tomto případě má každý Nexus 7000 2 supervisory (jakési mikropočítače) v high-availability režimu, takže porucha na jednom supervisoru neznamená nutnost provádět přepínání čehokoliv v síti. K tomu dojde ihned a automatizovaně až pokud by došlo k větší poruše na daném zařízení.
Do čeho připojujeme servery
Jako top of rack switche používáme Nexus řady 3000 a 3100 (také dva s vPC) s možností 2x 40Gbps uplinků či n x 10Gbps. Do každého páteřního switche Nexusu 7000 tak vede minimálně jeden uplink. Porucha uplinku či jednoho z Nexusů 7000 způsobí pouze snížení propustnosti, která je dimenzovaná stejně na mnohonásobek reálné potřeby. K žádnému výpadku nedojde díky vPC a LACP. Servery pak mají uplinky do obou Nexus 3172 switchů. V síti máme také řadu Cisco Catalyst switchů, které budeme v budoucnu nahrazovat za Nexusy.
Kudy tečou data
Dlouhou dobu jsme také připojeni ve německém Frankurtu do největšího světového peering centra DE-CIX. V těchto peeringových centrech jsme propojeni se stovkami sítí, mezi kterými je i například Apple, Facebook, Microsoft a jednáme o přímém propojení s Amazon Web Services.
Některé statistiky můžete sledovat veřejně:
NIX.CZ: https://www.nix.cz/cs/port/port/day/all
SIX.SK: http://www.six.sk/index.php?page=pripojene_siete
Dále plánujeme připojení do dalších peeringových center. Z těch největších jsou ve hře AMS-IX (2. největší na světě) či LINX (největší britské peeringové centrum). Připojení NIX.CZ čeká upgrade a v budoucnu chystáme připojení do NIXu na 2x 100Gbps. Máme také v plánu připojení do zabezpečené VLAN Fénix (https://fe.nix.cz/)
Data, která se nemění v peeringových centrech se posílají do globálního Internetu prostřednictvím globálních TIER1 a TIER2 operátorů. Jmenovat můžeme například Telia Sonera nebo Cogent.