classic.ISPforum.cz

Ahojda všem,

potřeboval bych trošku poradit od hardwarově fundovanějších. Jelikož jsme už vyrostli nad únosnou mez, musíme teď řešit velký upgrade páteře a páteřních věcí. Celé to chceme mít na 10 Gbps, 2 lokality v Praze navzájem propojené mezi sebou a ideálně děleno na 3 stroje. Jelikož nemám teď kvůli business obchodování moc času studovat a učit se věci přímo na Linuxu, volíme jako software prozatím osvědčený RouterOS.

A jelikož nikdo z nás není moc hardwarář, tak bych chtěl moc poprosit někoho z Vás, zda byste nám (klidně za úplatu) pomohli sestavit stroje pro následující konfigurace. Důležité je - musí mít duální zdroje a výšku max. 1U. Na rovinu, honíme výkon na 1 TCP spojení. Prodáváme hlavně vyšší firemní tarify a potřebujeme, aby vše jelo maximálně.

1) Hlavní GW
- 10 Gbps, aktuální tok cca 6-7 Gbps
- NAT a BGP
- co nejvíc SFP+ interfaců, ideálně, aby se daly použít jak 10 tak i 1 Gbps moduly

2) PPPOE koncentrátor
- QoS, shaping, PPPOE spojení, Radius
- zde by teoreticky měly stačit 2 SFP+ interface.
Do budoucna to chcem rozdělit na víc serverů, stejně jako osamostatnit třeba NAT

3) MPLS router
- co nejvíc SFP+ interfaců, ideálně, aby se daly použít jak 10 tak i 1 Gbps moduly
- bude to propojovat jednotlivé L2 okruhy, co máme a tvořit vlastně páteřní switch sítě. Zase, nemám moc čas zkoumat jiné HW switche a ze zkušeností se mi moc nechce dávat X set tisíc za switch, když nám to obslouží i RouterOS. Zase takové toky zatím nemáme

Na všem prozatím poběží tedy RouterOS. Měl by prosím někdo chvilku čas na toto kouknout a zkusit mě trochu nakopnout tím správným směrem, co nakoupit, aby se z toho vyždímal co nejlepší výkon?

Četl jsem poctivě všechna vlákna, co se GW týkaly, ale takto komplexně to snad nikdo neřešil
Moc moc díky všem.

pokud mi pošleš počet pravidel, počet pppoe tunelů, počet natů, filtru atd.. tak bych ti dal vědět. Jedinej problém vidím v SFP/SFP+ na jednom portu. To většinou PCčka neumí resp. neumí to karty podporovaný mikrotikem. Snadnější je nechat v routeru 2xSFP+ a za router dát switch kde se počet a typ portů už dá řešit snadněji a i levněji.

Super přístup Akorát bych kladl důraz na redundanci. Tzn. vše minimálně dvakrát. Nejsou v tom žádné složitosti. Jde to řešit přes VRRP+OSPF. A PPPoE koncentrátory můžou běžet směrem ke klientům v jedné L2. Takže se zálohují a rozkládají zátěž současně. Který PPPoE koncentrátor jako první uplatní PADO paket, na toho klient naváže tunel.

mj. co to znamená "větší firemní tarify"? Firemní přípojky s "individuální cenou" bych na PPPoE asi nestavěl.

rsaf píše:mj. co to znamená "větší firemní tarify"? Firemní přípojky s "individuální cenou" bych na PPPoE asi nestavěl.

Vůbec bych se nebál PPPoE přípojek do 1 Gbits a MPLS nechal čistě na backhaul. A v principu ani vyšších rychlostí, ale to už nedokážu říct z vlastní zkušenosti.

huawei NE40-M2K

Ahojda,
v současné době cca 7000 pppoe tunelů. Natů je pár (do 150), mangle zatím nemáme neboť jedem single queue.

Shaping obecně jsme zatím brali dost laxně, ale to si napíšeme. To problém není. Jump a uživatelské chainy společně s PCQ jsou v pohodě. Jen to přebušit

Pokud to nebude umět gigabitové moduly, ani to moc nevadí. Tím pádem stačí doporučení na gigabitovou metalickou kartu se 4 porty a i sólo gigabitovou SFP kartu.

S redundanci pocitame. Zatím tím, ze budou 2 lokality. Pak budeme redundovat i v rámci lokality.

Jinak pppoe do Gbps je úplně v pohodě. Síť nám jede na MTU 1900, takze ke klientům jde stejně 1500. Zatím se chci vyhnout HW krabičce. Není moc čas se to učit. Na to bude čas až v listopadu a to už to chci rovnou spojit s dotaci na flow záznamy. Ideálně tedy 3 servery s RouterOS. Ty pak muzu nasadit Nkrat

Akorát 1u server a hodně portů to se rozchází. Server není switch.

dagus píše:Akorát 1u server a hodně portů to se rozchází. Server není switch.

No, to je bohužel pravda. Nicméně, pokud tam budou 3 šachty na alespoň 10 portů tak to stačí. Zbytek kdyztak obstará “hloupější” switch

Shaping/mangle/queues - není lepší toto dělat rovnou na PPPoE tunelu? Stačí z RADISUu poslat správné parametry...


Pokud je NATů pár (150 z 7000?) není lepší se na NAT vykašlat úplně, případně ho dělat 1:1? (na nějakém rozumném boxu pak takový nat negeneruje tisíce connections...)


Jinak osobně se taky přikláním k řešení, kdy jsou všechny linky přes switch(e), na serverech pak stačí třeba 4x10GE, je to univerzálnější a flexibilnější...

Můžeš trošku rozvést tu myšlenku se shapingem na PPPoE tunelu? My to zatím máme tak, že se z RADIUSu tahá rychlost a na základě toho se nám generuje simple queue dynamicky na každé PPPoE spojení. Ale to asi nelze mluvit o nějakém pokročilém shapingu. Takže ve výsledku mangle nemáme.

Co se NATu týče, ten je poslední, co mi dělá starosti, na základě jumpů to půjde na pár projití tabulky.

A měl bys doporučení na nějaký takový switch? Kde mi pak má končit MPLS? Na PPPoE koncentrátoru je to blbost, na GW taky. Tzn. z toho mi vychází drahý MPLS switch, který zatím v našem toku nevyužiju nebo 1U-2U server s dostatečným počtem karet. Pokud mi dnes 1U s 8-12 porty stačí, neříkám, že za rok tenhle server neposunu jako další PPPoE koncentrátor a nenahradím ho buď MPLS switchem nebo 2U s více kartama
Na MikroTiku mi MPLS vyhovuje - je to jednoduchý, funkční, nenáročný a bezstarostný

Ale pokud tě napadne nějaké dobré řešení se switchem, budu jen a jen rád za ponaučení a moc díky za něj

ad shaping: myslel jsem autentizaci PPPoE připojení RADIUS serverem, který posílá parametr "Mikrotik-Rate-Limit" a mikrotik si pak na základě tohoto parametru vygeneruje SQ. To tak ale asi máš, jen jsem to z původního popisu nepochopil.

ad switch: myslel jsem spíše "hloupý L2 switch" s hromadou 10GE portů, které VLANami dostaneš do těch serverů. Výhodu vidím ve flexibilitě, případně i v určité redundanci - pokud okruh z lokality nebo uplink do internetu zapojíš do jednoho serveru a vznikne potřeba přepojit ho do jiného, musíš jet do datacentra, dělat to s výpadkem nebo v noci... Pokud by to končilo na switchi, prostě jen přehodíš VLANu jinde. MPLS klidně může zůstat na Mikrtotiku. Servery pak můžeš mít všechny stejné, můžeš mít záložní který dáš do provozu aniž by jsi jel na místo. Ideálně pak dva switche ve STACKu, v případě poruchy jednoho ti služba v datacentru jen přehází okruhy (které asi máš jen jednou) do druhého.
Větší MPLS jsem nikdy neporovozoval, ale u HUA se dají najít switche s podorou MPLS a nemusí to stát statisíce za kus...

Tak to udělám na 3x server a k tomu ještě 1x tupejsi switch na propojky.

Hapi: nenašel by sis prosím chvilicku? Potřeboval bych trosku nakopnout, jaky server pořídit. Předpokládám nějaké Supermicro, že?

Jinak redundanci řešíme hlavně na datacentra. Z každé naší lokality máme primár na CeColo a backup o poloviční kapacitě na TTC. Takže ospf se o toto snad postará automaticky, pokud dojde k výpadku.

v pondělí ti zašlu nabídku. Předpokládám, že konfigurace se ustálila na routeru s 2x SFP+? a vlastně i všechny 3 stroje stejný? je to tak?

Moc na výběr není. Velký datový toky a je potřeba velký výkon na jádro kvůli velkým rychlostem na queue. Dnes už je možné stavět i s 8core přesahujících 4GHz na jádro což je prostě bomba. Rovnou říkám, že stroje budou v šásku 2U v krátké provedení s konektory vepředu. Vše od supermicro včetně karet a ssd.

Ozvu se.

Moc díky. Akorát. Jedna důležitá věc. Opravdu podmínka je 1U

Karty zkus prosím co nejvíc. Porty se hodí. Klidně stačí, jenom říct, jaké karty vlastně MK umí a jsou pro nej vhodné.

Dík moc. Jsi zlatej