Hardware pro GW (10 Gbit)

[oliver.es]

Ahoj,

chystáme se k nákupu x86 stroje na kterém poběží RouterOS a rád bych uvítal Vaše rady a podněty.

Role:
NAT 1:n a 1:1
Shaping (simple queue)
Firewall

Síť je čistá hvězda (FTTx), každý zákazník na samostatné VLAN. (Queue tree tedy nemá smysl). Pro DHCP server je použito CCR.
Poskytované služby: 100 Mbit, 300 Mbit, 1000 Mbit, IPTV.
Datový tok: aktuálně do 2 Gbit/s, výhled až 8 Gbit/s.

Uvažujeme nad síťovkou SUPERMICRO AOC-STGN-I2S. Má to někdo vyzkoušené pod RouterOS ? Umí to rozložení zátěže (více IRQ) ?
Server HP, ale zatím nevím zda vzít 8core s menší frekvencí, nebo naopak 4core s vyšší frekvencí. Předpokládám, že 2 procesorový systém nemá smysl.

Děkuji za rady a podněty.

[hapi]

no a máš tam něco ted? podle mě ti 4 fast nebo 8 slow cpu nebude stačit. No ještě záleží na tom kolik těch shapovacích pravidel tam máš.

S tou sítovkou nevim jestli ti pojede, asi by měla je to 82599 a rozkládat IRQ by měla taky. Pak bych doporučil raději víc jader.

Máš trochu dilema, výkon jednoho jádra ti omezí výkon/rychlost na jednu queue a zároveň málo jader omezí počet queue takže kolik jich tam máš?

[oliver.es]

Teď tam je zatím CCRko (to se posune pak jen do role DHCP a DNS). Z toho plyne, že zatím tam žádná queue není, všichni jednou až gigabit. Omezení je provedeno wifi routerem u zákazníka doma, mají jen 100 Mbit porty. Potřebuju omezit zejména zákazníky, kteří mají 300 mbit. A samozřejmě některé 100 mbit co to nemají do wifi routeru, ale přímo do počítače, nebo mají lepší wifi router s gigovými porty. Aktuálně se bavíme v celku o 250 zákaznících s výhledem do roka na 1000 ks. Absolutní maximum na tento POP, tedy router je 2000 zákazníků. Umím si ale představit i nasazení dvou nebo i více routerů a rozložení těch zákazníků mezi ně (např po 500 ks).

[p79wifi]

AOC-STGN-I2S - jede v pohodě - mám s CPU 5820K na X99 - rozloženo na 12 vláken.

navíc pokud to dáš do pořádné skříně dá se jet na pohodu 4Ghz fr uplně s prehledem a to se myslím nedá moc urvat..já jedu na 3.4 vše vypnuté ( tím myslím všechny kraviny v biosu ) v 2U s kříni protože
není místo v racku jinak bych to dal do 4U a chladil jinak.

[oliver.es]

Díky. Já bych spíš chtěl jít do HP serveru (1U), pravděpodobně ProLian DL360G9 a to buď ve verzi:

1) 2.4G/6C/15M
2) 2.4G/8C/20M

Logicky to tedy bude mít 12 nebo 16 vláken. Nebo mám jít do nižšího počtu jader a vyšší frekvenci ?

[p79wifi]

8 vláken lepší, ale osobně bych nekupoval HP, vždy bych to postavil..

není problém zařídit

[stepan.benes]

a) není jednodušší (a hlavně levnější) než se honit za špičkový výkonem, ten výkon distribuovat ?
b) předpokládám a z výše uvedeného vyplývá že používáte 3 tarifní služby - proč nenahradit v tomto případě neefektivní simple queue pomocí PCQ. Pak stačí na shaping 6 pravidel.

[oliver.es]

Díky

a) ano, sice to bude pořád v rámci 1 POPu, ale jak jsem psal, můžu rozdělit zákazníky mezi více routerů, na kterých se bude shapovat a pak je třeba spojit před konektivitou CCRkem
b) moc toho o PCQ nevím, nicméně zřejmě se 1 pravidlu na 1 zákazníka nevyhnu. Musel bych zákazníky se 100 mbitem dát do jedné skupiny, 300 mbitem do druhé. Jenže jak ? Každý zákazník je terminovaný doma na optickém převodníku a na straně POPu je pro každý SFP port samostatná VLANa (předkonfigurovaná kvůli blbuvzdornosti zaměstnanců) a na IP vrstvě je samostatný C subnet (10.x.x.0/24) obsluhovaný DHCP. Jednou jsem to na routeru nastavil pro prvních 1000 zákazníků a nemusím se o IP adresy starat. Jen přidávám switche, při montáži do racku nastavím VLANy na porty a je to. Dopředu samozřejmě nevím na jakém portu jaký zákazník bude a neustále měnit konfiguraci kvůli nějakému rozdělení do skupin se mi nechce. Fyzickou vrstvu nelze udělat tak že budu mít switch na 100 mbit zákazníky a jiný na 300 mbit kvůli oddělení ODFu od racků se switchi a předpřipravenými patchcordy. Ten POP je postaven tak aby byl připraven na open access.

A nebo, jak jsem řekl, moc toho o PCQ nevím, takže je možné, že mi něco uniká.

[frito]

V Queue si nastavíš jedno pravidlo třeba na 300 Mbit
Pak si nastavíš Que type jako je na obrázku 100Mbit
a pak si uděláš adress list pro jednotlivé tarify tam nahážeš rozsahy lidí
A pak jeden mangle který bude manglovat podle adress listu.

Každý bude mít 100Mbit ale budou sdílet max limit 300Mbit.
Hotovo.

Kolik ti to CCR zvládne VLAN /DHCP ?

[oliver.es]

Díky, vyzkouším to.

Máme ten nejvyšší model 1036, pak už je jen 1072. Je tam zatím 1000 VLAN a 1000 DHCP serverů. Vytížení CPU v jednotkách % po 99% času.

[stepan.benes]

Bylo to celkem fajn prezentovaný na nějakým MUMu ... moment ...
http://mum.mikrotik.com/presentations/US08/janism.pdf

[ferkop1]

Zdravim skladam x86 masnu na 10Gbit hlavny router, chcem sa len spytat ci je to v pohode ked dual 10Gbit kartu Intel x520 detekuje ako ethernet a nie je tam zalozka SFP. V resourcech a PCI ju identifikuje ako 82599EB 10-Gigabit Network Connection (rev: 1), potom tam mam 1x 4port Gbit lan supermicro 82571EB Gigabit Ethernet Controller (rev: 6) ta funguje v pohode aj 4x Gbit na doske.

[whiteagle]

Ahoj,
je tady nekdo, kdo to pcq opravdu pouziva?
Tedka mam treba super prehled o aktualnim down/up u klienta skrze prehled v simple queues, jak se to pak resi u toho pcq? tam kazdeho klienta zlast nikde nevidim,
Jak treba u konkretniho klienta vytvorim podtridu, kde mu shapuju iptv?
Hadam, ze tohle je mimo pcq - ale ta idea by mi asi vyresila problem s upgradem ccrka na x86, tak si to rad necham potrvdit:))

[Bach]

Ahoj,
je tady nekdo, kdo to pcq opravdu pouziva?
Tedka mam treba super prehled o aktualnim down/up u klienta skrze prehled v simple queues, jak se to pak resi u toho pcq? tam kazdeho klienta zlast nikde nevidim,
Jak treba u konkretniho klienta vytvorim podtridu, kde mu shapuju iptv?
Hadam, ze tohle je mimo pcq - ale ta idea by mi asi vyresila problem s upgradem ccrka na x86, tak si to rad necham potrvdit:))

U PCQ s manglem dle address-listu rozděleného per rychlostní tarify nejdou vidět data jednotlivých zákazníků.
shape jine sluzby: manglovací pravidlo dle dst. bud obecne pro vsechny a nebo per customer -> vicero pravidel -> mnoho násobně vyšší zátěž
pravidlo musí být před manglem rychlosti internetu.

[oliver.es]

Marně sháním 10G SPF+ síťovou kartu, která bude umět rozdělení na jednotlivá jádra CPU. Chtěl jsem vzít originál Intel x520, ta má ale omezení pouze na SFP moduly Intel, což je pro mě pasé. Koukal jsem také po Supermicro, ale nevím, je ještě nějaká jiná možnost ?

Díky