Hardware pro GW (10 Gbit)

[oliver.es]

Ahoj,

tak přináším report po cca 2 měsících od nasazení doporučeného server Supermicro s kartou STGN-i2S.

První co musím podotknout, tak nám před 14 dni havaroval zdroj a jelikož jsme neměli zaplacené next business day náhradní díly, trvalo asi týden než přišel zdroj nový, takže do té doby a vlastně dodnes jedeme přes původní CCR a neshapujem. Důvod jsou problémy s DHCP, které se projevili už jednou, ale teď po přepojování provozu zpět se objevili znovu a nemají zatím řešení.

Jak jsem psal v zadání, máme FTTH síť point-to-point, postavenou do hvězdy a každého zákazníka máme v separátní VLAN. Na routeru je tedy vytvořeno 1000 VLAN a na nich běží 1000 DHCP serverů, každý zákazník má 10.XX.XX.0/24 subnet. Na CCR fungovalo vše bez problémů. Na x86 mašině po přepojení se v DHCP leases téměř nic neobjevilo. Nejprve naběhlo cca 70 zařízení a pak to přestalo. Nejspíš to byly rádia co ve VLAN jsou na interface uplink a vracejí se zpět na barák ze kterého bereme konektivitu. Na optice nenaběhlo nic, ani mě notebook, který jsem měl zapojený přímo do agregačního switche, což je první prvek za routerem.

Minule jsme si mysleli, že problém může způsobovat link aggregation (který používáme na propojení přístupových switchů a agregačního) protože po jeho vypojení se to tenkrát rozjelo, případně galvanické spojení dvou racků SFP copper kabelem a špatné uzemnění. Od té doby jsem vyměnil propojovací kabel za optiku a switche ve vedlejším racku uzemnil.

Poté co jsem dnes zjistil že to nefunguje, tak jsem vypnul všechny access switche a agregační restartoval, bohužel to nepomohlo. Po opakovaném restartu routeru a switchů naběhly v DHCP leases zákazníci ale jen od VLAN 213 výš. To už mi vůbec hlava nebrala a tak jsem se rozhodl po vyčerpání všech možností (factory reset agregačního switche) provoz vrátit zpět na CCR.

Na něm jsem ještě aktualizoval software z 6.32.3 na 6.37. Vše ihned naběhlo i včetně IP adresy na mém notebooku, což vypadalo jako dobrá zpráva. Pak jsem ale zjistil, že zákazníci na jednom vzdálenem baráku připojeným rádiem (přes uplink v QinQ) v DHCP leases nejsou, přitom jiný barák stejně zapojený fungoval. Pomohlo zakázat a povolit příslušnou VLAN, pod kterou jsou ty zákaznické VLAN. Najednou v leases naběhli a zdá se, že už jsou všichni.

Nevím jak si to vysvětlit, proč na CCR to funguje a na x86 to dělá tyto problémy. Napadá Vás někoho něco ?

Díky.

[Caleb]

Ja mam spatnou zkusenost s x86 a VLANy, ale nemusi to mit zadnou souvislost s tvym problemem.

Na x86 supermicro s Intel 82574L sitovkama mi nechodily VLANy proti HP 1920, cca po tydnu to zacalo fungovat jako shaper. Proti TP-Link JetStream jsem mel zase velke mnozstvi RX dropu (to by mozna vyresila jina forma Interface queue, ale uz jsem to netestoval).

[Filipová Ludmila]

Měla bych dotaz máte někdo na CCR 1036 instalovanou v sfp portu 10Gbit optický modul. Jsou s tím nějaké problémy nebo to funguje ok? Díky za odpovědi. LF

[waggy]

používáme XEON E5-2680V2 8C + Supermicro X9SRL-F + 4x4GB ECC DDR3 Samsung + supermicro SNK P0048PS + SC523L-520 mini2U, Intel X520-DA2 E10G42BTDA + 2xsupermicro AOC-SG-i4(AOC SGP-i4 ve stejném konfigu občas tuhla) , cca 50xFW, 500xNAT, 150xQUEUE, 4000xaddress list, Mikrotik 6.36.4 , VRRP a jede to smoothly cca 20%/gigabit provozu

[waggy]

Měla bych dotaz máte někdo na CCR 1036 instalovanou v sfp portu 10Gbit optický modul. Jsou s tím nějaké problémy nebo to funguje ok? Díky za odpovědi. LF

používáme a nebyl problém

[menicks]

1) aby melo smysl se bavit o vykonnejsim virtualizovanem zeleze a 10gbps kartama, mel bys IMHO zajistit, ze sitovky budou pro ten virtual dedikovane (PCI passthrough) at se k latenci zpracovani packetu jeste nepridava virtualizacni vrstva. Mozna by to pomohla resit take nejake hw akcelerace na karte (jak je na tom ROS v tomhle smeru netusim). Virtual bude mit vzdy potrebovat vice cyklu CPU na zpracovani packetu nez fyzicke zelezo (pridelovani CPU, IRQ atd)

2) nejak si nedovedu predstavit to nasobeni vykonu routingu spojene s virtualizaci. Jestli mas predstavu, ze Ti ten ROS pak pobezi na virtualnim stroji tvorenem z vice HW serveru tak to je IMHO nesmysl.


1200 zakazniku na jednom serveru se shapingem accountingem apod neni na jednom serveru zadna vysoka zatez. Na Linuxu s optimalizovanym HTB s tim neni problem.

Jakmile se začne natovat a shapovat na něčem co je virtuálu je s tím obrovský problém. Zažili jsme že server doslova flákal ale díky tomu že to běželo přes vmware ztrátoval a nepropouštěl pakety.

[lukas]

Nezkoušeli jste někdo ty nové E200/E300 servery, resp. desky X10SDV s novymi Xeony D? (https://www.supermicro.com/products/sys ... 300-8D.cfm). Je to cenove hodne zajimava varianta k CCR, ovsem nevim, jak to bude s podporou sitovek...

[loopie]

Zkoušel jsem. Předpokládám, že se zajímáš o integrované 10gbit X522 síťovky. Mikrotik je podle očekávání nepodporuje. Už delší dobu zkouším XeonD trápit jako VM host s virtuálním ROSem (CHR i x86) a zatím nemůžu doporučit ani tuto variantu.

Jarda

[lukas]

Díky za informaci. To je blbý. Pokud jde o ty integrované 1G sitovky, ty v ROS fungují korektne?

[loopie]

Hezký den,
toto se bude asi lišit podle výrobce desky, v CPU jsou pouze 2xX522 Já mám starší supermicro a na desce je 2xi350, které ROS umí používat. To co jsi odkazoval vypadá lahodně, podle datashitu je tam quad i350 a dual i210 (tohle vůbec neznám).
Ještě upřesním, že i ty X522 lze použít, pokud se použije virtualizovaný ROS (otestováno na vmware a proxmox/KVM) - jediný problém, který s tím mám je při použití MPLS a je nanejvýš pravděpodobné, že je to jenom mojí vlastní blbostí. Pokud bychom se bavili o obyčejném ethernetu, tak není co řešit. Výkonu má to CPU na rozdávání.

Jarda

[coolerman1]

Ma uz nasadeny nekto ten supermicro e300 ?

[hapi]

proč by to někdo kupoval?

[erotel]

Ma uz nasadeny nekto ten supermicro e300 ?

Máme jeden kousek na síti,běží na tom linux.Routuje to optiku.

[forkman]

Ahoj, zrovna taky řeším hamletovskou otázku, potřebuju NATovat/QoSovat víc jak gigabit a současné železo už je na hranici. Takže nevím jestli jít do CCR, nebo zase do x86 routeru. Máte někdo konkrétní zkušenosti s obojím? Jde mi o rezervu do budoucna. 2 a půl roku zpátky jsem si myslel že mám rezervu pořádnou, ale od té doby máme 3x větší tok.

Takže alternativy:
- nějaké CCR, nevyznám se v nic, ale vím, že čím víc jader, tím víc adidas.
- Xeon D, ale kolik core? Oproti E5 mi to nevyjde extra výhodné.
- Xeon E5 - našel jsem server HP DL120G9 za luxusní peníze s E5-2630v3, i když preferuju Supermicro

Do toho určitě dualport 10Gbit síťovku a poběží tam ROS, na linux jsem lama.

Když tam bude rezerva, dám klidně o 10k víc, ale nechci to za rok zase měnit Uvítal bych konkrétní zkušenosti a ne teorie. Díky.

Teď máme Intel Avoton 8c a dává to tak ~750Mbit

[Petr Bačina]

A co to radši rozhodit na víc zařízení?