Výběr HW na GW

[Petr Bačina]

Ahoj
Potřeboval bych poradit s výběrem HW na GW s RoS.

Stávající stav:
CCR1009-8G-1S a je procesorově úplně v řiti. Dost často se stává, že jde díky jednomu přetíženému jádru celý procesor do kopru.

Data: cca 100Mb/20Mb
firewall: 32 pravidel
NAT: 60 pravidel
QT: 500 pravidel
Mangle: 400 pravidel

Představa? Nová GW by měla zvládnout s přehledem minimálně 2-3 násobek momentálnáho stavu a mít co nejmenší možnou spotřebu.

Napadlo nás využít
CPU: Intel Core i5-4570T (2 jádra 2,9GHz, Turbo 3,6GHz, TDP 35W)
Deska: GIGABYTE GA-H81TN - Intel H81
RAM: 2GB DDR3 SO-DIMM
Disk: Samsung SSD 840 EVO
LAN: Supermicro SG-I2 nebo MikroTik RB44Ge

Co vy na to? Nějaké nápady, návrhy?

[3com]

Zruš pravidla a bude se flákat verze ros?

[aliney]

asi delam neco spatne, ale mam v siti jedno RB800 v5.21, 140 FW , 100 NAT, 140 Mangle, 130 QT a k tomu jeste zajistuje 6x wifi ap bridge
rocni graf ukazuje 80% na cpu a beha to v pohode 80M ze 100M konektivity. (podle profileru bere 30% wireless a 30% firewall)
castokrat tady slysim jak RB po par pravidlech ve FW nezvladaji svoji funkci, nedejboze mu tam hodit jeste QT, to by se mel asi rozpadnout... ja ho mam celkem slusne vytizene a proste to bezi v pohode.

Podle me se musi ten navrhovany Intel Core i5-4570T nudit 99% sveho casu i kdyby tam mel 3 nasobek stavajiciho stavu.

[dagus]

starší xeon e3 4jádra a 4HT, trafik 300Mbit/100Mbit 1500 pravidel mangle, 4200 pravidel queues a procesor do 20%, ale když jsem zkoušel jedním spojením skrz tak to udělalo "jen" 750Mbit. Věřím že když tam půjde víc spojení skrz tak se to vyhoupne třeba víc, ale na jedno to moc není. Problém je dle profileru Firewall

[pcwifi]

kdyz sem vybiral na GW HW, nemel sem az tak moc financni strop, ale nakonec stacilo : Xeon E3 - 1245 na desce X9SCI-LN4F. Po i3 / i5 sem ani nevim proc nesilhal. Vytizeni at se deje co se deje s par NAT pravidly a asi 600 SQ je ve spicce (aktualne do 250 / 40 Mbit) max 7%. Dneska vim ze je to prudce naddimenzovane, ale downgradovat to nebudu . Tobe by mohl stacit nejaky novy Atom 4 core, jen narychlo sem nasel treba SUPERMICRO MB Atom C2750 ale tusim i Hapi tady neco zminoval a testoval. I ja bych dnes uz vybiral jinak.

[placek.milan]

CCR1036-8G-2S+
Firewal - 90 pravidel
NAT- cca 100 pravidel
Queue není, to je primo na koncovych MK

Při cca 800mbps se fláka do 20% a myslím že má prst v nose

[Tomáš Nesrsta]

Peto to CCRko by ti to zvladalo kdyby jsi mel misto QT SQ. Tusim ze Hapi tu psal ze QT zabere jeden procesor kdezto SQ se umi rozlozit do vicero...
Jinak sestava kterou jsi vymyslel tohle utahne s prstem v nose a vystaci ti na nekolik dlouhych let dopredu...

Jinak ja mam historicky GW ktera dela jen NAT a pak druhou masinu na SHAPING.

[Petr Bačina]

Nevím proč, ale to CCRko se prostě chová divně. Myslím, že problém nastává ve chvíli, kdy na jedno z jader padne buďto jedno kvíčko, nebo magle s více spojením a v tu chvíli se vyhnoupne jedno z jader na 100% a zabije to celý procesor. A přitom se to stává i ve chvíli, kdy by nemělo. Asi máš pravdu Tome i Hapi. Ono taky asi není dost možné, aby si RoS jedno kvíčko rozdělil na víc jader.
Kolikrát tam frčí přes 100Mb a přitom CPU v pohodě a pak jede 50-60M a CPU jde srát...
SQ nechceme, už kvůli rozdělení rychlosti mezi klienty. Přitom nemáme nastavené nějaké šílenosti. Čistě omanglovat a poslat skrze QT. Původně byl na místě CCRka Celeron 1007U, ale ten má v klidu docela velkou spotřebu a hlavně malou frekvenci a při nějakých 60M šel přes 40% pokud si dobře pamatuji. Rád bych vyřešil GW na nějaký čas dopředu, i když to holt bude stát prachy. Shaping řešíme centrálně pomocí QT, tak nějak nám to vyhovuje

[hapi]

další oběť CCRka? a to se chystá ještě 72 jádrovej krám

podle mě změna QT na SQ ničemu nepomůže. Rozdíl je v tom, že dřív SQ neumělo ani polovinu toho co QT a všechny změny v SQ co se udály v SQ jenom dohnalo QT. Neni možný rozložit queue ať už je to tree nebo simple mezi více jádry resp aby ho na jednou zpracovávalo víc jader. Max ho bude jádro přehazovat po nějakým čase mezi jádry a tim rozkládat zátěž tak aby víc queue neběželo a nepřetížilo jádro ale se stoupající zátěží k tomu stejně dojde.

Podle mě by ti stačil nějakej ten novej 4 jádrovej atom s eth kartou supermicro SGP-i2 nebo SG-i2 aby ti to rozkládalo hardwarově. Pak tenhle prcek zvládne docela dost. Ale zase... to nemáš na to zaplatit 50W spotřebu?

Na tu 4 portovku od mikrotiku zapomeň.

[whef]

Nj věčný boj s HW GW mikrotik, musím říct, že supermicro drží, ale štve mne, že mikrotik zařízl dost platformu PCx86 nepodporuje více RAM nový hw atd. přitom CCR-ko je dost k ničemu tak nevím kde je chyba, že by to byl stále pokus od Mikrotiku, a nebo neumějí či není jednoduché předělat jádro ROS, aby se to rozkládalo mezi více jader, či blbá konfigurace nevím, jestli soudruzi v MK přemýšlí .. stále nevím proč chrlí tolik hw místo pár kvalitnějších promyšlenějších universálnějších modelů ..

[Petr Bačina]

njn CCR jako shaper není dobrá volba. Jakou čistý router bude ale perfektní. Spotřeba je podle mě taky jeden z důležitých parametrů už jenom kvůli době zálohy a navíc jestli mám dám 2000,- nebo 4000,- ročně jenom kvůli routeru.... Ale samozřejmě když bude spotřeba u našlapané mašiny 50W, tak je to v pohodě. Ale narvat tam nějakýcho Xeona se serverovou deskou se 100W spotřeby by se mi nechtělo.
Jak je na tom SGP-i2? Spolehlivé a funkční? Pročpak ne tu kartu od mikrotiku?

[hapi]

hehe, a vy poslední dva jste se právě střetnuly na otázkách proč to nejde rozložit na více jader. Jeden se ptá proč použít SGP-i2 a druhej proč se to mezi jádra nerozkládá? Odpověď je jednoduchá.

Může za to x86 hardware. Projděme si trochu historie x86. Tato platforma primárně v dřevních dobách je dělaná na IRQ vytvářený obsluhou tedy člověkem. Z tohoto pohledu je IRQček který přicházejí do CPU minimum. A tak to je i u domácích PC a to i u těch co se staví pro hraní her. IRQ do GPU jdou směrem od CPU a opačně jenom minimum. No jo ale co když x86 použiju jako router? Hmm, dříve více méně na každej příchozí paket se vyvolalo jedno IRQ přerušení. Hmm takže na 10.000 paketů tu máme 10.000 externích přerušení k CPU za sekundu. Kurva to je ale nářez. Člověk by si řek že cpu s několika miliony operací za sekundu to hravě zvládne jenomže IRQ je IRQ a to se musí vykonat obvykle okamžitě takže CPU si musí udělat čas na zpracování IRQ a to už je víc operací jako třeba pozastavení operací co právě děla, uložení je do ramky a zpracovat IRQ až potom a po zpracování zase načíst z ramky nedokončenou práci a pokračovat. To už je kopec času který tomu muselo vyhradit. Takže x86 architektura musela vymyslet featury jako třeba MSI/MSI-X atd.. aby odlehčila IRQ zátěži protože na tu v tý době vychcípalo.

Takže po tom co přišly různý shlukování paketů pod jedno IRQ a podobný věci přišlo víc jader na cpu. K čemu to ale je když IRQ je mapovaný na konkrétní jádro takže to jedno jádro dostává furt stejný kapky? Je to více méně k ničemu protože jádro který přijme IRQ a následně paket taky zpracovává ten paket jako firewall queue atd.. Neopustí mantinely jádra. Jak zpracovat pakety na více jádrech? od toho je RPS. Ano, RPS co je v mikrotiku podporovaný (system resources RPS). Co to dělá? Jedno jádro přijímá pakety ze sítový karty a přeposílá je ostatním na zpracování. Ano jde o softwarovou berličku takže to něco přidá na výkonu než bez RPS.

Dostáváme se k tomu proč Supermicro SGP-i2. Tato eth karta díky svému chipu umí spoustu featur a pro naše routovací požadavky nám stačí jenom jedna. Ona totiž umí obsadit až 8 IRQ (v závislosti na počtu jader v CPU)... jinak řečeno umí pakety posílat na střídačku podle toho jak přichází až mezi 8 IRQ přerušení. A to dělá ona sama hardwarově!! Takže RPS je v tomhle případě featura co škodí protože to nahrazuje sama síťová karta. Navíc se paket dostane přímo na konkrétní jádro a navíc v mikrotiku si můžeme namapovat IRQčka na konkrétní jádra. Takže pokud to nastavím třeba takhle:



tak obsazuju všechny jádra více méně rovnoměrně a hlavně hardwarově. A tim dochází k obrovskýmu škálování výkonu. Tohle mikrotik karta neumí. Má jedno IRQ. Stejně tak jako většina ostatních eth karet. Máme ověřeno že 2x4jádrovej xeon starý generace (X5570) s touto kartou dokáže nejenom ukočírovat přes 800.000 paketů za sekundu skrz sebe ale hlavně s těmi pakety dokáže ještě něco dělat jako třeba filtrovat, natovat, shapovat... a to už je obrovská síla. Eth karta umístěná na desce v tom samém stroji tohle nedokázala (na obrázku jsou to poslední dvě IRQ). Proto byl router dovybaven touto supermicro kartou.

Takže pokud mám stavět něco co má tahnout 100Mbit a shapovat (filtr ani nat a podobný věci nesežerou tolik výkonu jako shaping) a vydržet minimálně 3x tak větší průtok (nezapomeňte že s rostoucí rychlostí bude nesporně růst i počet pravidel takže zátěž na cpu bude vyvíjena ze dvou směrů) tak to bude něco s minimálně 4 jádry a frekvencí cpu nad 2GHz a bezpodmínečně vybavenou supermicro kartou nebo nějakou jinou s chipem 82575, 82576, i350 a pár broadcomů to umí taky ale nevim konkrétně jaký.

Docela dost lidí mi volá že chce použít ty nový 4core atomy a já říkám že není problém ale musíš tam dát kartu s více IRQ jinak zapláčeš při +100Mbit a hodně shapingem. Nikdy bych nedoporučoval použití atomů ale ty nový atomy jsou prostě jiný kafe a na tohle se více než hodí. Samozřejmě v porovnání s E3 xeonem je to čajíček a pokud to ISPík myslí vážně tak si pořídí minimálně Xeon E3 kterej prostě se spotřebou kolem 50W nebude dělat idiota a dá k tomu 1000VA UPSku na hodinu a hotovo. A hlavně vydrží nesporně větší brutality než atom kterej si stejně nekoupíte od supermicra takže bude i v desktopový variantě na prkně který nebylo stavěný na nonstop provoz a zbastlený do nějaký skříně...

No a nesmíme zapomenout na software že? k čemu nám je že to hardware rozloží když queue už se tak hezky mezi jádry nerozloží že? Je to stejná úchylárna jako koupit si mobilní telefon co má 4 jádra taktovaný na 1.2GHz.... ty voe proč neudělaji 2 jádrovej cpu taktovanej na 2GHz? ono by to totiž mělo pro uživatele větší užitnej výkon protože některý věci se prostě rozložit mezi jádra nedají a museji se zpracovat v single operaci seriově na jednom jádře a hotovo.

Queue zpracování běží v single threadu takže když přijde do týhle queue třeba 500.000 paketů za sekundu tak to vyžere jedno jádro... ale ouha, CCR má ubohých 1200MHz na jádro a ještě je samo o sobě jádro velmi slaboulinký na výkonu takže ho zabije v queue asi tak 75.000 paketů za sekundu... hoooo takže jedno jádro na max a je průser, že. Plánovač úloh neni tak chytrej aby všemu předcházel a začínaji se dít nehezké věci jak sem tam lidi popisují. Takže ano, CCR je hezký ale na seriozní práci s ním nemá dost výkonu ale pro většinu věcí na co ho lidi používají je dostatečný i když je kurva drahý a radsi si koupim xeona protože nechci důležitou věc dávat na v číně poslepovanou desku s naflusanými součástkami. Vždyť ty kokoti tam nedaji ani pořádnej kvalitní zdroj a chtěji za to 20 tisíc!!!

[David2006]

Jak se Hapi liší ta Supermicro sgp-i2 od Intel Pro/1000 DT Dual Port Server Adapter? Podpora v Mikrotiku mě sice nezajímá spíš která je lepší parametrově,sry za OT.

[hapi]

Pokud vis chip tak ti to reknu. Nebo jestli mas link na kartu. Mikrotik je Linux takže to je stejný.

[trychlik]

umi Supermicro AOC-STGN-i2S take HW rozklad na 8IRQ?
pokud ano, je lepsi xeon s 6ti (3.6G) nebo 8mi jadry (2.4G)?
dekuji!