x86? SuperMicro?

[sub_zero]

Kolegové,

máme nyní na hl. routeru následující konfiguraci:

X7SBI-LN4
Xeon X3360 - 2.83GHz
2GB RAM
SC513F-260-B:SC513F-260 mini 1U, 12"x9,5",1HDD,260W(24+4p)

Jelikož se vytížení ve špičkách blíží 60-80%, už se 2x za poslední měsíc sekl (už běží cca 4 roky), potřebovali bychom nějakou OSVĚDČENOU HW konfiguraci. Opravdu jen prověřenou provozem, žádný testy nebo formulace "mohlo by fungovat...atd"

Požadavky:

cca 2000 QT , 4000 manglů, 3x DHCP pro cca 1000 lidí, 130 vlanů, 5 tis záznamů ve FW, BGP + statika (2x session, není potřeba plná tabulka), No NAT, IPsec (15 peerů), l2tp (6 peerů), sstp, tok cca 400Mbit symetricky. Minimálně 3x ETH a 2x SFP.

Díky za případnou pomoc.

OT: zvládne to CCRko?

[ludvik]

Nedá mi to - vyhoďte už proboha lidi toho mikrotika z gatewayí! Nestačí ti to jenom proto, že tam je ten mikrotik ... resp. nutnost mangle. A ve tvém případě i ten firewall ... toho se dokážeš zbavit address-listem, ale mangle ne. Nedokážu posoudit náročnost těch tunelů, ale to můžeš vždycky hodit někam vedle.

Já mám na bráně X3470 na 2.93GHz (plusmínus tedy to samé, co máš ty, má to méně cache). Dělá to NAT a QOS pro 2600 lidí. Přes 5600 IP adres. Srovnání s QT asi nejsem schopen udělat, ale těch tříd tam bude určitě víc - jelikož každý user má v podstatě vlastní. Není tam BGP, to mám jinde, ale to moc nestojí.

Server se v podstatě fláká i v době, kdy teče 800Mbit. Měnit ho budu jenom proto, že začal být nestabilní a nevím proč, vypadá to na nějakou chybku ve starším jádru.

Supermicrem chybu asi neuděláš. Kup něco s Xeonem E3. Já to teď dělám z tohoto: http://www.asbis.cz/supermicro-1u-serve ... 88257.html

Problém je požadavek SFP, takových serverů moc není. Pár jsem jich sice viděl (kdybych si tak vzpomněl ...), ale této kategorie to nedosahovalo.
Jediná šance je tedy extra karta. Se SFP nevím, ale pro SFP+ se dělají, třeba intel X520-DA2. Gigové SFP by v tom fungovat měly, ale vyzkoušeno zatím nemám, nebyla skladem.

[okoun]

zkusil bych vyházet ty ipsec a ostatní tunely na jiný stroj, třeba to rapidně pomůže výkonu.....

Kolegové,

máme nyní na hl. routeru následující konfiguraci:

X7SBI-LN4
Xeon X3360 - 2.83GHz
2GB RAM
SC513F-260-B:SC513F-260 mini 1U, 12"x9,5",1HDD,260W(24+4p)

Jelikož se vytížení ve špičkách blíží 60-80%, už se 2x za poslední měsíc sekl (už běží cca 4 roky), potřebovali bychom nějakou OSVĚDČENOU HW konfiguraci. Opravdu jen prověřenou provozem, žádný testy nebo formulace "mohlo by fungovat...atd"

Požadavky:

cca 2000 QT , 4000 manglů, 3x DHCP pro cca 1000 lidí, 130 vlanů, 5 tis záznamů ve FW, BGP + statika (2x session, není potřeba plná tabulka), No NAT, IPsec (15 peerů), l2tp (6 peerů), sstp, tok cca 400Mbit symetricky. Minimálně 3x ETH a 2x SFP.

Díky za případnou pomoc.

OT: zvládne to CCRko?

[hapi]

já myslel že tam máte Xeona E3.

Nicméně mě někdo požádal o to jak posílit určité železo. Doporučil jsem mu zakoupit SGP-i2 od supermicro a byl nevýslovně spokojen. Samozřejmě podmínka je mikrotik minimálně v5 a případně vypnout RPS a taky dost pomáhá nastavení IRQček ručně mezi jádra. Samozřejmě fakt doporučuju Xeona E3 + osadit tu kartu.

Konkrétně to je taky deska LN4 pro patici 1155 nicméně ta karta pomůže extrémně.

Do linuxu bych se nehrnul. To tvrdí jenom ti co se pořádně nepodívali na absolutní vytížení vším a koukaji na load znám lidi kteří na mkčku jedou i více a jedou.

Každopádně s SFP porty bude potíž pokud tam nechceš dávat 10Gbit porty nebo externí media konvertory což je taky řešení. Při použití 10Gbit SFPček by měly mít schopnost rozhodit hardwarově zátěž až na 256 jader takže nějakýho Xeonka E5 s 8 jádry by to do mrtě dokázalo využít

Každopádně jakmile budeš mít interface o jedný IRQ frontě tak prostě skončíš na přetížení jednoho jádra a pápá. To mě překvapilo u jednoho HP serveru kterej byl osazenej broadcom ethernety a prakticky to byly obyč ethernety s jednou queue načež vedle stál druhej HP server s deskou dohně podobnou osazenou intel ethernety a tam už bylo 8 queue což se brutálním způsobem podepsalo na zvládání DDOS útoků mimo jiné.

[ludvik]

Do linuxu bych se nehrnul. To tvrdí jenom ti co se pořádně nepodívali na absolutní vytížení vším a koukaji na load znám lidi kteří na mkčku jedou i více a jedou.

Čistý linux je pracnější, o tom žádná. Ale také flexibilnější a hlavně výkonnější. Nejsi vázaný tím, co MK někde zmrší. Ono třeba absence iptables-restore, nebo ipset swap (a restore) nebo geniálního targetu CLASSIFY v netfilteru je docela krutá pro nasazování do vyšších sfér. O možnosti ladění parametrů třeba síťových karet ani nemluvím.

Věci jako winbox, PCQ či SQ holt oželím.

Na load samozřejmě nekoukám ale když už se ptáš ... nula.

[mato1]

...toho se dokážeš zbavit address-listem, ale mangle ne...

ok, toto je pomerne zname. ale ako riesis potom napriklad grafy prenosov dat jednotlivych klientov, pripadne ak je nutne pozriet sa niekedy na pocet prenesenych dat?
alebo napriklad pripadne FUP, resp. priorizovanie medzi klientami?

[Dalibor Toman]

...toho se dokážeš zbavit address-listem, ale mangle ne...

ok, toto je pomerne zname. ale ako riesis potom napriklad grafy prenosov dat jednotlivych klientov, pripadne ak je nutne pozriet sa niekedy na pocet prenesenych dat?
alebo napriklad pripadne FUP, resp. priorizovanie medzi klientami?

my mame na mereni dat vlastni modul do jadra/iptables, ktery pocita bajty pro zadana IPcka (CPU narocnost nula cela nic). Pokud Ti vyhovuje muzes IMHO pouzit standardni account modul z IPtables. Data muzes cist po SNMP, ukladat jedno za cas do DB a kreslit z nich grafy. FUP poresis skriptem, ktery z DB spocita co je treba a na zaklade toho muzes delat co chces (modifikovat shapery apod).

V iptables muzes optimalizovat (dost podstatne) pomoci ipsetu, v shaperech zase pomoci hash tabulek...

[ludvik]

Taková podrobnost mi za výkonovou ztrátu nestojí. Nepotřebuji to. Ale základní statistiku mám z QOSu, tam pakety jsou vždy. U nás teda zkreslené tím, že NIXový provoz jde trochu mimo, takže sčítám jen to ostatní.

Ono už je jedno jakým stylem zařídíš, aby daná IP spadla do požadované třídy QOSu. Problém je, že mangle (resp. mark) je prostě ta nejhorší možnost. Zvlášť pokud si člověk nedá práci se "stromečkem" a má to jen jako nudli pravidel. Nejvýkonnější jsou hash tabulky přímo v TC, jenže jsem je za a) moc nepochopil a za b) v ROSu stejně ta možnost není. Lze to najít na fóru czfree. CLASSIFY je dobrý kompromis (kdyby bylo ...). Samozřejmě je nutno také optimalizovat. U mě kdysi (asi to byla ještě P4) klesla vytíženost z desítek procent na procenta jen tím, že místo MARK jsem použil to CLASSIFY.

Pro statistiku přenosů, pokud je ve firewallu každá IP, je asi nejlepší ipset s counterem (případně různé netflow řešení). Ale to také není v ROSu, je až v novějších jádrech linuxu (nevím od kdy). A nezkoušel jsem to.

Koukám ... Dalibor stihl odpovědět. S tím modulem do jádra je to zajímavé. Ale viděl jsem upravený ulogd, který dělal v podstatě to samé - a rovnou to cpal do DB.

ok, toto je pomerne zname. ale ako riesis potom napriklad grafy prenosov dat jednotlivych klientov, pripadne ak je nutne pozriet sa niekedy na pocet prenesenych dat?
alebo napriklad pripadne FUP, resp. priorizovanie medzi klientami?

[mato1]

my mame na mereni dat vlastni modul do jadra/iptables, ktery pocita bajty pro zadana IPcka (CPU narocnost nula cela nic). Pokud Ti vyhovuje muzes IMHO pouzit standardni account modul z IPtables. Data muzes cist po SNMP, ukladat jedno za cas do DB a kreslit z nich grafy. FUP poresis skriptem, ktery z DB spocita co je treba a na zaklade toho muzes delat co chces (modifikovat shapery apod).

V iptables muzes optimalizovat (dost podstatne) pomoci ipsetu, v shaperech zase pomoci hash tabulek...

ale toto asi nespravime v MK...

[sub_zero]

Pánové,
díky moc za jistě přínosnou diskuzi pro linuxáky. My Linux neumíme (už to slyším: "a jééééé, lůůůzři"..) a na Linuxu tudíž stavět nebudeme. Kdyby to šlo postavit na widlých, Active Directory nebo VMware, klidně

Takže prosím jen k tématu.

Díky.

[ludvik]

K tématu to je ... ušetřil jsem ti třicet tisíc cash.

[sub_zero]

K tématu to je ... ušetřil jsem ti třicet tisíc cash.

+ by jsi přidal x stovek hodin nervů né, o prachy v tomto relativně nejde. Jsme si vědomi důležitosti tý mašiny, takže se s investicí počítá.

[Bohus]

konfigurace Xeon e3 3,1Ghz 8MB cache, deska
X9SCi-LN4F+ supermicro dualni sitovka.
100 src nat + 100 dstnat zadny queue, dve plny BGP, 150 zaznamu ve firewallu.. celkem to dejcha az se mi to skoro nezda...
nicmene pripraven novej stroj na socketu 2011 a asi prechod na linux. (coz nevim zda neco vyresi)..

[hapi]

no jo chlape ale podívej se, všechny ethernetový queue ti sedí na jednom jádře (3). To je průser. Nevim co ti tam papá tolik výkonu že kernel rozhodnul o tom že to přesune na jedno jádro ale je to divný. Předpokládám že ti to papá velká routovací tabulka. Schválně zkus ručně nastavit RX fronty v IRQ ručně popořadě na jednotlivý jádra a v RPS v Resources ho vypni. Neboj, nic se nestane. Můžeš to udělat pouze na tom iface co nejvíc přijímá což asi bude ten co mu nejrychleji rostou County v IRQ.

[Bohus]

podle tool/profiles to dela management ale i kdyz winbox vypnu, drzi se to na stejnych hodnotach.