❗️Toto je původní verze internetového fóra ISPforum.cz do února 2020 bez možnosti registrace nových uživatelů. Aktivní verzi fóra naleznete na adrese https://telekomunikace.cz

HW a princip rizeni provozu 800 - 1000 Mbps?

Příspěvky, které nespadají do žádného z vytvořených fór.
ludvik
Příspěvky: 4448
Registrován: 14 years ago

Re: HW a princip rizeni provozu 800 - 1000 Mbps?

Příspěvekod ludvik » 13 years ago

Řekl bych, že tomu MSI-X je šumafuk, jestli to je jedno jádro z jednoho křemíku, nebo z jiné patice. To dle mě rozhodně neřeší. Problém vyvstane, když "něco" přehodí zpracování toho paketu na fyzicky jiný procesor. Sice je QPI kurňa rychlá, ale na L3 (nebo nedejbože L2) cache prostě nemá. Proto je pro naše účely lepší jednoprocesorová deska (je levnější, jednodušší) a do toho X jádrový procesor. A zase nemá smysl to přehánět ... záleží i na architektuře té cache, aby to přehazování nebylo i uvnitř toho čipu (i když bude stát méně, než přehazování po sběrnici). Stejně mám pocit, že by se nám víc líbila P4 vytuněná DDR3 paměťmi, PCIe řadičem a frekvencí 10GHz :-)

Jak to funguje je vidět zde na výpisu. Jenže to zjevně samo neřeší vztah víc síťových karet. A je to přitom vcelku fuk ... alespoň pro moje zatížení. On asi ani nemůže ... IP se při průchodu změní, tedy je jiný hash a tedy to odejde jinou frontou. Je to vlastně vysvětlení toho, proč raději nebrat víceprocesory.

Kód: Vybrat vše

 cat /proc/interrupts
 36:          0 3287284149          0          0   PCI-MSI-edge      eth0-tx-0
 37:          0 3524206145          0          0   PCI-MSI-edge      eth0-tx-1
 38:          0          0 3485284196          0   PCI-MSI-edge      eth0-tx-2
 39:          0          0 3503557503          0   PCI-MSI-edge      eth0-tx-3
 40: 3887101291          0          0          0   PCI-MSI-edge      eth0-rx-0
 41: 4103775932          0          0          0   PCI-MSI-edge      eth0-rx-1
 42:          0 3893604539          0          0   PCI-MSI-edge      eth0-rx-2
 43:          0 3966980993          0          0   PCI-MSI-edge      eth0-rx-3
 44:          0          0          1          0   PCI-MSI-edge      eth0
 48:  343183805          0          0          0   PCI-MSI-edge      eth1-tx-0
 49:          0  507105959          0          0   PCI-MSI-edge      eth1-tx-1
 50:          0  284386692          0          0   PCI-MSI-edge      eth1-tx-2
 51:          0          0  391352316          0   PCI-MSI-edge      eth1-tx-3
 52:          0          0 2954374222          0   PCI-MSI-edge      eth1-rx-0
 53:          0          0          0 3344080799   PCI-MSI-edge      eth1-rx-1
 54:          0          0          0 3229378466   PCI-MSI-edge      eth1-rx-2
 55: 3247770185          0          0          0   PCI-MSI-edge      eth1-rx-3
 56:          9          0          0          0   PCI-MSI-edge      eth1

Jiná otázka by byla, kdyby to byl aplikační server. Škoda, že nemám živou ukázku. Ale asi to budu dál zkoumat, protože se mi nezdá toto. Je to to supermicro s E3-1230, ještě nenasazené v provozu. Nějak se mi tam nezdá, že jsou ty přerušení všechny v CPU0.

Kód: Vybrat vše

 69:          1          0          0          0          0          0          0          0   PCI-MSI-edge      eth4
 70:       5621          0          0          0          0          0          0          0   PCI-MSI-edge      eth4-TxRx-0
 71:       3207          0          0          0          0          0          0          0   PCI-MSI-edge      eth4-TxRx-1
 72:       2636          0          0          0          0          0          0          0   PCI-MSI-edge      eth4-TxRx-2
 73:       3196          0          0          0          0          0          0          0   PCI-MSI-edge      eth4-TxRx-3
 74:       2815          0          0          0          0          0          0          0   PCI-MSI-edge      eth4-TxRx-4
 75:       3410          0          0          0          0          0          0          0   PCI-MSI-edge      eth4-TxRx-5
 76:       3274          0          0          0          0          0          0          0   PCI-MSI-edge      eth4-TxRx-6
 77:       2739          0          0          0          0          0          0          0   PCI-MSI-edge      eth4-TxRx-7

Ten E3 Xeon ti bude stačit hodně dlouho ... mám na bráně starší X3470 (2.9GHz) a výkonu to má přehršel. Běžná síť, přes 2600 uživatelů, odhadem 3 tisíce počítačů, ve špičkách i přes 700Mbit (pps ti teď nepovím) a vytížení procesoru abys hledal funkcí magnify :-) Dělá NATku i shapper (obecně: nix-zahraničí, nix jedna class, do zahraničí co uživatel, to class).

Ani paměti není moc potřeba. Tedy je lepší vzít méně a rychlejší (dle specifikace - většinou čím víc, tím pomaleji jedou), než více. Samozřejmě využít všechny kanály. Já tam mám 4GB a dlouhodobé vytížení nejde přes 1.3GB.

Stejně se moc nedoporučuje vytěžovat ethernet na 100%, takže takovýto stroj ti bude stačit prostě na furt. Co pro vyšší rychlosti zatím netuším, všechny testy, datasheety atp. se týkají routingu, zatím nikdo tímto stylem neotestoval NAT+HTB. Ale asi se bude dát relativně běžnými prostředky na pár gigabitů dostat.

Tohle už je vyšší dívčí. Málokdo se s tím setkal. Velké sítě NAT většinou neřeší vůbec a bez conntracku i ten linux jde výkonem nahoru. Kromě toho se jim už spíš vyplatí nějaký HW router, pokud nepotřebuješ plné tabulky, nemusíš utrácet milióny (ale jenom statisíce :-). A shappery se přesouvají blíž ke klientům (to vyžaduje dobře nadimenzované páteře, což je ovšem u sítí našeho typu občas problém). Případně se na to vykašlou, plácnou se přes kapsu a koupí packeteera nebo allota.

A jestli sis dobře všiml jedné poznámky: přenosová kapacita v bajtech je poměrně nezajímavý údaj. Problém se ukáže až s nárůstem paketů za vteřinu. A pro všechno, co pracuje s konexemi (tedy conntrack) ještě počet nových konexí za vteřinu. Tedy jedna mrcha na ethernetu ti to teoreticky dokáže zbořit, zvlášť pokud jí necháš cucat gigo :-) Přitom to na přenosech jako takových vůbec nepoznáš.
Naposledy upravil(a) ludvik dne 12 Apr 2012 20:27, celkem upraveno 1 x.
0 x

net.work
Příspěvky: 2779
Registrován: 19 years ago
Kontaktovat uživatele:

Příspěvekod net.work » 13 years ago

hapi píše:82575 umí a funguje pod mk i pod linuxem 4tx/4rx queue tedy optimální pro quad procesor a to konkrétně ta dvouportová od supermicro. Ověřeno.

82574 na supermicro deskách, nejedná o serverový desky jelikož je snad supermicro snad ani nedělá, dělá desky pro pracovní stanice, tak tam tyhle chipy opravnu neumí víc queue a maji pouze 1tx/1rx queue tedy aspoň něco ale je to ohromná škoda. Nicméně pokud chceš optimálně využít celej procák, dej do PCIe 2 nebo 4 portovej supermicro ethernet kterej bude mít ještě výhodu v tom že do toho xeonu E3 pojede přímo do procesoru (E3 má 20 PCIe linek přímo z procesoru a supermicro desky toho využívaji) a budeš hardware využívat opravdu na max. Na integrovaný ethernety se bodužel vyflákneš ale co no. Leda na přídavný dát težkej oprovoz a na integrovaný nějakej podružnej.

Ta supermicro sitovka (SG-I2 nebo SG-I4) maji 4tx a 4rx IRQ ale jen v pripade 4 jadroveho CPU, jinak maji 2tx a 2rx (v pripade 2 jadra)... Nevim jak se to chova v pripade 2x4jadra, mozna budou to budou pak mit po 8tx/rx...
0 x

Uživatelský avatar
hapi
Příspěvky: 12989
Registrován: 18 years ago

Příspěvekod hapi » 13 years ago

jo to je dobrá poznámka. 82575 maji snad až 8 queue ale teď si nejsem jistej.
0 x

miract
Příspěvky: 1312
Registrován: 18 years ago
Kontaktovat uživatele:

Příspěvekod miract » 13 years ago

Ja mam 2x4 jadra E5 na supermicru a je tam eth0-TxRx-0 az eth0-TxRx-7.
0 x

net.work
Příspěvky: 2779
Registrován: 19 years ago
Kontaktovat uživatele:

Příspěvekod net.work » 13 years ago

miract píše:Ja mam 2x4 jadra E5 na supermicru a je tam eth0-TxRx-0 az eth0-TxRx-7.

jop, takze je to dle jader CPU - pro 2 jadro 2tx a 2rx pro 4 jadro 4a 4 a pro 8fyzickych jader 8 a 8... ma nekdo moznost vyzkouset vice nez 8 jader? :d
0 x

Uživatelský avatar
hapi
Příspěvky: 12989
Registrován: 18 years ago

Příspěvekod hapi » 13 years ago

to smysl nemá, manual píše max 8queue
0 x

PepeOnAchair
Příspěvky: 70
Registrován: 16 years ago

Příspěvekod PepeOnAchair » 13 years ago

Příspěvek od miract » 13 dub 2012 00:27
Ja mam 2x4 jadra E5 na supermicru a je tam eth0-TxRx-0 az eth0-TxRx-7.

Hledal jsem nejakou desku pro E5 Xeony, ale nenasel jsem skladem. Co to mas za sestavu? Jaky CPU a desku? Jaky mas zhruba provoz ve spice v pps a Mbps? NATujes na tom a shapujes?
Nejsou si tim, ze mas 2 CPU, problemy? Je to totiz matouci, protoze "ludvik" pise, ze 2 CPU muzou zlobit. Mel jsem uz +- vybranou sestavu s jednim E3, ale ted muzu zacit znova, uff.
Hodne otazek...

Zrejme "kompromisni" reseni by bylo (jak pise taky ludvik) mit v serveru jeden CPU s hodne jadry? Nevite jestli uz jsou nebo kdy budou serverove desky na 1xCPU Xeon E5 s 6 nebo i 8 jadry? Kdyz uz tak uz ...

Diky
0 x

PepeOnAchair
Příspěvky: 70
Registrován: 16 years ago

Příspěvekod PepeOnAchair » 13 years ago

Vyuzivaji frontu te sitove karty intel82575 fyzicka jadra CPU nebo i ta jadra virtualni?
0 x

net.work
Příspěvky: 2779
Registrován: 19 years ago
Kontaktovat uživatele:

Příspěvekod net.work » 13 years ago

PepeOnAchair píše:Vyuzivaji frontu te sitove karty intel82575 fyzicka jadra CPU nebo i ta jadra virtualni?

ht mam zapnuto a MT vidi jen 2 jadra...
0 x

PepeOnAchair
Příspěvky: 70
Registrován: 16 years ago

Příspěvekod PepeOnAchair » 13 years ago

Jak to teda vidite s tim problemem s vice CPU v jednom routeru. Je tady nazor, ze by to mohlo zlobit/snizovat vykon? a zaroven je zde uzivatel, ktery ma s routeru 2 kusy E5 a zrejme mu to jede, ale zatim nenapsal nic podrobnejsiho.

Mam uz k nakupu pripravene 2 varianty serveru, cekam na vas verdikt :)
- Bud jeden E3 QC procesor "INTEL Quad-Core Xeon E3-1230 3.2GHZ/8MB/LGA1155"
- Nebo dva E5 QC procesory "E5-2609 2,4GHZ/10MB/LGA2011" (sestava je sice zhruba 2x drazsi nez ta s E3, ale kdyz uz tak uz)

V obou variantach pocitam se sitovkou s kontrolerem Intel 82575 a funkci MSI-X

Pep.
0 x

Uživatelský avatar
hapi
Příspěvky: 12989
Registrován: 18 years ago

Příspěvekod hapi » 13 years ago

to je na tobě co opužiješ, dneska by to neměl bejt zásadní problem. Ale asi bych se nehnal zbytečně do dvouprocesorovýho řešení. Na jedný straně ti stojí slabší jedno E3 a na druhý straně rychlejší dvě E5. To je docela rozdíl. 4core vs. 16core v případě 8corových E5. Jako zase takhle, E5 je stejná jako E3 akorát je to vyrobený menšim procesem a tedy menší spotřeba ale zase tak zásadní to nebude. Zásadní je že má víc jader a větší cache takže já osobně bych šel do jednoprocesorový desky pro E5 a osadit jí 8 jádrovym E5. Otázka je jak dlouho na to chceš čekat.
0 x

net.work
Příspěvky: 2779
Registrován: 19 years ago
Kontaktovat uživatele:

Příspěvekod net.work » 13 years ago

a neni reseni vzit E5ku s 1 procesorem a mit do budoucna volny socket a moznost rozsirit o druhy CPU ?
0 x

ludvik
Příspěvky: 4448
Registrován: 14 years ago

Příspěvekod ludvik » 13 years ago

Jsem neřekl, že s tím budou problémy. Já v podstatě řekl, že je to za a) zbytečné, b) očekávaný nárůst bude pravděpodobně nenaplněn, c) drahé.
Méně jader - vyšší frekvence (všeho). To je to, co uživíš nejvíc.
PepeOnAchair píše:Nejsou si tim, ze mas 2 CPU, problemy? Je to totiz matouci, protoze "ludvik" pise, ze 2 CPU muzou zlobit. Mel jsem uz +- vybranou sestavu s jednim E3, ale ted muzu zacit znova, uff.
Hodne otazek...
0 x

miract
Příspěvky: 1312
Registrován: 18 years ago
Kontaktovat uživatele:

Příspěvekod miract » 13 years ago

PepeOnAchair píše:
Příspěvek od miract » 13 dub 2012 00:27
Ja mam 2x4 jadra E5 na supermicru a je tam eth0-TxRx-0 az eth0-TxRx-7.

Hledal jsem nejakou desku pro E5 Xeony, ale nenasel jsem skladem. Co to mas za sestavu? Jaky CPU a desku? Jaky mas zhruba provoz ve spice v pps a Mbps? NATujes na tom a shapujes?
Nejsou si tim, ze mas 2 CPU, problemy? Je to totiz matouci, protoze "ludvik" pise, ze 2 CPU muzou zlobit. Mel jsem uz +- vybranou sestavu s jednim E3, ale ted muzu zacit znova, uff.
Hodne otazek...

Zrejme "kompromisni" reseni by bylo (jak pise taky ludvik) mit v serveru jeden CPU s hodne jadry? Nevite jestli uz jsou nebo kdy budou serverove desky na 1xCPU Xeon E5 s 6 nebo i 8 jadry? Kdyz uz tak uz ...

Diky


CPU 2x E5640 @ 2.67GHz
Deska tusim tohle http://www.asbis.cz/supermicro-2u-serve ... 68660.html

Delam na tom NAT pro 7xC, Shaping asi 1600 PC, OSPF, BGP, web server, smtp server, ftp server, flowtools, dns server, nagios, smokeping, grafovani a dalsi spoustu veci. Max prutoky jsou ve spicce k 300Mbitum, do 40tis pps. OS je tam posledni debian a poslednim 2.6.39 jadrem. Jinak jsem to kupovel jen s jednim xeonem, ale potom jsem zde sehna levneji druhe, tak tam ted mam dva. Vicemene se ten server pri tom vsem co dela porad jeste flaka

Jinak v htopu mi to ukazuje 16 jader. Docela maso. :-)
0 x

hafieror
Příspěvky: 616
Registrován: 19 years ago

Příspěvekod hafieror » 13 years ago

miract píše:Jinak v htopu mi to ukazuje 16 jader. Docela maso. :-)


Tak to při rozlišení 1280x768 nebo kolik to je musíš mít výpis jader přes půl obrazovky :-)
0 x