HW a princip rizeni provozu 800 - 1000 Mbps?

[ludvik]

Co to je?

Ja jsem sel cestou znackovani packetu primo v HTB

[PepeOnAchair]

Ma smysl shanet server se dvema vicejadrovymi CPU nebo jen s jednim vicejadrovym? Dokazou ty novy CPU a vsechno okolo vyuzit pro jednu sitovou kartu vice jader nebo i vice CPU? Slouzi k tomu HT?

[ludvik]

Jeden vícejádrový. Víc patic jsou vyhozené peníze. A víc jader než 4 (možná i 2) také. Spíš lepší frekvenci a větší cache, než množství.
HT je asi trochu něco jiného, než myslíš.
Rozhazování IRQ na procesory je spíš vlastnost těch síťových karet a jejich ovladačů, než procesoru a čipové sady. Umí to třeba intel serverové karty (s ovladačem igb).

Ma smysl shanet server se dvema vicejadrovymi CPU nebo jen s jednim vicejadrovym? Dokazou ty novy CPU a vsechno okolo vyuzit pro jednu sitovou kartu vice jader nebo i vice CPU? Slouzi k tomu HT?

[miract]

Co to je?

Ja jsem sel cestou znackovani packetu primo v HTB

napr:

$tc filter add dev $devdown protocol ip parent 1:0 prio 100 u32 ht \ `printf %x $hs3`:`printf %x $hs4`: match \
ip dst $ipcko/$maska flowid 1:`printf %x $trida"0"`

Je zde i naznak hashovani.

[PepeOnAchair]

Na tom server jak jsem psal v prvnim prispevku, tj.
"HP Proliant DL380 G3, 1GB RAM, 2xDC Xeon@2,8GHz, 512KB cache" jsem vcera ve spicce pokusne vypnul vsechna IP tables pravidla, smazal cely strom TC pravidel a vubec vsechno co je tam kvuli HTB shaperu.

Takze server delal uz jen NAT a router. I presto se ale propustnost skoro nezmenila (resp. narostla o cca 10 - 20 megabitu, coz mohlo byt necim jinym). Muze byt tohle zpusobene tou pomalou sbernici FSB?

Pep.

[hapi]

hele, na novější procesory dávaly 800MHz zběrnici, proč asi. Pak jí uplně vyhodily, proč asi. A ty máš na jedný tý zběrnici procesory dva a navíc co jsem tak koukal tak uplně prach obyčejný desktopový paticích takže vše jde přes FSB, jak přístupy do ramek, přístupy k ethernetům a nejbolavější místo přístup jednoho jádra k něčemu co má to druhý. To je kritická operace u routerů. U serverů poskytující obsah nebo nějaký aplikace je to více méně fuk protože jedno vlákno aplikace si většinou jede na svym písečku ale vem si že ty přijmeš paket do prvního jádra a odbavíš ho druhym jádrem a to ještě něvíš jakym jádrem ho budeš propouštět firewallem. To je špatně když je každý jádro v jiný patici. Navíc je to P4, nevhodná na operace tohoto typu, vlastně ona ta architektura nebyla vhodná snad k ničemu.

[Myghael]

Navíc je to P4, nevhodná na operace tohoto typu, vlastně ona ta architektura nebyla vhodná snad k ničemu.

Náhodou, jako přímotop je to super. V zimě jsem měl testovací "server" s P4 3 GHz přetočený na 4,5 GHz a krásně to vytápělo celou místnost. O tom že tomu výkonostně můj domácí servřík se spotřebou cca. 50 W load totálně na prdel, tak o tom žádná.

[PepeOnAchair]

HT je asi trochu něco jiného, než myslíš.
Rozhazování IRQ na procesory je spíš vlastnost těch síťových karet a jejich ovladačů, než procesoru a čipové sady. Umí to třeba intel serverové karty (s ovladačem igb).

Ma smysl se pidit po tech Intel kartach Intel s ovladacem igb nebo ani ne? Montujou se jake vestavene do nejakych serverovych zakladnich desek nebo jen jako karty?

V jinem postu jsi mi doporucoval sestavu http://e-shop.asbis.cz/supermicro-mini1 ... 73595.html, (patice LGA1155) ve kterem jsou sitove karty:
"Intel® 82579LM and 82574L", coz podle seznamu podporovanych karet driveru IGB na http://downloadcenter.intel.com/detail_ ... ldID=13663 to spis vypada, ze v te sestave nejsou sitove karty podporujici driver IGB a tu funkci "setreni_prerusenimi" (btw jak se ta funkce spravne jmenuje?)

A co jeste treba pouzit desku s patici LGA1366? Treba http://e-shop.asbis.cz/supermicro-1u-se ... 56014.html
a do ni CPU
http://e-shop.asbis.cz/intel-quad-core- ... 73703.html
neni to zbytecne moc silny?

Skoda, ze se vyvoj nezastavil u 286tek, bylo by to vybirani jednodussi ...
Diky moc za pomoc.

[PepeOnAchair]

hele, na novější procesory dávaly 800MHz zběrnici, proč asi. Pak jí uplně vyhodily, proč asi. A ty máš na jedný tý zběrnici procesory dva a navíc co jsem tak koukal tak uplně prach obyčejný desktopový paticích takže vše jde přes FSB, jak přístupy do ramek, přístupy k ethernetům a nejbolavější místo přístup jednoho jádra k něčemu co má to druhý. To je kritická operace u routerů. U serverů poskytující obsah nebo nějaký aplikace je to více méně fuk protože jedno vlákno aplikace si většinou jede na svym písečku ale vem si že ty přijmeš paket do prvního jádra a odbavíš ho druhym jádrem a to ještě něvíš jakym jádrem ho budeš propouštět firewallem. To je špatně když je každý jádro v jiný patici. Navíc je to P4, nevhodná na operace tohoto typu, vlastně ona ta architektura nebyla vhodná snad k ničemu.

ouk, tak to mame na siti peknej srot Ted uz doufam ne na dlouho.

[ludvik]

Se naschvál podívám ... až bude chvilka. Ale natuty bych řekl, že ty integrované jsou přes e1000e ovladač (jádro tam je poslední z archlinuxu). A řekl bych, že všechny integrované intely tak jsou. Máme pár typů intel boardů (aspenhill, grossepoint, snowhill - myslím okolo čipsetu 3xxx) a igb jsem měl jen u přidaných dvou a čtyřportových pcie síťovek.

Kernel ve spolupráci s obvodem IO APIC sice umí rozhazovat zpracování jednotlivých přerušení na
více jader mechanismem „round robin“, ale v případě routeru to nemusí být žádná výhra: kvůli
cachování paměti by bylo výhodnější, kdyby byl každý packet, ba dokonce každé spojení, přiděleno
od začátku do konce jeho zpracování vždy jednomu jádru.
Přesně o toto se snaží Intel ve svých novějších síťových kartách, které mají více front pro jednotlivá
spojení (Multiple Descriptor Queues), MSI-X (Message Signaled Interrupts eXtension) a RSS (Receive Side Scaling).
J.D. Brouer v této diskusi a této prezentaci uvádí, že pro (10GbE) karty s chipsetem Intel 82599 to
skutečně funguje a umožňuje běžnému levému stroji s CPU i7 routovat 10Gbit full duplex.
Síťové karty, které tyto technologie (ne)podporují:
• Intel 82574 sice má MSI-X, ale kvůli chybě HW jej driver možná nepoužívá. O RSS v
datasheetu nic není, takže pravděpodobně není podporován.
• Intel chipset C202 má na sobě integrovaný Ethernet controller s externím PHY 82579.
Protože C202 je spíše entry-level chipset pro pracovní stanice, má ethernet controller pouze
2 fronty pro RSS, viz str. 129 v datasheetu.
• Intel 82575 – 2 Gbit porty, 4 RX a 4 TX fronty pro každý port. Je to postarší čip z roku
2007, stále se ale prodává: http://www.abacus.cz/supermicro-sg-i2-2 ... 04595.html – 2125 Kč.

V jinem postu jsi mi doporucoval sestavu http://e-shop.asbis.cz/supermicro-mini1 ... 73595.html, (patice LGA1155) ve kterem jsou sitove karty:
"Intel® 82579LM and 82574L", coz podle seznamu podporovanych karet driveru IGB na http://downloadcenter.intel.com/detail_ ... ldID=13663 to spis vypada, ze v te sestave nejsou sitove karty podporujici driver IGB a tu funkci "setreni_prerusenimi" (btw jak se ta funkce spravne jmenuje?)

A co jeste treba pouzit desku s patici LGA1366? Treba http://e-shop.asbis.cz/supermicro-1u-se ... 56014.html
a do ni CPU
http://e-shop.asbis.cz/intel-quad-core- ... 73703.html
neni to zbytecne moc silny?

[ludvik]

A co jeste treba pouzit desku s patici LGA1366? Treba http://e-shop.asbis.cz/supermicro-1u-se ... 56014.html
a do ni CPU
http://e-shop.asbis.cz/intel-quad-core- ... 73703.html
neni to zbytecne moc silny?

a) ale xeon X3 je výkonější, než E56xx http://www.servethehome.com/intel-xeon-e3-c202-c204-c206-bromolow-sandy-bridge-platform/ On je totiž E3 už architektura SandyBridge, kdežto E56 je o generaci starší (ne-li o dvě, teď ani nevím) - a stavěný spíš do víceprocesorových stanic. E3 má také podstatně nižší spotřebu ... výše zmíněném boardu s E3-1230 naměřili 37W Byť v klidu ...

b) tebou vybraný procesor ti do toho moc nesedí

[PepeOnAchair]

ad oznacovani Xeonu) - myslel jsem si, ze cim vetsi cislo, tim lepsi, ale oznacovani E3, E5 me v tom delalo zmatky. OK, ted uz je jasne ze jedine E3 (pripadne E5, kdyz na to budou serverove desky)

ad sitove karty) diky za perfektni podklady ke cteni, uzasny...
Na zaklade toho, co jsem se tam docetl (a hlavne tady http://www.alexonlinux.com/msi-x-the-ri ... rrupt-load, viz. posledni veta "Thus you can spread interrupts among multiple cores and yet make sure there are no cache misses.") vyvstava otazka, jestli by fakt nebylo v pripade, ze do serveru poridim kartu s MSI-X (tj. treba tu co doporucujes http://www.abacus.cz/supermicro-sg-i2-2 ... 04595.html ) lepsi mit vic CPU, resp. proste co nejvic jader, takze treba dvakrat QC CPU? Protoze ta karta ty jadra umi vyuzit?

[PepeOnAchair]

Nasel jsem tohle PDFko (ftp://download.intel.com/support/networ ... 001us2.pdf), kde si vylozene pise, ze ty Intel karty s kontrolery 82575 jsou vhodne pro vicejadrove stroje.

A tady zase v nejakem PDFku od HP (http://www.google.cz/url?sa=t&rct=j&q=m ... ww&cad=rja) se pise hned na strane 1 v poslednim odstavci, ze MSI-X je vhodne i pro viceprocesorove servery: ... now supports MSI-X which offers extended interrupt
resources and introduces the ability to target messages to a specific
set of processors in multiprocessor or multi-core systems.

[PepeOnAchair]

A tedko jsem jeste nasel tohle vlakno tady v ISPforu, kde v prvnim prispevku uzivatel pise, ze to asi fakt funguje
viewtopic.php?f=62&t=5292

[hapi]

82575 umí a funguje pod mk i pod linuxem 4tx/4rx queue tedy optimální pro quad procesor a to konkrétně ta dvouportová od supermicro. Ověřeno.

82574 na supermicro deskách, nejedná o serverový desky jelikož je snad supermicro snad ani nedělá, dělá desky pro pracovní stanice, tak tam tyhle chipy opravnu neumí víc queue a maji pouze 1tx/1rx queue tedy aspoň něco ale je to ohromná škoda. Nicméně pokud chceš optimálně využít celej procák, dej do PCIe 2 nebo 4 portovej supermicro ethernet kterej bude mít ještě výhodu v tom že do toho xeonu E3 pojede přímo do procesoru (E3 má 20 PCIe linek přímo z procesoru a supermicro desky toho využívaji) a budeš hardware využívat opravdu na max. Na integrovaný ethernety se bodužel vyflákneš ale co no. Leda na přídavný dát težkej oprovoz a na integrovaný nějakej podružnej.