Zatizeni vice jader CPU mikrotikem

[baz]

chtel jsem vedet, jak dobre pracuje vyuzivani vice jader CPU v mikrotiku. ten ve ctyrkovych verzich hlasi jen kompletni nejaky prumer vytizeni.
tak jsem nahodil zkusebni verzi 5.0rc4.
stroj je supermicro se styrjadrovym xeonem 2,4ghz
tok kolem 500mbit a vytizeni:
1 jadro 40%
2 jadro 16%
3 jadro 7%
4 jadro 1%
samozrejme to vytizeni kolisalo, ale pomer jader byl furt zhruba stejnej - naprosto nerozdelena zatez.

tak ted su z toho malinko jelen - jak to rozdelovani zateze do jader vlastne funguje, kdyz je to ve vysledku tak nerovnomerne?
ocekaval jsem rozdil v radu procenta dvou, ze se to hezky rozdeli, ale ne ze to odedře prvni jadro, druhy dela trochu, treti semtam pricmrndne a ctvrty dela hovno.

ma nekdo nahozenou petku MK na vicjadrovym stroju a mohl by poreferovat, jak se mu to hybe?

[soooc]

chtel jsem vedet, jak dobre pracuje vyuzivani vice jader CPU v mikrotiku. ten ve ctyrkovych verzich hlasi jen kompletni nejaky prumer vytizeni.
tak jsem nahodil zkusebni verzi 5.0rc4.
stroj je supermicro se styrjadrovym xeonem 2,4ghz
tok kolem 500mbit a vytizeni:
1 jadro 40%
2 jadro 16%
3 jadro 7%
4 jadro 1%
samozrejme to vytizeni kolisalo, ale pomer jader byl furt zhruba stejnej - naprosto nerozdelena zatez.

tak ted su z toho malinko jelen - jak to rozdelovani zateze do jader vlastne funguje, kdyz je to ve vysledku tak nerovnomerne?
ocekaval jsem rozdil v radu procenta dvou, ze se to hezky rozdeli, ale ne ze to odedře prvni jadro, druhy dela trochu, treti semtam pricmrndne a ctvrty dela hovno.

ma nekdo nahozenou petku MK na vicjadrovym stroju a mohl by poreferovat, jak se mu to hybe?

Prosím, napiš, kolik to obsluhuje sitovych karet

[lwq]

Koukni fo tools/profiler - tam je co zatezuje ktere jadro

[baz]

sooc: dve karty, obe opticke. Jedna v PCI-X - wan, druha v PCIexpressu - Lan.
lwq: ted uz tam nemrknu, uz je tam zpet stabilni verze. nemuzu nechat na tak dulezitem miste neco pokusnyho. i tak tam ta rc4 byla asi tri dny.

[lukas]

To je zajimavy, ja mam uplne jinou zkusenost http://ispforum.cz/viewtopic.php?f=23&t=6713&start=15

[lwq]

Jo a co to je za sitovky a vubec jakou specifikaci ten server ma ?

[baz]

To je zajimavy, ja mam uplne jinou zkusenost http://ispforum.cz/viewtopic.php?f=23&t=6713&start=15

ja to cetl. ale nechapu. tobe se to rozdelilo aspon nejak rozumne, sice taky ne moc dobre, ale aspon neco ta jadra delala. to byla ale verze rc5?

[hapi]

ono se to nikdy rovnoměrne nerozdělí. Jedno jádro oblushuje většinou I/O jednoho ethernetu což by odpovídalo prvnim dvoum jádrum, jedno pro upload a druhý pro download tedy pro příjem dat z těch dvou ethernetu. Ostatní jádra jedou třeba jenom pro zpracování winboxu což při většim počtu pravidel taky žere výkonu hodně a typnul bych že shaping a ostaní firewalový věci jedou na prvnim jádře.

[lukas]

hapi: tipujes blbe, podle toho Profile resi kazde jadro svoje queue, svuj firewall (...).

baz: no prave, ja mam sice taky svoje problemy, ale jako rozdelovani zateze je v pohode. Tam by nemel byt rozdil, to je stejny kernel.

Pri dlouhodobem sledovani jde videt, ze to dynamicky prehazuje ruzny procesy mezi jednotlivy jadra, vetsinou je to +/- stejne a kdyz se jedno vic pretizi, za chvili to viditelne dela jine...

[moje teorie]
edit: jeste to trochu rozsirim - kdyz jsem patral po tom, jak to vlastne funguje, zjistil jsem, ze v jadru 2.6.35, ktere je v 5ce od 5.0rc1 (predtim bylo starsi) funguje rozdeleni prace formou vlaken (drive to byly procesy), tzn. ze kazde pravidlo v queue (HTB), nebo firewallu (iptables) je samostatnym vlaknem a muze byt rozdeleno mezi procesory, ktere na to maji cas. O to se stara sam kernel. Vzhledem k tomu, ze MikroTik je vlastne jakysi busybox, ktery stoji nad tim Linuxem, do kteryho nas furt ty kurvy nechcou pustit (a to by lecos vyresilo), bude se tam dit presne toto. Co naopak rozdelit nejde, je prace tech sitovek, coz by potvrzovalo to, ze podle Profiles mi "ethernet" zere jen 2 jadra a ja mam dve sitovky Nastesti je to minimalni zatez, takze o nic nejde. A tady bych hledal i bazuv problem, ovsem dokud nebude Profiles, jsou to jenom teorie "z hoven"...
[/moje teorie]

[hapi]

hmm, tak to dost pokročily. Koukni ještě do resources a IRQ. Tam bude zbytek zátěže co má větší vliv na práci procesoru při spoustu paketů a asi tam je i jaký jádro ovládá jakej ethernet nebo spíš jaký jádro zpracovává přerušení z jaký karty. Jak si to testoval? Normálnim průtokem něbo někde na bráně s cca nad 100 aktivnimi usery? Po tomhle výsledku nejspíš instalnu v5 na bránu a budu sledova co to dělá.

Teď jsem koukal na RB711 a firewall ukazuje +- 2% i když tam neni žádný pravildo při toku 4Mbit. Zakázal jsem connection tracking a je na většinu času na 0%. Tohle sledování vytížení se mi začíná líbit.

[lukas]

Sledovani vytizeni je uplne super, na to jsem se tesil hned po novym kernelu nejvic. Ty dve sitovky (eth0, eth1) jsou ty s nejvetsim zatizenim, ta 3ti je jenom zaloha, tam bezi akorat kancl s par PC. Jo, je to ten stejny router, o kterym jsem mluvil v tom druhem tematu, bezi pres to kolem 3tis pocitacu, delame hodne velkoobchodu.

[baz]

sakra moc se mi nechce poustet RC do produkcniho prostredi. mel jsem to tam chvilu na test par dni a docela jsem se trepal, jestli s tim nebudou problemy - ty nebyly, krom toho, ze se to nechtelo nechat monitorovat v cacti. cacti hlasilo router ok, ale nekreslilo grafy etheru, coz me hrozne sralo. s funkcnosti behem tech par dnu problemy nebyly.
uvidim ted mezi svatkama, ze bych tam zas na chvilu nahodil RC5, jestli bude nejaky rozdil proti RC4.

[Ajfel]

sakra moc se mi nechce poustet RC do produkcniho prostredi. mel jsem to tam chvilu na test par dni a docela jsem se trepal, jestli s tim nebudou problemy - ty nebyly, krom toho, ze se to nechtelo nechat monitorovat v cacti. cacti hlasilo router ok, ale nekreslilo grafy etheru, coz me hrozne sralo. s funkcnosti behem tech par dnu problemy nebyly.
uvidim ted mezi svatkama, ze bych tam zas na chvilu nahodil RC5, jestli bude nejaky rozdil proti RC4.

Me grafy nekreslil ani muj vlastni system, to tam byla tusim 5.0beta6 nebo tak nejak, prehral jsem to na 5.0RC3 a uz to kresli.
V 5.0RC1 byla oprava snmp: *) snmp - fix GET request processing; a v RC5 *) snmp - fix BER encoding for negative INTEGER values;

[baz]

tak jsem se hecnul a kdyz je pauza mezi svatkama, nahodil jsem opet testovaci rc4, at je videt to vytizeni.
obrazek prikladam, opet je to dajake nevyrovnane.
router dela celkem houby, v siti je klid, tok jenom 300mbit.
je mi trochu divny to zatizeni "management" v profilu, to by me zajimalo co to dela, ten jeden spusteny winbox se trema okynkama asi ne.
co rikate na to vytizeni jednotlivych jader? o vyrovnanosti nemuze byt ani reci.
jeste otestuju verzi rc6, zda se v ni neco zmenilo.

[hapi]

asi od toho chceš moc. Už si viděl nějakou multithreadovou aplikaci která vytíží všechny jádra stejně? Já teda ne.