LACP teaming

[manius]

hlavne v tuto chvili software podpora lacp je marna (v jakykoliv kernelech linuxu - bavim se s par lidma co aktivne hackuji kernel pro spolecnosti suse enterprise, redhat... a udajne mozna do roku - novych kernelu to bude pouzitelnejsi), ve vysledku nikdy nedosahnes lepsi kvality ... protoze IRQ ... bonding leda jako active-backup, protoze to ve vysledku bude fungovat hur nez bez bondingu. Resil bych upgrade 10GE + pokud to doopravdy potrebujes?

[PTPStudio]

Ale nic to nemění na stavu, že je to pod tím FreeBSD a jeho LACP implementace použije MAC adresy obou konců, VLAN tag a IPv4 neob IPv6 adresy, takže pořád komunikace mezi NAS bednou a počítačem bude vždy jen přes jeden port i v případě, že otevřeš X různých spojení.

Takze je to knicemu? Jake ty 10Gbps karty pouzit?

[PTPStudio]

Ale nic to nemění na stavu, že je to pod tím FreeBSD a jeho LACP implementace použije MAC adresy obou konců, VLAN tag a IPv4 neob IPv6 adresy, takže pořád komunikace mezi NAS bednou a počítačem bude vždy jen přes jeden port i v případě, že otevřeš X různých spojení.

Jaky ten hardware pouzit na 10Gbps? Optika nebo jak se to da za rozumnou cenu poridit? Poradi nekdo?

[Majklik]

Nu, to záleží zda chceš jen bod-bod propoj mezi NAS a PC (nejde to přes switch), pak se dá jít třeba i do metalického 10GBaseT. Takže např 2x síťovka Intel X540-T1 a k tomu Cat6A patch kabel na propoj.
Nebo pokud chceš ten 10G port použít i pro jiné, tak je to na něco s SFP+, ať to strčíš do switche (switche s 10GBaseT porty nejsou moc běžné a už vůbec ne levné) a navíc zpoždění pro 10GBase-T je proti SFP+ příšerné (cca 1,2 us proti 300 ns na spoj), takže pak třeba 2x Intel X520-DA1, k tomu jako switch např Mikrotik CRS210-8G-2S+IN a 2x propojovací SFP+ DAC kabel, pokud ti stačí malá vzdálenost meyi NAS-switch-PC.

Obě zmíněné síťvky by mohly fungovat pod FreeBSD i Windows 10. Jiná věc je, co tě to bude za tu srandu stát.

[Dalibor Toman]

hlavne v tuto chvili software podpora lacp je marna (v jakykoliv kernelech linuxu - bavim se s par lidma co aktivne hackuji kernel pro spolecnosti suse enterprise, redhat... a udajne mozna do roku - novych kernelu to bude pouzitelnejsi), ve vysledku nikdy nedosahnes lepsi kvality ... protoze IRQ ... bonding leda jako active-backup, protoze to ve vysledku bude fungovat hur nez bez bondingu. Resil bych upgrade 10GE + pokud to doopravdy potrebujes?

IMHO 10G sitovka nevyrobi vyrazne jiny pocet preruseni nez 2 gigove (pri stejnem toku). Mam v jednom routeru sprazene 2 gigovky na vstupu a 2 na vystupu. Tok sice jen lehce pres 1gbps ale vysledek dopadl lepe nez jsem cekal.

[Majklik]

Jiná možnost je použít slušnější víceportovou gigo síťovku, co umí bond/teaming dělat kompletně ve svém hardware a proti PC se to pak tváří jako jednoportová síťovka. Ale cenově bude možná blízko už tomu 10G.
Ale pořád to bude o tom, zda mi to dovolí pro ten přenos mezi NAS a PC zapojit víc jak jeden port toho bondu/teamu/lacp a aby to mělo smysl, tak by mesel mezi PC a NAS být něco jiného, než Mikrotik s SW bridgem...

U 10G a irq pak záleží v jakém režimu tu síťvku používám. Pokud se jede v RDMA režimu, tak počet interuptů je blízko nule a přesunuly se třeba terabajty dat. Už se to konečně naučili od Infinibandu, ale to je provoz, který se hodí orpavdu jen pro přenos dat mezi sousedníma servery, což PC-NAS vedle sebe je (a navíc daný přenosový protokol musí RDMA znát a umět použít) a ne na routující stroje.

[PTPStudio]

Šel bych si koupit 10 Gbps síťovky a a mez to nějaký CSR s 10 Gbps porty. Boj s LACP je marný.
Ukrmit víc jak gigabit na NASu není problém, ale udělat to LACP, aby jedno spojneí použilo víc linke bude. FreeNAS neznám, ale dokumentace zde https://doc.freenas.org/9.3/freenas_net ... gregations používáL3 pro rozdělování toků, takže spojneí mezi NAS a jendím počítačem půjde vždy jen jednou linkou. Možná to jde poladit, aby používal L4, stejně jako to umožňuje mikrotik, asle pak bude problém Mikmrotik, ten bonding je softwarový a v Mikrotiku bude switch chip, který pravděpodobně má jen jeden gigabitový port mezi CPU a switch chipem, takže úzké hrdlo bude zde, pokud nepoužiju Mikrotik, který má 10 Gbps spoj CPU a switch chip nebo víc switch chipů s giga CPU linkama (a rozdlěím to tak, aby každý port ).
A ikdyž poladím toho Mikrotika, tak aby s epoužilo víc linek, tak budu muset naráz použít víc přenosů mezi NAS a PC, aby s eL4 rozklad použil.
Ultimativní řešení je Infiniband. Za pár šupů 40+ Gbps, bonding je v hardware, ale yda je podpora pro Win 10 netuším, Windows servery a linux to umí, ať už pro NFS, tak i CIFS sdílení.

Prosimte co bych mel koupit jaky hardware doporucis pro pc NAS a jaky switch pro tech 10Gbps? V obou pc muzu pouzit pcie sloty.

[ludvik]

Na doma? On ti to Majklik napsal ... zase takový výběr stejně nemáš.

Switch Netgear XS708E nebo XS712T. Asi nejlevnější 10G řešení, RJ45.

[Majklik]

Je cesta buď RJ45 (10GBase-T) nebo SFP+.
Pro SFP+:
Nejlevnější je ve výsledku asi varianta použít 2x síťovku Intel X520-DA1, k tomu 2x SFP+ DAC kabel od miktrotiku a jako switch Mikrotik CRS210-8G-2S+IN, to bych se mohl vejít s investicí cca 15 kKč. Omezení je, že ty 10 Gbps linky mezi NAS-switch a switch-PC je omezena délkou SFP+ DAC kabelu, kde jde za levno tak 3 metry, delší jsou už nechutně drahé a je lepší vzít pak optiku. Dále mám 8 gigových portů a integrovaný router od Mikrotiku (o 2 kKč dráže máš i CRS226-24G-2S+ s 24x gigo a 2x SFP+).
Pro 10GBase-T:
2x síťovka Intel Intel X540-T1, propojovací patch kabel Cat6a+ a switch Netgear GS728TX. Cenově jsem tak cca 25 kKč, ale propoje mezi PC-switch a NAS-switch po Cat6A můžou být do 100 metrů, ten switch má i 24x gigo port a vedle dvou 10GBase-T portů má i další 2 SFP+ porty, takže se mohu dostat na celkem 4 ks 10 Gbps portů (2x 10GBase-T a 2x SFP+), pokud vzdálenost dovolí, tak tento switch mohu kombinovat s Intel X520 a SFP+ DAC kabely.

Bral jsem, že ty síťovky kupuji někde v Číně na alibabě (a celník bude mít dobrý den a pustí to) za 4/5 kKč (X520-DA1/X540-T1) o litr dráže se dají koupit dvouportové X520-DA2/X540-T2.
Do FreeBSD a Windows 10 na to snad drivery jsou.

V dalším kole budeš hned updatovat NAS a PC, že to 10 Gbps plně nevyužije (pokud nemáš to NASko plné SSDéček).

[PTPStudio]

Je cesta buď RJ45 (10GBase-T) nebo SFP+.
Pro SFP+:
Nejlevnější je ve výsledku asi varianta použít 2x síťovku Intel X520-DA1, k tomu 2x SFP+ DAC kabel od miktrotiku a jako switch Mikrotik CRS210-8G-2S+IN, to bych se mohl vejít s investicí cca 15 kKč. Omezení je, že ty 10 Gbps linky mezi NAS-switch a switch-PC je omezena délkou SFP+ DAC kabelu, kde jde za levno tak 3 metry, delší jsou už nechutně drahé a je lepší vzít pak optiku. Dále mám 8 gigových portů a integrovaný router od Mikrotiku (o 2 kKč dráže máš i CRS226-24G-2S+ s 24x gigo a 2x SFP+).
Pro 10GBase-T:
2x síťovka Intel Intel X540-T1, propojovací patch kabel Cat6a+ a switch Netgear GS728TX. Cenově jsem tak cca 25 kKč, ale propoje mezi PC-switch a NAS-switch po Cat6A můžou být do 100 metrů, ten switch má i 24x gigo port a vedle dvou 10GBase-T portů má i další 2 SFP+ porty, takže se mohu dostat na celkem 4 ks 10 Gbps portů (2x 10GBase-T a 2x SFP+), pokud vzdálenost dovolí, tak tento switch mohu kombinovat s Intel X520 a SFP+ DAC kabely.

Bral jsem, že ty síťovky kupuji někde v Číně na alibabě (a celník bude mít dobrý den a pustí to) za 4/5 kKč (X520-DA1/X540-T1) o litr dráže se dají koupit dvouportové X520-DA2/X540-T2.
Do FreeBSD a Windows 10 na to snad drivery jsou.

V dalším kole budeš hned updatovat NAS a PC, že to 10 Gbps plně nevyužije (pokud nemáš to NASko plné SSDéček).

Dekuji vsem za rady !!
Vypada to ze ta vyssi rychlost za tu cenu to opravdu porizovat nebudu.