Vyatta OS & HW - zkusenosti ?

[lwq]

Zdravim,

narazil sem na velmi zajimavy SW pro routery, firewally, vpn koncentratory, border-gatewaye jmenem Vyatta.

Premyslel sem nad Cisco resenim do site, ale tohle mi zatim dost uchvatilo a asi to vyzkousim v provedeni 2x Vyatta 2502 jako border gateway site.

Respektive v prvni fazi vezmeme x86 dual-core a tento SW a uvidimes

Mate nekdo zkusenosti s timto ?

[lukas]

Muzu se zeptat, jak jsi dopadl?

Ja uz dlouho premyslim nad tim, ze ten zasranej Mikrotik vykopu pryc, ale vzdycky ty uvahy koncily na urovni toho, co bude nahradou. Cistej linux se mi nechce, to je moc prace s doladovanim, NetBSD se mi taky moc nelibi, ale toto by mohlo mit sanci ...

[lwq]

Muzu se zeptat, jak jsi dopadl?

Ja uz dlouho premyslim nad tim, ze ten zasranej Mikrotik vykopu pryc, ale vzdycky ty uvahy koncily na urovni toho, co bude nahradou. Cistej linux se mi nechce, to je moc prace s doladovanim, NetBSD se mi taky moc nelibi, ale toto by mohlo mit sanci ...

Bohuzel sem jeste na to nemel cas, ale snad ted o Vanocich bude ...

Problem je ten, co das jako SW pro radiovou cast ? openWRT ? Nebo Mikrotik v co nevice jednoduchem modu (aby se nemelo moc co pos...) ?

Kezby se v MK vykaslali na kvantitu a sli po kvalite

[lukas]

To ne, radiova cast me netrapi, z patere mam optiky a 10ky, wifi az lastmile a tam Mikrotik naprosto vyhovuje, u Linuxu a BSD mi chybi ta nastavba, ve ktere s tim systemem muzu rychle a prehledne pracovat, museli bychom si to vyvinout, dodelat nejaky management, ale to je kopa prace a hlavne testovani...

Kdyby ted nebyly svatky, tak bych to asi zkusil nekam dat, ale delat to ted, v plnym provozu je sebevrazda a jina moznost, jak to vytestovat me fakt nenapada...

[lwq]

To ne, radiova cast me netrapi, z patere mam optiky a 10ky, wifi az lastmile a tam Mikrotik naprosto vyhovuje, u Linuxu a BSD mi chybi ta nastavba, ve ktere s tim systemem muzu rychle a prehledne pracovat, museli bychom si to vyvinout, dodelat nejaky management, ale to je kopa prace a hlavne testovani...

Kdyby ted nebyly svatky, tak bych to asi zkusil nekam dat, ale delat to ted, v plnym provozu je sebevrazda a jina moznost, jak to vytestovat me fakt nenapada...

A co to otestovat pomoci iPerf ? Pripadne kapku zagooglit a najit nejaky jiny simulator provozu ...

BTW: Jeste zajimavy mi prisle unTangle, coz je Debian s nadstavbou, ale prijde mi to az moc "BFU friendly"

[lukas]

Iperf neni spatnej, ale zadny simulator neudela to, co tisice zavirovanych kompu:)

unTangle jsem videl u jednoho naseho zakaznika, jako dobry, ale prijde mi to spis jako takova hracka pro decka Vyatta, to je zajimavy...

[hapi]

a já myslim že na vás působý dnešní životní styl kdy je třeba se odlišovat a mít stále nové věci a tak i mikrotik jednou pujde ze stolu i kdyby to nebylo tak vymakaný.

Myslim že můj uptime MKv3.30 na bráně, tedy aktuálně 146 dní, hovoří jasně. K tomu průtok za tu dobu, 39TB/9TB.

[lukas]

39TB udelam za mesic, mesic a neco Uptime stroje je ted po upgade 1d 7h a preneseno je 1,2TB/0,3TB.

Nemam rad nove veci, prave naopak, ale nekdy to proste jinak nejde.

[lwq]

My takovej provoz nemame (jako lukas), ale stejne radi si na par mistech v siti pomuzeme Vyattou na kterou proste MK (teoreticky a zatim jen dle papiru) v nekterych vecech nema a jak psal uz lukas - na last-mile je MK v pohode, ale v pateri je treba jine kaficko

[hapi]

na jaký věci nemá?

[lukas]

1. Rekl bych, nema na shapovani nekolika tisic ucastniku, kdy je konfigurace jako mam ja, nebo ji podobna, tedy na stejnem principu, nebo minimalne se stejnym efektem. Do zaplneni soucasne konektivity mi bude stroj stacit, ale co bude potom, to fakt netusim. Kupovat nejakou 4 procesorovou desku a narvat do ni xeony? Pri momentalnim rustu je to co rok, co rok a pul novej stroj a to je dost, k_rva dost prachu. Proto me zajima, jestli by linux, vyatta, netbsd, nebo cokoli jineho bylo schopne toto udelat s vyrazne mensimi naroky na hw?! Ja to nevim a nevi to asi nikdo, podle toho, jak je tady ticho...

2. Mam podezreni, ze nema na NATovani (...), kdy jsou rychlosti kolem 30Mbit na klienta, ale to nemam potvrzene. Resime tady problem s propustnosti klientu do netu - tedy tech klientu, kteri maji nastavene linky +20mbit (nejprodavanejsi tarif ma ve spicce 16Mbit, mimo spicku 32Mbit). Takove silenosti, co se nam tady ted stavaji, to je fakt ducharina...

[hapi]

tak to ti můžu rovnou vyvrátit. Nat mě osobně propustí klidně max linky což je aktuálně 70Mbit na jedno spojení. Někdo mi říkal že třeba dial telecom na jedno spojení nepustí víc jak 30mbit což by třeba tohle mohlo s tim souviset takže bych asi nejspíš prozkoumal tohle.

Hmm, jestli dolaději MKv5 tak to můžeš leda vyměnit za 6 jádro a nebo aktuálně nejrychlejší 4 jádro na 3.6GHz což by ti mělo něco přidat. Pak je tady taky otázka pamětí a jejich rychlost kde například u i7core jak si uváděl by bylo vhodný použít 3 stejný ramky do triple channelu a zvýšit tak propustnost paměťovýho systemu a nepoužít hlavně nějaký levný 1066MHz ramky ale pěkně rychlý DDR3 na klidně 1600MHz s nízkým časováním. Podle teorie o vlivu velikosti cache v procesoru na rychlost routeru by i tohle mohlo podstatně vylepšit rychlost stroje. Pak je taky otázka na zběrnice k ethernetům a otázka samotných ethernetů atd... Ono se to musí brát jako celek a ne pouze procesor.

Mimo to, Vyatta má na webu tabulku kde doporučuje konfiguraci stroje na pošet userů a ani tam to moc neoplívá rychlostí kdy tam píšou ty čísla.

Jistě by taky pomohlo kdyby mikrotik začal kompilovat balíčky pro x64 kde by se mohly uplatnit nějaký novější instrukce procesoru který za těch 20 let přispěly k urychlení operací jako napřiklad SSE a atd... To bych viděl jako velký plus a měly by jsme Litevce k tomu dotlači i za cenu nefunkčních bezdrátů kde by nejspíš mohl být pro x64 verze ovladačů problem.

[RAket]

1. Rekl bych, nema na shapovani nekolika tisic ucastniku, kdy je konfigurace jako mam ja, nebo ji podobna, tedy na stejnem principu, nebo minimalne se stejnym efektem. Do zaplneni soucasne konektivity mi bude stroj stacit, ale co bude potom, to fakt netusim. Kupovat nejakou 4 procesorovou desku a narvat do ni xeony? Pri momentalnim rustu je to co rok, co rok a pul novej stroj a to je dost, k_rva dost prachu. Proto me zajima, jestli by linux, vyatta, netbsd, nebo cokoli jineho bylo schopne toto udelat s vyrazne mensimi naroky na hw?! Ja to nevim a nevi to asi nikdo, podle toho, jak je tady ticho...

2. Mam podezreni, ze nema na NATovani (...), kdy jsou rychlosti kolem 30Mbit na klienta, ale to nemam potvrzene. Resime tady problem s propustnosti klientu do netu - tedy tech klientu, kteri maji nastavene linky +20mbit (nejprodavanejsi tarif ma ve spicce 16Mbit, mimo spicku 32Mbit). Takove silenosti, co se nam tady ted stavaji, to je fakt ducharina...

Ono je třeba rozdělit zátěž a nedělat vše na jednom stroji. Dám příklad: na bráně máme C2D 2.2GHz na NAT a load balancing pomocí PCC matcheru na ROS, pár pravidel ve FW. Zatížení je max 35% a tok ve špičce 250+ Mb/s. Na shaping je zvlášť P4 3GHz a zváldá v pohodě - jako systém je Debian.

Ad Vyatta - měl jsem to nějaký čas na GW místo ROSu, kybych nepotřeboval PCC matcher možná by to tam bylo do teď. Traffic na GW byl v té době cca. 150Mb/s.

[lwq]

Shaping ci podobna narocna cinnost jako treba L7 provozovana treba pres CUDU na grafice ? Hmmmmmmmmmmm.... To zni zajimave ...

Hapi mas pravdu, ze je treba brat HW jako celej, ale kdyz je treba celej stroj ladit tak aby MK byl schopnej fungovat jak chces, jen diky tomu jak je zastaralej ? nevim mno ...

Doporucuju prostudovat materialy treba tadyk na webu vyatta.com, kde je dost dobre naznaceno na co ma v porovnani s jinymi produkty, jinych vendoru ...

A ano, pro pouziti pri vysokem prutoku uz to neni tak zadarmo jako ROS, ale taky to dokaze uplne jine veci - protoze jako prave hapi pise, tak narozdil od ROS je to daleko modernejsi uvnitr.

Kdyz by MK zacal poradne ladit ROS, tak to je jina, ale to ze jim stale poradne nefunguje OSPF a nStremeDual = tedy ze hlavne routovani ma tendenci padat, ale prave jinym *nix based resenim k smichu ...

Proste za me to tedy vypada (po testech) na Vyattu do core site a MK jen na radio ... nevim zda sem z toho nadsen - MK a jejich ROS mam v podstate rad, ale to co predvedeji v oblasti HW i SW je posledni dobou spis k smichu - bohuzel

[mato1]

Proste za me to tedy vypada (po testech) na Vyattu do core site a MK jen na radio ... nevim zda sem z toho nadsen - MK a jejich ROS mam v podstate rad, ale to co predvedeji v oblasti HW i SW je posledni dobou spis k smichu - bohuzel

hovoris mi z duse... mam tu stroj, serverova zakladna doska (pomerne draha), 4-jadrovy procesor xeaon, 3.0ghz, 12mb cache a nestiha mi shaping zhruba 1000 ludi a 250 mbit. robim na tom len shaping a zakladny fw. NAT robim na zvlast stroji. Ked vypnem connection tracking tak to este stiha, ale inak nie. zataz ukazuje 40 percent, ale pravdepodobne ukazuje len jedno jadro. ked je sa zataz priblizi k 50 percentam, tak rastu odozvy a niekedy zhadzuje rychlost. napriklad tak, ze ide tam 220 mbit a zrazu to padne na 150 a postupne narasta... pingy to pocas zataze v nepravidelnych intervaloch zvysuje o 20-30 ms. MK je tam verzia 4.10

teraz to musim rozdelit... je jasne citit ze ked je online viac ludia a MK ma vypocitavat agregacny pomer (QT je v stromovej strukture), tak proste nestiha. Ked je pripojenych menej ludi a zataz je rovnaka, tak to je ok, zataz cpu sa hybe okolo 20 percent pri 200 mbit, ale pri vacsom pocte ludi je to proste k nicomu.