zdravim panove,
po delsi dobe zase stojime pred tematem, jak povysit hlavni gw, ted tam mame CCR 16 jader a ve spičce některá jádra skákají kolem 95 procent.
Pravdou je, že žádné z jader se tam nefláká úplně na nule.
Otázka zní, jestli má smysl pošilhávat po upgradu na CCR 36 jádro a nebo zvolit jinou alternativu.
600 simple queues ( to je podle meho kamen urazu, mozna by pomohlo z nich vyrobit queue tree, ale uz jsme si na to zvykli, je to prehledne a menit se mi to moc nechce:))
provoz do 350Mbit FD
cca 200 pravidel v NATu
odesila netflow
dns cache
ospf
varianta A/ presun do queue tree a par mesicu nam jeste prezije, nez to zacneme resit zase
varianta B/ jit na 36 jádro a dle meho nazoru opet par mesicu, nez to zacneme resit zase, protoze vicejadrovost asi neni tolik zasadni
varianta C/rozdelit provoz mezi vice routeru, poroste spotreba, naroky na zalohovane napajeni atd
varianta D/ nejaka x86 - trochu se bojim spotreby, ale to bude asi cesta
varianta E/ nejaka zazracna cisco, huawei, cokoliv krabice, ktera za velke penize zazracne vyresni vsechny nase problemy
co myslite?
Diky za pomoc, V.
PS: Vim, ze se to tu uz nekolikrat resilo - ptam se proto, ze se zase nektere moznosti a zkusenosti posunuly, tak me prosim nekamenujte:)
❗️Toto je původní verze internetového fóra ISPforum.cz do února 2020 bez možnosti registrace nových uživatelů. Aktivní verzi fóra naleznete na adrese https://telekomunikace.cz
spravny smer pri upgradu gw
spravny smer pri upgradu gw
- Přílohy
-
- cores.PNG (11.15 KiB) Zobrazeno 5151 x
-
- profiler.PNG (10.45 KiB) Zobrazeno 5151 x
0 x
Doporučil bych variantu /F
Oddělit shaper od routeru.
Shaper - X86 linux mašina
Router - nechat stávající CCR1016 pouze s OSPF, NAT, routing a bude si chrochtat
Zde cca 350NATů a 470 VLAN + OSPF
Oddělit shaper od routeru.
Shaper - X86 linux mašina
Router - nechat stávající CCR1016 pouze s OSPF, NAT, routing a bude si chrochtat
Zde cca 350NATů a 470 VLAN + OSPF
- Přílohy
-
0 x
queue tree to CCR zabijou na to bych ani nepomýšlel.
Volil bych rozhodně variantu D a budeš mít na dlouho vystaráno.
Volil bych rozhodně variantu D a budeš mít na dlouho vystaráno.
0 x
-
Petr Bačina
- Příspěvky: 1361
- Registrován: 10 years ago
- Bydliště: Horní Slavkov
- Kontaktovat uživatele:
honzam píše:Shaper - X86 linux mašina
Čím a jak řešit shaping přímo na linuxu?
0 x
my máme E3 Xeon s Debianem
0 x
honzam:
jak se to fyzicky rozdeli? je potreba tam udelat nejakou smyčku, kde to budu hnat
ccr --> x86 na shaping --> zpatky do ccr?
jak resit, aby se z ty x86 nestal single point of failure?
robotvor:
nerad bych to skládal na koleni, přecejen je to kritický prvek, kde se dá koupit něco ověřeného s podporou? Abacus? když si čtu, co s tim Hapi všechno musi vymyšlet, tak bych se tomu rad vyhnul. Zároveň 12 ethernetů, co máme teďka je fajn:)
jak se to fyzicky rozdeli? je potreba tam udelat nejakou smyčku, kde to budu hnat
ccr --> x86 na shaping --> zpatky do ccr?
jak resit, aby se z ty x86 nestal single point of failure?
robotvor:
nerad bych to skládal na koleni, přecejen je to kritický prvek, kde se dá koupit něco ověřeného s podporou? Abacus? když si čtu, co s tim Hapi všechno musi vymyšlet, tak bych se tomu rad vyhnul. Zároveň 12 ethernetů, co máme teďka je fajn:)
0 x
whiteagle píše:honzam:
jak se to fyzicky rozdeli? je potreba tam udelat nejakou smyčku, kde to budu hnat
ccr --> x86 na shaping --> zpatky do ccr?
jak resit, aby se z ty x86 nestal single point of failure?
robotvor:
nerad bych to skládal na koleni, přecejen je to kritický prvek, kde se dá koupit něco ověřeného s podporou? Abacus? když si čtu, co s tim Hapi všechno musi vymyšlet, tak bych se tomu rad vyhnul. Zároveň 12 ethernetů, co máme teďka je fajn:)
No jedině Supermicro, používámě věky věků a nikdy nebyl žádný problém. Nech si od něj něco poskládat a budeš si myslím spokojen. hapi přidává jen jine sítovky pokud jsou třeba jinak tam neni velice co vymýšlet.
0 x
robotvor: a nejaky osvedceny dodavatel? nikdy jsem to neobjednaval, tak at se hned nekde nespalim:)
0 x
whiteagle píše:robotvor: a nejaky osvedceny dodavatel? nikdy jsem to neobjednaval, tak at se hned nekde nespalim:)
Napiš hapimu jistě ti rád porádí a stroj i poskládá.
0 x
ne ne já si ještě počkám s čim přijdete 
samozřejmě 12 ethernetů v x86... ne že by to nešlo ale jak chceš takovou krabici s 12 porty nějakym způsobem failbackovat když už si to nakousnul?
samozřejmě 12 ethernetů v x86... ne že by to nešlo ale jak chceš takovou krabici s 12 porty nějakym způsobem failbackovat když už si to nakousnul?
0 x
Supermicro + Mikrotik = SuperTik
high speed routery podle požadavků
high speed routery podle požadavků
Nejzajímavější na tom je, že někde u těchto rychlostí jsme my kdysi končili s nějakým Pentiem 4. Dělal jak NAT pro stovky lidí, tak i QOS. Vcelku mu to šlo. Ale nebyl na tom ROS ...
Pro shaping si můžeš pohrát s příkazy TC. Nebo použít "chroustadlo pravidel" Prometheus (k nalezení na czfree). V novějších jádrech je také IPSET s podporou změny paketů (teď v noci se asi nedokážu vyjádřit správně - metadat v jádře). Tedy ho lze použít jak třeba pro markování, tak i pro určení CLASSID (tedy jako v netfilteru target CLASSIFY). Ještě jsem to nezkoušel, ale výkon takového řešení bude skvělý (oproti stromečku markování v mangle tabulkách, nebo i toho CLASSIFY které také výkon šetří "jak sviňa"). O jednoduchosti generování IPSETů ani nemluvě.
Jenom ten NAT tam ještě neudělali ... což bych možná i radši.
Ale je fakt, že i ROS s optimalizací trochu pokročil a simple queues jsou poměrně použitelné, slušně škálovatelné na jádra CPU.
Pro <1Gbit ti stačí vcelku libovolný servřík s Xeonem E3 (cenově a výbavou asi nemá moc konkurenci Supermicro). Paměti je prakticky skoro fuk co tam bude, stejně je za babku. K tomu intel síťové karty. Jen dvě. Routing až za ním něčím jiným.
Ale s ROS na x86 ti neporadím.
Pro shaping si můžeš pohrát s příkazy TC. Nebo použít "chroustadlo pravidel" Prometheus (k nalezení na czfree). V novějších jádrech je také IPSET s podporou změny paketů (teď v noci se asi nedokážu vyjádřit správně - metadat v jádře). Tedy ho lze použít jak třeba pro markování, tak i pro určení CLASSID (tedy jako v netfilteru target CLASSIFY). Ještě jsem to nezkoušel, ale výkon takového řešení bude skvělý (oproti stromečku markování v mangle tabulkách, nebo i toho CLASSIFY které také výkon šetří "jak sviňa"). O jednoduchosti generování IPSETů ani nemluvě.
Jenom ten NAT tam ještě neudělali ... což bych možná i radši.
Ale je fakt, že i ROS s optimalizací trochu pokročil a simple queues jsou poměrně použitelné, slušně škálovatelné na jádra CPU.
Pro <1Gbit ti stačí vcelku libovolný servřík s Xeonem E3 (cenově a výbavou asi nemá moc konkurenci Supermicro). Paměti je prakticky skoro fuk co tam bude, stejně je za babku. K tomu intel síťové karty. Jen dvě. Routing až za ním něčím jiným.
Ale s ROS na x86 ti neporadím.
0 x
Jelikož je zde zakázáno se negativně vyjadřovat k provozním záležitostem, tak se holt musím vyjádřit takto: nové fórum tak jak je připravováno považuji za cestu do pekel. Nepřehledný maglajz z toho bude. Do podpisu se mi pozitiva již nevejdou.
Mame shaper mikrotik cca 1400 pravidel queue tree, 1400 pravidel 1:1 NAT, je to hlavni GW na jednom stroji X86 server nejaky xenon 4jadra 2Ghz/jadroa ve spicce kdyz tam tece 450 Mbit tak cpu 30-40%. Do budoucna pocitam ze pouze oddelim routovani od shapingu. Do cca 1500 lidi +- se to da v pohode delat na mikrotiku.(3000 pravidel) dal nemam zkusenost.
0 x
Xeon E3v3
konekt 400Mbit
800 zákazníků
cpu 20-30 procent
QT 1000up/1000down
mangle 2000
filtr 900
nat 850
konekt 400Mbit
800 zákazníků
cpu 20-30 procent
QT 1000up/1000down
mangle 2000
filtr 900
nat 850
0 x
Supermicro + Mikrotik = SuperTik
high speed routery podle požadavků
high speed routery podle požadavků
Intel(R) Xeon(R) CPU X3470 @ 2.93GHz, síťovka duální s čipem i82576
5367 IP adres, 3105 uživatelských tříd v HTB. Generováno zmíněným software Prometheus za využití CLASSIFY targetu v mangle. Strom pravidel má dva kmeny - do jednoho padají sítě dostupné v NIXu (definováno v ipset, podřízeno jen SFQ) a v tom druhém je "klasický" QOS na uživatele. Každý má svoji třídu s minimálním garantovaným spodkem a nějakým maximem. Všechny IP uživatele padají do stejné třídy.
NAT se mi počítat nechce, ale definice tabulky nat (přes iptables-save) má 5715 řádků. Je to stromeček se sítěmi /24 teprve tam jednotlivé SNAT/DNAT (asi by šlo ještě optimalizovat). Každý uživatel (resp. naprostá většina) má jen jednu veřejnou IP, tedy je to poměrně rozsáhlý PAT M:1.
Přibližně 90kkps na inputu v době grafu z přílohy.
Pořád mám pocit, že má ROS někde dost výkonové rezervy ...
5367 IP adres, 3105 uživatelských tříd v HTB. Generováno zmíněným software Prometheus za využití CLASSIFY targetu v mangle. Strom pravidel má dva kmeny - do jednoho padají sítě dostupné v NIXu (definováno v ipset, podřízeno jen SFQ) a v tom druhém je "klasický" QOS na uživatele. Každý má svoji třídu s minimálním garantovaným spodkem a nějakým maximem. Všechny IP uživatele padají do stejné třídy.
NAT se mi počítat nechce, ale definice tabulky nat (přes iptables-save) má 5715 řádků. Je to stromeček se sítěmi /24 teprve tam jednotlivé SNAT/DNAT (asi by šlo ještě optimalizovat). Každý uživatel (resp. naprostá většina) má jen jednu veřejnou IP, tedy je to poměrně rozsáhlý PAT M:1.
Přibližně 90kkps na inputu v době grafu z přílohy.
Pořád mám pocit, že má ROS někde dost výkonové rezervy ...
- Přílohy
-
-
- gateway_20160304.png (2.78 KiB) Zobrazeno 4789 x
0 x
Jelikož je zde zakázáno se negativně vyjadřovat k provozním záležitostem, tak se holt musím vyjádřit takto: nové fórum tak jak je připravováno považuji za cestu do pekel. Nepřehledný maglajz z toho bude. Do podpisu se mi pozitiva již nevejdou.
Za mě určitě x86 .U nás NAT,shaping,ospf a ibgp,
Máme 1U supermikro s Intel(R) Xeon(R) CPU E3-1270 V2 @ 3.50GHz a k tomu Intel Corporation 82576 Gigabit Network Connection ,ale asi už budou lepší na výběr.
Ta karta má 4x1Gbit port,ve stroji je bonding.
Co se týče shapingu na linuxu,bohužel prometheus už je 3 roky mrtvý projekt.My ho zatím používáme(není čas to předělat),ale nepodporuje ipv6,takže jsem musel udělat vlastní shaper.
Použil jsem IPSET,který pošle packet přímo do příslušné CLASSID v shaperu.O proti iptables (podle testů na stole) nárůst výkonu 20-25%.
Máme 1U supermikro s Intel(R) Xeon(R) CPU E3-1270 V2 @ 3.50GHz a k tomu Intel Corporation 82576 Gigabit Network Connection ,ale asi už budou lepší na výběr.
Ta karta má 4x1Gbit port,ve stroji je bonding.
Co se týče shapingu na linuxu,bohužel prometheus už je 3 roky mrtvý projekt.My ho zatím používáme(není čas to předělat),ale nepodporuje ipv6,takže jsem musel udělat vlastní shaper.
Použil jsem IPSET,který pošle packet přímo do příslušné CLASSID v shaperu.O proti iptables (podle testů na stole) nárůst výkonu 20-25%.
0 x