HW a princip rizeni provozu 800 - 1000 Mbps?

[PepeOnAchair]

Ahoj,

mam problem s vykonem zeleza, ktere aktualne dela pro cca 1500 lidi.
Server dela:
- NAT/router
- HTB shaping - kazdy PC koncoveho zakaznika ma vlastni HTB class a tyto classy jsou nastrkane do nadrazenych classu, ktere shapuji podle toho, na jake spoje jsou zakaznici pripojeni. Vysledkem je strom HTB classu +- odpovidajici ceste pripojencu siti k serveru, co dela shaping

Zelezo serveru:
- HP Proliant DL380 G3, 1GB RAM, 2xDC Xeon@2,8GHz, 512KB cache
- kazdou sitovou kartu (jsou 2) ma na starosti jedno jadro CPU (vzdycky je to prvni jadro toho CPU) - pomoci affinity

OS:
- Debian Squeeze s original jadrem 2.6.32-5-686

Datovy tok:
- zvlada to ted maximalne 230-250Mbps smerem do site
- ze site (upload) je cca 100 Mbps
- v souctu obou smeru je pocet paketu za sekundu cca 60000
- ve spickach zacne narustat vytizeni procesem ksoftirqd postupne az ke 100% pro obe ty jadra, co resi sitovky

Shaper s pakety aktualne pracuje pomoci (hodne zjednodusene):
- iptables CLASSIFY, znackovani podle CONNTRACK tabulky, pravidla jsou strukturovana do 2-3 urovni (tj. nejsou tam ploche tabulky pravidel)
- nepouzivam hashing, dosud jsem si nebyl jistej, jestli to opravdu tak pomuze

Otazky:
Hledam reseni, jak zpracovavat datove toky 800 - 1000Mbps a obdobne cekam, ze naroste i provoz v pps.
- Pomohla by vymena serveru za generaci HP serveru G6 nebo G7, ktere uz maji Xeony rady 5500 a vyssi? Nekdo tady na foru postnul nedavno PDFko, kde se pise, ze Xeony 5500 a vyssi uroutuji 20Gbps... Odkaz na PDFko: http://download.intel.com/embedded/proc ... 322973.pdf.

- Je ostatni vybaveni (deska, sitovky, ...) tech G6 a G7 serveru dostatecne k vyuziti potencialu tech Xeonu 5500?

Protoze se zuby nechty drzim myslenky jednoho centralniho shaperu, je pro me vlastne hlavne dulezite to, jestli je mozne postavit na nejakem zeleze (idealne HP server) jen cisty (bez NATu, atd) shaper se sitovkami v bridge, ktery to zvladne. Protoze NATeru/routeru mezi tim shaperem a internetem uz muzu dat kolik bude potreba.
- Dosahnu pozadovaneho vykonu rozdelenim serveru na dva a vic? Jeden nebo vic, co bude jen NATovat a routovat a pak jeste jeden a prave jeden, co tomu vsemu delal jen shaping - sitovky v bridgi?

Skutecna aktualni potreba site je ted okolo 600Mbit (vyse popsany server je jen jeden z vice serveru, ktere slouzi jako hranicni NAT/shaper servery). Pozadavek az na 1Gbps jen proto, abych zachvili neresil zase stejny problem znovu.

Jak vy, co mate taky takovy provoz, tohle resite?

uf
Diky, Pep.

[hapi]

neni to nahodou jeste stara P4 alias preskot? jestli je to jadro preskotu tak s tim prast do popelnice a mas dve moznosti. Dostupny jsou novy xeony E3, 4core. Vysoky frekvence, vykon masivni. Pak muzes pockat par mesicu na xeony E5 ktery budou mit jeste vetsi vykon a nektery kousky az 8 jader (nepocitam HT) pro patici LGA2011.

[ocior]

E5-16* i E5-26* uz jsou k dispozici. Treba Techdata je ma skladem.
Na 1Gbps je ta E3 bohate dostacujici.

[hapi]

jo k dispozici ano, ale serverový desky ne. Teda pokud trvá na HP serveru tak ti ho asi budou mít brzo.

[ludvik]

Mě to běží na X3470@2.93GHz a zatím pohoda.

Teoreticky (nejspíš to fakt bude ještě P4-class) to je tím, že ty jádra komunikují přes FSB. A to není zase tak výkonný, jak by se mohlo zdát. Takže ti každý paket proleze přes FSB (a to pravděpodobně několikrát). U nás podobná P4 (ale ne Xeon) končila právě na těch cca 300Mbitech. Řekl bych totiž, že tu sběrnici dostáváš už při těchto rychlostech na strop.

[ludvik]

Nekupuj na tohle HP, přijde mi, že za to zaplatíš dvakrát tolik, než musíš. Ale nějakou platformu buď intel (to naše je snad GrossePoint), nebo SuperMicro - jejich řešení s E3 xeonem je velké jak switch - třeba http://e-shop.asbis.cz/supermicro-mini1 ... 73595.html (pod 10 bez DPH, plus CPU, paměti, disky). Za ty peníze si můžeš koupit dva a mít coldzálohu IPMI u supermicra se může také hodit.

Ono totiž podobný problém má i třeba Dell. Jsou to servery, aplikační. Nikdo u nich neuvažuje nad použitím jako routery. Nepotřebuješ hafo pamětí, disků a ani procesorů.

[hapi]

ta sestava neni dobrá, v MKčku ti například jeden ethernet nepude. V linuxu snad jo i když mikrotik přebírá ovladače z linuxu tak těžko říct.

Taky mi přijde zbytečný brát hardware od HP ale oni maji pokud se nepletu servis a nějaký SLA což se zase vyrovnává. Ale je fakt že jsou dělaný spíš na použití jako servery a ne routery a pokud si dobře pamatuju tak si rackový verze casů nechaji dobře zaplatit.

[PepeOnAchair]

diky za reakce
Servery od HP bereme spis ze zvyku a proto, ze maji peknou vzdalenou spravu (iLO). Taky jsem mel ze zacatku lepsi pocit jistoty z te znacky.

Tohle jsem zjistil o CPU (omlouvam se za dlouhy post):
cat /proc/cpuinfo
processor : 0
vendor_id : GenuineIntel
cpu family : 15
model : 2
model name : Intel(R) Xeon(TM) CPU 2.80GHz
stepping : 7
cpu MHz : 2791.949
cache size : 512 KB
physical id : 0
siblings : 2
core id : 0
cpu cores : 1
apicid : 0
initial apicid : 0
fdiv_bug : no
hlt_bug : no
f00f_bug : no
coma_bug : no
fpu : yes
fpu_exception : yes
cpuid level : 2
wp : yes
flags : fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush dts acpi mmx fxsr sse sse2 ss ht tm pbe pebs bts cid xtpr
bogomips : 5583.89
clflush size : 64
cache_alignment : 128
address sizes : 36 bits physical, 32 bits virtual
power management:

dmidecode -t 4
# dmidecode 2.9
SMBIOS 2.3 present.

Handle 0x0406, DMI type 4, 32 bytes
Processor Information
Socket Designation: Proc 1
Type: Central Processor
Family: Xeon
Manufacturer: Intel
ID: 27 0F 00 00 FF FB EB BF
Signature: Type 0, Family 15, Model 2, Stepping 7
Flags:
FPU (Floating-point unit on-chip)
VME (Virtual mode extension)
DE (Debugging extension)
PSE (Page size extension)
TSC (Time stamp counter)
MSR (Model specific registers)
PAE (Physical address extension)
MCE (Machine check exception)
CX8 (CMPXCHG8 instruction supported)
APIC (On-chip APIC hardware supported)
SEP (Fast system call)
MTRR (Memory type range registers)
PGE (Page global enable)
MCA (Machine check architecture)
CMOV (Conditional move instruction supported)
PAT (Page attribute table)
PSE-36 (36-bit page size extension)
CLFSH (CLFLUSH instruction supported)
DS (Debug store)
ACPI (ACPI supported)
MMX (MMX technology supported)
FXSR (Fast floating-point save and restore)
SSE (Streaming SIMD extensions)
SSE2 (Streaming SIMD extensions 2)
SS (Self-snoop)
HTT (Hyper-threading technology)
TM (Thermal monitor supported)
PBE (Pending break enabled)
Version: Not Specified
Voltage: 1.7 V
External Clock: 400 MHz
Max Speed: 3600 MHz
Current Speed: 2800 MHz
Status: Populated, Idle
Upgrade: ZIF Socket
L1 Cache Handle: 0x0716
L2 Cache Handle: 0x0726
L3 Cache Handle: 0x0736

Handle 0x0400, DMI type 4, 32 bytes
Processor Information
Socket Designation: Proc 2
Type: Central Processor
Family: Xeon
Manufacturer: Intel
ID: 27 0F 00 00 FF FB EB BF
Signature: Type 0, Family 15, Model 2, Stepping 7
Flags:
FPU (Floating-point unit on-chip)
VME (Virtual mode extension)
DE (Debugging extension)
PSE (Page size extension)
TSC (Time stamp counter)
MSR (Model specific registers)
PAE (Physical address extension)
MCE (Machine check exception)
CX8 (CMPXCHG8 instruction supported)
APIC (On-chip APIC hardware supported)
SEP (Fast system call)
MTRR (Memory type range registers)
PGE (Page global enable)
MCA (Machine check architecture)
CMOV (Conditional move instruction supported)
PAT (Page attribute table)
PSE-36 (36-bit page size extension)
CLFSH (CLFLUSH instruction supported)
DS (Debug store)
ACPI (ACPI supported)
MMX (MMX technology supported)
FXSR (Fast floating-point save and restore)
SSE (Streaming SIMD extensions)
SSE2 (Streaming SIMD extensions 2)
SS (Self-snoop)
HTT (Hyper-threading technology)
TM (Thermal monitor supported)
PBE (Pending break enabled)
Version: Not Specified
Voltage: 1.7 V
External Clock: 400 MHz
Max Speed: 3600 MHz
Current Speed: 2800 MHz
Status: Populated, Enabled
Upgrade: ZIF Socket
L1 Cache Handle: 0x0710
L2 Cache Handle: 0x0720
L3 Cache Handle: 0x0730

[hapi]

mnoo, teď jsem koukal na ten server a neni mu náhodou něco okolo 10 let? To bude ještě něco před preskotem podle rychlosti FSB (max 533MHz) a má to DDR1 paměti. To je hodně starý peklo. Všechno se tahá přes jednu FSB a ta bude pro dvě CPU ne uplně optimální v případě routingu a pak šup s tim do pomalých ramek a ještě k tomu pouze jednokanálových.

Osobně si myslim že už výkonově dosloužil pro použití v routeru. Kup si Xeona E3 a supermicro desku a ušetříš na spotřebě a dostaneš velkej výkon. Supermicro má IPMI takže taky vzdálená zpráva.

[ludvik]

Jo - za to si nechají taky platit Jenom to supermicro to má tak nějak v základu snad vždy.

Servery od HP bereme spis ze zvyku a proto, ze maji peknou vzdalenou spravu (iLO). Taky jsem mel ze zacatku lepsi pocit jistoty z te znacky.

Jinak máme asi všichni pravdu - jsou to dvě P4. Vyhodit případně recyklovat ... Dnes už bych nešel níž, než do E3-1220. A výš to asi na router moc smyslu také nemá. S tímhle se dá 10G uroutovat ... uNATovat je samozřejmě jiná otázka, ale gigo tomu rozhodně činit problémy nebude.

[PepeOnAchair]

mnoo, teď jsem koukal na ten server a neni mu náhodou něco okolo 10 let? To bude ještě něco před preskotem podle rychlosti FSB (max 533MHz) a má to DDR1 paměti. To je hodně starý peklo. Všechno se tahá přes jednu FSB a ta bude pro dvě CPU ne uplně optimální v případě routingu a pak šup s tim do pomalých ramek a ještě k tomu pouze jednokanálových.

Osobně si myslim že už výkonově dosloužil pro použití v routeru. Kup si Xeona E3 a supermicro desku a ušetříš na spotřebě a dostaneš velkej výkon. Supermicro má IPMI takže taky vzdálená zpráva.

jj, tech 10 let by mu mohlo byt

[PepeOnAchair]

Mate nejaky tip na obchod, kde ten server poptavat? A kde tomu rozumi a kde se mnou budou bavit? I to Supermikro. Nechci si server skladat sam, potrebuju doporucit z ceho to slozit, objednat to a nechat si to u nich sestavit.

[hapi]

skuz abacus. zavolat nějakýmu obchodákovy.

[ludvik]

ItAge nebo Asbis pro supermicro, kvazar pro intela.

Mate nejaky tip na obchod, kde ten server poptavat? A kde tomu rozumi a kde se mnou budou bavit? I to Supermikro. Nechci si server skladat sam, potrebuju doporucit z ceho to slozit, objednat to a nechat si to u nich sestavit.

[miract]

Ja jsem sel cestou znackovani packetu primo v HTB, a nasledne hashing downloadu. Oboji znacne ubralo zatizeni CPU. Pravidel mame cca stejne.