Analyza provozu Vasi site - realny stav

[lwq]

Ahoj vsem,

v tomto vlaknu mi nejde ani tak o to jak mate zarizeni QoS ci analyzu provozu site, ale spis pro zajimavost jaky provoz Vam sit generuje a do kterych smeru ...
Plus se info o tom, jakym stylem byla dana informace zjistena i hodi - vlastne ...

Treba ja vcera zjistil, ze kdyz pomoci IP rozsahu co sem si dal do access-listu si oznacuju provoz na FaceBook, tak ten je ve spicce i kontinualne megabity / sekundu. Stejne jako Rapid ci Seznam, Youtube.

Dal sem si v Cacti kreslit grafy pro :

Created graph: Provoz - OC_Skype
Created graph: Provoz - OO_H323
Created graph: Provoz - OO_SIP
Created graph: Provoz - OA_DNS
Created graph: Provoz - OO_Fayn
Created graph: Provoz - OC_RTP
Created graph: Provoz - OC_RTSP
Created graph: Provoz - OC_RDP
Created graph: Provoz - OO_RapidShare
Created graph: Provoz - OG_YouTube
Created graph: Provoz - OE_Facebook
Created graph: Provoz - OO_Bittorent
Created graph: Provoz - OE_Seznam
Created graph: Provoz - OO_Stream

... tak uvidime co to nakresli ...

Jak jste na tom Vy ?

[lwq]

dej si tam ještě ulož.to a máš tam hned 15% traficu

Nejake dalsi typy ? A diky moc

[Stanislav Hrncir]

nebylo by špatné dát sem rozsahy, hnedle včera sem se zabýval subnety youtube a stream.cz..

[hocimin1]

Nejake dalsi typy ? A diky moc

jestli to není tajný hod sem ty rozsahy, si je dám taky do cacti a muzem to pak porovnávat

[baz]

co takovy ty megauploady a podobny share servery? tech jsou kvanta a jsou dost pouzivany.

[lwq]

Doporucuju rozsahy hledat napriklad na http://www.iblocklist.com/ ...

Pouzil sem nasledujici rozsahy:

(pozor, nektery adresy se tam opakuji, protoze jde o data z ruznych systemu (skoda, za tam pri vyhledavani nejde groupovat))

YouTube :

Kód: Vybrat vše

level3
YouTube, Inc:64.15.112.0-64.15.127.255
YOUTUBE INC-060811122307:75.31.180.240-75.31.180.247
YOUTUBE INC-060805001739:75.35.233.64-75.35.233.71
YouTube, Inc:208.65.152.0-208.65.155.255

spyware
youtubegiris.com:62.212.74.194-62.212.74.194

spider
Google/YouTube:194.221.68.0-194.221.68.255
Google/YouTube:195.27.182.0-195.27.182.255
Google/YouTube:195.59.171.0-195.59.171.255

Business ISPs
YouTube, Inc:64.15.112.0-64.15.127.255
YOUTUBE INC-060811122307:75.31.180.240-75.31.180.247
YOUTUBE INC-060805001739:75.35.233.64-75.35.233.71
YouTube, Inc:208.65.152.0-208.65.155.255

Search Engines
YouTube, Inc.:64.15.112.0-64.15.127.255
YOUTUBE-01:72.51.34.221-72.51.34.236
YOUTUBE-02:72.51.35.205-72.51.35.212
YOUTUBE INC-060811122307:75.31.180.240-75.31.180.247
YOUTUBE INC-060805001739:75.35.233.64-75.35.233.71
YOUTUBE-061027151729:75.48.116.72-75.48.116.79
YOUTUBE-061211165701:75.55.218.8-75.55.218.15
YOUTUBE-061014203610:76.208.211.160-76.208.211.167
YOUTUBE-061014171517:76.210.160.216-76.210.160.223
YouTube LLC:82.129.37.0-82.129.37.255

RapidShare:

Kód: Vybrat vše

RapidShare:62.140.10.0-62.140.10.255
RapidShare:62.140.31.0-62.140.31.255
RapidShare:62.140.7.0-62.140.7.255
RapidShare:62.153.244.0-62.153.244.255
RapidShare:62.67.46.0-62.67.46.255
RapidShare:62.67.50.0-62.67.50.255
RapidShare:62.67.57.0-62.67.57.255
RapidShare:64.211.146.0-64.211.146.255
RapidShare:64.212.138.0-64.212.138.255
RapidShare:64.214.225.0-64.214.225.255

Seznam:

Kód: Vybrat vše

Seznam.cz, a.s.:77.75.72.0-77.75.79.255

Facebook:

Kód: Vybrat vše

FACEBOOK:65.201.208.24-65.201.208.31
FACEBOOK:65.203.134.64-65.203.134.79
FACEBOOK:65.204.104.128-65.204.104.143
Facebook:66.92.180.48-66.92.180.63
Facebook:66.93.78.176-66.93.78.183
Facebook, Inc.:66.220.144.0-66.220.159.255
FACEBOOK:67.200.105.48-67.200.105.51
Facebook, Inc.:69.63.176.0-69.63.191.255
Facebook, Inc.:74.119.76.0-74.119.79.255
FACEBOOK-080906022009:99.188.162.240-99.188.162.247

Zbytek co sem psal, tak jsou bude L7 veci (ktery sem aktualne kvuli zatezi musel vypnout) a nebo jen prosty "content" hledac v zalozce Advanced v Mangle ... Tim znackuju packety a provazu s Queues.

Jeste pro ty velky soubory na 80 portu hledam soubory vetsi nez 32MB a ty omezuju ... (tohle jeste nejak poladim).

Jo a to oznaceni Qvecek OO_ ... OA_ ... znaci, ze OO_ = neresil sem prioritu; OA_ = priorita 1; OB_ = priorita 2 ... Tim si tedy vytvorim skupiny pravidel najednou ovladatelnych skriptem pomoci "find" OO_ .....

[lwq]

co takovy ty megauploady a podobny share servery? tech jsou kvanta a jsou dost pouzivany.

Proty hledam IPcka ... Mno ...

[lwq]

Jo a jeste doporucuju tento nastroj ... Podivejte se, zda (a pripadne ktere) Vase IP adresy jsou blokovany ...

http://www.mxtoolbox.com/blacklists.aspx

[lwq]

Tak vcera sem tem pravidlum na shapovani rychlosti jednotlivych provozu dal i casovou platnost, pro jednoduchost staci.

Jeste sem pak nejaky cas venoval dalsi analyze provozu a je fascinujici co clovek najde, prida do spravne skupiny a jde dal, aby nasel, ze mu zas cast provozu utika.

Pouzivate nekdo L7 analyzu ? Na jekm stroji pri jakem toku ?

Quad Core server je uz dost zadychanej kdyz pustim L7, aktualne bezi jen Bittrorent (protoze se jinak blbe chyta) a kazde dalsi pravidlo je aspon 2-3% zateze navic. A kdyz ukazatel zateze CPU preleze 20%, tak uz to zacina byt skrceno, divne to chovani ...

[hapi]

to neni divný chování. To je to chování kvůli kterýmu jsem se tu s dade_marfy hadal a to že MKčko ukazuje součet všech jader a při 25% to znamená vytížený jedno jádro na max a zrovna to na kterym běží a ostatní jsou k ničemu a nepoužívají se. Takže máš jedno jádro který používá na plno.

[lwq]

to neni divný chování. To je to chování kvůli kterýmu jsem se tu s dade_marfy hadal a to že MKčko ukazuje součet všech jader a při 25% to znamená vytížený jedno jádro na max a zrovna to na kterym běží a ostatní jsou k ničemu a nepoužívají se. Takže máš jedno jádro který používá na plno.

JO to vim, tak to i je. Ale aktualne neni jak RoS donutit vyuzit potencial celeho stroje krom toho kdyz bych ho hodil do virtualu a tomu dal prostredky quad core, ne ?

Jinak dik.

[hapi]

no to taky nepude, musíme počkat na stabilní v5, tam se něco s multicore řeší ovšem myslim že pujde předevšim o rozložení IRQ požadavků mezi jádra a rozdělení datových toků mezi jádra ale ne že by to pěkně rovnoměrně vytížilo multicore jádra. Jo žijeme v kapitalistický době kde se vývoj jednojader zastavil a výrobci sázeji na čim víc jader, tim víc adidas i když k naprostý většině aplikací je to naprosto nevhodný. Moc rád bych viděl raději jednojádro běžící na 4GHz než dual na 2.5GHz. No co, smůla pro nás a smůla pro výkonej routing i když v5 podle mě dost pomůže.

[lwq]

Takze idealne aktualne rozlozit zatez mezi vice stroju a nebo na tak exponovane misto dat neco jineho nez RoS. Coz ?

BTW: Napriklad Cisco mam v ASA5550 FW, 4096 MB RAM, CPU Pentium 4 3000 MHz ... Zadny vicejadro ...

[hapi]

Hmm, 1/4 milionu za P4.

P4 je vořezávátko a i cisco píše malí datový toky na tož použití L7 filtru jestli ho vůbec má. Spíš vzít něco z i7,i5,i3core s turbo boost a dobře to chladit. Přidat DDR3 nejlépe v triple channelu. Pak při jednovláknový operaci je procesor schopnej se sám přetaktovat jedno jádro klidně o 600MHz a některý snad i víc. Musíš vybrat strávnej typ a nebo prostě skusit MKv5.

Co že to máš za quadcore? Neni quadcore jako quadcore. Na tomhle foru se přišlo, že při routingu a prostě těhle sítových věcech dost pomáhá velikost L2/L3 cache v procesoru a nejedná se o jednotky procent ale spíš desítky. Tim pádem je jasný co máš koupit . Nutně to nemusí bejt xeon ale je dobrý u desktop procesoru vypnout šetřící funkce který brzději což třeba xeon ani tyhle funkce nemá pokud se nepletu.

[lwq]

Hmm, 1/4 milionu za P4.

P4 je vořezávátko a i cisco píše malí datový toky na tož použití L7 filtru jestli ho vůbec má. Spíš vzít něco z i7,i5,i3core s turbo boost a dobře to chladit. Přidat DDR3 nejlépe v triple channelu. Pak při jednovláknový operaci je procesor schopnej se sám přetaktovat jedno jádro klidně o 600MHz a některý snad i víc. Musíš vybrat strávnej typ a nebo prostě skusit MKv5.

Co že to máš za quadcore? Neni quadcore jako quadcore. Na tomhle foru se přišlo, že při routingu a prostě těhle sítových věcech dost pomáhá velikost L2/L3 cache v procesoru a nejedná se o jednotky procent ale spíš desítky. Tim pádem je jasný co máš koupit . Nutně to nemusí bejt xeon ale je dobrý u desktop procesoru vypnout šetřící funkce který brzději což třeba xeon ani tyhle funkce nemá pokud se nepletu.

Tohle je supermicro stroj ... Co presne za procak tam je ted netusim, protoze tam byli vymeny kvuli vadnemu kusu z puvodni sestavy, kdy se to kousalo. O dulezitosti velikosti cache sem se docetl taky a dal to jako doporuceni pro dalsi nakupy.

Myslis, ze i7 by mohl byt znatelne pouzitelnejsi ?