ELK stack netflow ?

[pgb]

Provozujete někdo NetFlow na ELK stacku? Používám ELK pro rsyslog včetně alertů, ale když jsem se snažil rozchodit na ELK NetFlow před dvěma roky, tak mě ta java při 1Gbps sežrala .....

Případně na jakém hw a pro jaké toky to provozujete?

[skrivy]

Zrovna s netflow nemám zkušenost, takže nevím konkrétně kolik dat ti tam teče. Co máme jeden z těch punkovějších ELKů, tak:
- 4 CPU
- 8GB RAM
- velikost indexů: 216GB
- držíme tam historii jeden měsíc

Je to pomalý, ale čte se z toho minimálně, takže se to dá používat.

[pgb]

Tak jsem to zkusil spustit, datový tok 400Mbps, cca 400kBps netflow v5, 80000 flow za minutu a logstash vytížil 2/4 jader 3.6GHz i5. Pokud neměl dost cpu prostoru tak zahazoval udp. Za mě výkonově nic moc ..... divoká java