NETFlow provádí zaznamenávání hlaviček všech paketů, kde jsou obsaženy informace o zdrojové a cílové IP adrese, cílovém portu, typu protokolu, čase komunikace, délce spojení, počtu paketů i bajtů a další. Tyto informace potřebuje policie v případě podezření z trestného činu.

V praxi logování funguje tak, že v ISPadmin se nastaví "sběr dat" a na hraničním routeru se nastaví odesílání "hlaviček paketů" na server ISPadmin. Hraniční router musí být umístěn před NATem. V opačném případě by se nezaznamenávaly privátní IP adresy klientů, ale již NATované veřejné adresy, což je chybné.

Modul NETflow tedy vytváří požadované záznamy klientské komunikace. Je tedy přímo určen pro monitorování klientských přístupů do veřejných sítí jakožto i do Internetu. Zaznamenávání se skládá z informací o obsahu hlaviček všech průchozích paketů.

Test kontroly běhu pravidelně kontroluje, zda NETflow na serveru běží a jestli se sbírají data. Aktuální stav je možné zobrazit kliknutím do záložky NETflow, kde je graficky zobrazen stav běhu (NetFlow není aktivní !!! / NetFlow je aktivní). V případě, že není NETflow na serveru spuštěno, tak se při přihlášení zobrazí varovná informace a je nutné problém řešit.

Modul provádí tyto úlohy:

• Logování provozu koncových klientů.
• Vyhodnocování dat potřebných pro vytvoření potřebného záznamu komunikace.
• Export do formátu CSV
• Podrobné statistiky jako je např. typ protokolu (HTTP, SMTP) v určitých časových intervalech.

Zaznamenávají se tyto údaje:

• Typ připojení
• Identifikátor uživatelského účtu
• Identifikátor zařízení uživatele služby
• Datum a čas zahájení připojení
• Datum a čas ukončení připojení
• Další zájmové identifikátory
• IP adresa
• Port
• Status události (úspěch či neúspěch spojení)‏

Modul NETflow není součástí standardní instalace systému ISPadmin. Je tedy nutné zakoupit jej samostatně. Nejprve je nutné zajistit adekvátní uložiště dat, poté už jen stačí správně nastavit hraniční router a naše technická podpora Vám tento modul aktivuje.

Stav licence lze ověřit pohledem do záložky Klienti Úvod, kde u položky Modul NETflow musí být uvedeno AKTIVNÍ. V případě, že Vaše licence neobsahuje NETflow, je nutné kontaktovat obchodní oddělení na Tato e-mailová adresa je chráněna před spamboty. Pro její zobrazení musíte mít povolen Javascript. a požádat o vystavení nového licenčního souboru. Tento soubor Vám bude obratem zaslán zpět v příloze. Aktualizovaný licenční soubor pak stačí nakopírovat do adresáře /data/support/ispadmin/config/.

Jak bude z následujících příkladů vidět, obsazený diskový prostor není přímo úměrný průměrné konektivitě. Výsledky mohou být individuální, což závisí zejména na způsobu komunikace, například v síti s VoIP službami se zaznamenává více dat z důvodu logování velkého počtu hlaviček malých UDP paketů.

Obecně platí, že vyhovující jsou samostatné disky o velikostech 320GB nebo 500GB. V rámci bezpečnosti dat doporučujeme zapojení disku do RAID1 (mirror). Je však možné uchovávat data pro NETflow i na systémovém disku v dalším oddíle pro data. Daní za úsporu financí je pak určitý úbytek rychlosti při vyhledávání, zápis je však téměř stejný.

Aktuální obsazení Vašeho disku můžete kontrolovat v Statistiky Statistika serveru Grafy, popř. pomocí příkazové řádky následujícími příkazy:

Celková velikost NETFlow dat
du -hl --max-depth=1 /data/support/flow/default/

Objem zaznamenaných dat za vybraný měsíc
du -hl --max-depth=1 /data/support/flow/default/2009/*

Objem zaznamenaných dat za jednotlivé dny
du -hl --max-depth=1 /data/support/flow/default/2009/2009-10/*

Provedli jsme měření v reálném provozu s následujícími výsledky:

Průměrný provoz 40~60 Mbit/s

• Datový tok mezi hraničním routerem a serverem ISPadmin je cca 150~300 kbit/s.
• Denně se ukládá 50~60 MB dat, tj, přibližně 10~12GB za 6 měsíců.
• Hraniční router (MikroTik nebo obyčejný stroj s Pentium 4 procesorem) není tímto vůbec zatížen, alespoň ne nijak znatelně.
• Vyhledávání v již uložených datech je poněkud náročnější a je závislé na výkonu serveru (zejména diskové operace). Toto je do určité míry možné řešit optimalizací vyhledávání a hierarchií ukládaných dat.

Průměrný provoz 200 Mbit/s

• Denně se ukládá cca 1,6 GB
• Za 6 měsíců provozu zabráno cca 230 GB

Průměrný provoz 23 Mbit/s (600 aktivních klientů)

• Denně se ukládá cca 280 MB (5,5 GB / měsíc)‏
• Za 6 měsíců provozu uloženo cca 33 GB

Průměrný provoz 78 Mbit/s (1800 aktivních klientů)

• Denně se ukládá cca 330 MB (13,5 GB / měsíc)‏
• Za 6 měsíců provozu zabráno cca 80 GB

Příprava nového disku

Pro potřeby ukládání NETflow dat je vhodné přidat samostatný disk. Dle následujícího postupu si můžete nový disk připravit k použití.

Nejprve vytvořte jeden primární oddíl přes celý disk:
fdisk /dev/sdc

Následně jej naformátujte souborovým systémem xfs:
mkfs.xfs /dev/sdc1

Dále editujte soubor /etc/fstab a oddíl namountujte:
nano /etc/fstab
/dev/sdc1             /data/support/flow  xfs      defaults                    0     0

mount /dev/sdc1

Pokud není na systémovém oddíle dostatek volného místa pro vytváření záloh, můžete nastavit ukládání záloh na tento nový disk:

mv /data/backup  /data/support/flow
ln -s  /data/support/flow/backup /data/backup

Instalace flow-tools

Pro běh modulu NETflow je nutné nainstalovat tento balíček:

apt-get install flow-tools

Poté upravte konfigurační soubor. Nejprve zakomentujte všechny volné řádky a poté na poslední řádek zapište novou konfiguraci s portem nad 30100:

nano /etc/flow-tools/flow-capture.conf
-w /data/support/flow/default -n 100 -V 5 -N 3 0/0/30123

Dále je nutné vytvořit adresář, do kterého bude služba flow-tools ukládat nasbíraná data:

mkdir -p /data/support/flow/default

Nakonec aktivujte službu flow-capture a ověřte, zda běží:

/etc/init.d/flow-capture restart
ps ax |grep flow

Nyní už jen zbývá na hraničním routeru nastavit zasílání hlaviček průchozích paketů na server ISPadmin.

Nastavení hraničního routeru

Logování funguje tak, že v ISPadmin se nastaví sběr dat a na hraničním routeru se nastaví odesílání hlaviček paketů na server ISPadmin. Hraniční router musí být umístěn před NATem, v opačném případě by se nelogovaly privátní IP adresy klientů ale již NATované veřejné adresy, což je chybné. Pokud máte svou síť připojenou přes více hraničních routerů, na všech nastavte zasílání zaznamenaných dat na ISPadmin.

Funkce routeru není sběrem dat významně omezena, pozorované zatížení touto činností je neznatelné.

Mikrotik

Ve Winboxu si zobrazte menu IP / Traffic flow, zde přidejte novou položku a nastavte následující údaje:

• IP adresa serveru ISPadmin
• Port 30123   (reálné číslo portu musí souhlasit s portem uvedeným v souboru /etc/flow-tools/flow-capture.conf)
• Verze 5

V nastavení Trafic Flow Settings musí byt nastaven Interface na ALL, jinak to na Mikrotiku nefunguje. Dále je důležité mít na tomto routeru správně synchronizovaný čas, jinak se potom ničeho nedohledáte. Nastavte synchronizaci přes System / NTP Client a nastavte jako server pro synchronizaci např. ntp.nasa.gov.

Popřípadě můžete použít podobný příkaz:

/ip traffic-flow target add address=IP_serveru:Port version=5

Zobrazení menu NetFlow v ISPadmin se nastavuje v Nastavení Systémové nastavení Obecné, ID netflow_button.

V NetFlow Výběr jsou vypsány všechny zaznamenávané údaje:

V NetFlow Export lze vyexportovat aktuálně vybraná data do textového souboru a ten pak poskytnout oprávněným orgánům.