Как посчитать трафик в Linux. Проверить исходящий сетевой трафик Статистика потребляемого трафика локальной сети linux

Для тех пользователей, кто лишен возможности использовать безлимитный тарифный план (например вынужден часто использовать 3G в роуминге) учет потребления трафика - достаточно критичная задача. Как же решить ее в Ubuntu? Рассмотрим 2 интересных приложения.

Network Traffic Monitor (NTM)

Данное приложение отображает достаточно подробный отчет об использовании указанного интернет соединения. В данный отчет входят:

текущая скорость загрузки-отдачи
общее количество трафика, количество трафика для текущей ppp сессии, количество трафика за месяц
время текущей ppp сессии (актуально когда оплата интернета - почасовая, не знаю где такое еще сохранилось)

Программа позволяет указывать интерфейс, за которым производится слежение и, в случае если это PPPoE соединение, предоставляет возможность автоматически обрывать соединение при достижении указанного в настройках лимита по трафику/времени за указанный промежуток времени (день/неделя/месяц или любой другой интервал). К сожалению, обладая такими богатыми возможностями, NTM - достаточно слабо интегрирован в Ubuntu, все ограничивается статичным индикатором, а чтобы посмотреть текущую ситуацию с лимитами приходится открыть окно программы, что не всегда удобно.

Download Monitor

Программа создана в рамках Ubuntu Apps Showdown . Ее возможности намного скромнее: download monitor позволяет задать дневной, недельный и месячный лимит по трафику, получать сообщения о превышении данных лимитов и просматривать простые графики. С другой стороны программа достаточно хорошо интегрирована в Ubuntu, имеется progress bar на Unity иконке, который позволяет оценить сколько трафика осталось.

Установить программу можно с помощью ppa-репозитория используя следующие команды:

Sudo add-apt-repository ppa:duncanjdavis/download-monitor-submit sudo apt-get update sudo apt-get install download-monitor

А как вы контролируете расход интернета?

Во многих случаях может понадобиться отследить нагрузку на сеть, посмотреть сколько данных передается и какие пользователи, программы или компьютеры занимают канал. Особенно часто такие задачи возникают перед системными администраторами, перед которыми стоит задача отслеживать работу сети целой компании. Но также это может быть полезно и обычным пользователям.

В этой статье мы рассмотрим как выполняется мониторинг сети Linux. Для этого можно использовать различные утилиты. Начиная от сетевых анализаторов, таких как и до более простых инструментов, таких как iptraf.

Все данные, которые распространяются через интернет передаются в виде пакетов определенного размера. Данные разделяются на части определенного размера и из них составляются пакеты, которые будут отправлены в ядро системы а затем в сеть, где пройдут путь из многих компьютеров и маршрутизаторов пока достигнут цели. С помощью специального программного обеспечения мы можем отслеживать сколько пакетов и какого размера проходит через наш компьютер и неважно, были они созданы локальной программой или получены из сети.

Таким образом, очень просто можно узнать какая сейчас нагрузка на сеть, какие программы или сервисы создали пакеты, и даже что содержится в этих пакетах и что делает пользователь.

Мониторинг сети с помощью iptraf

iptraf - это одна из самых лучших программ для мониторинга сети в Linux. Она предоставляет очень удобный интерактивный интерфейс, с помощью которого можно наглядно увидеть всю необходимую информацию, причем достаточно подробно. Утилита не поставляется по умолчанию, но она достаточно популярна, поэтому вы можете установить ее из официальных репозиториев. Для этого в Ubuntu выполните команду:

sudo apt install iptraf

А в CentOS / Red Hat выполните:

sudo yum install iptraf

После установки утилиты для ее запуска просто наберите в терминале iptraf:

Перед вами откроется интерактивный интерфейс на основе Ncurses, в котором необходимо выбрать нужное действие. Здесь доступны монитор пропускной способности сети, статистика по интерфейсу, статистика по сбоям и монитор локальной сети.

Обратите внимание на нижнюю часть окна, там отображается описание выбранного действия, а также находятся подсказки по горячим клавишам.

Например, для просмотра сетевых соединений и статистики трафика для каждого из них выберите "IP traffic moitor". Затем вам будет необходимо выбрать сетевой интерфейс, например, enp2s0:

Дальше вы увидите все IP адреса, с которыми сейчас выполняется взаимодействие. Здесь можно увидеть направление отправки пакетов, количество пакетов и общий объем переданных или полученных данных в байтах.

С помощью других пунктов меню можно посмотреть статистику по интерфейсу или статистику по работе локальной сети. Утилита даже может работать в неразборчивом режиме, чтобы собирать максимум данных про локальную сеть.

Также поддерживаются фильтры, которые позволяют отфильтровывать информацию только по определенному критерию. Например, чтобы создать фильтр откройте меню "Filters" , затем выберите "IP..." , а дальше "Apply new filter" :

Затем нужно указать имя фильтра:

На следующем этапе вы можете расписать нужные параметры фильтрации:

Чтобы применить фильтр нужно выбрать "Apply filter" и выбрать имя фильтра из списка:

Теперь в любом пункте статистики будет отображаться только та информация, которая подходит под созданный фильтр.

Мониторинг трафика Linux чаще всего выполняется администраторами именно с помощью этой утилиты. Видео про использование утилиты:

Мониторинг сети с помощью других утилит

Самая мощная программа для мониторинга сети - это iptraf. Она предоставляет всю необходимую для администраторов информацию. Но, кроме нее, существуют и другие продукты. Рассмотрим их более подробно.

1. iftop

Утилита имеет более простой интерфейс и отображает намного меньше информации. Она выводит ip адреса отправителя и получателя, а также количество переданных или полученных данных за несколько последних секунд:

Установить программу в Ubuntu можно командной:

sudo apt install iftop

Хотя здесь отображается информация по каждому соединению, программа не может идентифицировать программу, которая создает пакеты.

2. nload

nload - это очень простая утилита, которая отображает только скорость входящих и исходящих соединений. Это позволяет сделать примитивный анализ сети linux и определить нагрузку. Отображается текущая скорость, максимальная и минимальная скорость за период работы. Также данные о скорости выводятся в виде графика, поэтому вам будет достаточно беглого взгляда, чтобы понять что происходит.

Для установки программы в Ubuntu используйте команду:

sudo apt install nload

3. nethogs

Это достаточно интересная утилита для мониторинга сетей, которая выделяется среди других. С помощью нее можно посмотреть какой процесс создает тот или иной трафик. Здесь отображаются PID процессов и имена пользователей, отсортированные по занимаемой пропускной способности сети:

Программа, как и другие доступна из официальных репозиториев, поэтому у вас не возникнет проблем с установкой:

sudo yum install nethogs

4. bmon

Утилита bmon позволяет отображать достаточно подробно статистику по каждому сетевому интерфейсу. Она работает похоже на nload и выводит график кроме текстовой информации:

Для установки программы выполните:

sudo apt install bmon

5. Vnstat

Vnstat отличается от всех инструментов, рассмотренных выше. Программа работает постоянно в фоновом режиме и собирает информацию об использовании сети в лог файл. Далее можно посмотреть какой была нагрузка за определенный период. Для установки утилиты выполните:

sudo systemctl start vnstat

Здесь будет отображаться информация о нагрузке на сеть с указанием дат и периодов. Также вы можете посмотреть доступную информацию в реальном времени. Для этого используйте опцию -l:

Видео про использование и настройку vnstat:

6. bwm-ng

Это еще одна утилита, очень простая в использовании, которая позволяет следить за сетевой нагрузкой в режиме реального времени. Отображаются все доступные сетевые интерфейсы в системе:

Для установки утилиты выполните такую команду:

sudo apt install bwm-ng

7. speedometer

Это еще один простой инструмент, который позволяет выполнить мониторинг сети и выводит данные в виде красивых графиков. Для установки программы выполните:

sudo pip install speedometer

Как видите, она есть в официальных репозиториев не всех дистрибутивов, зато вы можете установить программу из репозитория python.

speedometer -r enp2s0f0 -t enp2s0f0

Опция -r указывает интерфейс, с которого необходимо отображать количество полученных пакетов, а опция -t - отправленных.

8. netwatch

Netwatch - это небольшая утилита, которая входит в набор инструментов Netdiag и показывает сетевые соединения между локальной и удаленными системами, а также скорость, с которой будут передаваться данные. Для установки программы используйте:

sudo apt install netdiag

Затем для запуска:

9. ifstat

Утилита ifstat показывает пропускную способность сети, измеряя количество переданных и принятых пакетов. Вывод утилиты можно использовать и анализировать в других программах. Утилита не выводит информацию об ip адресах или других параметрах, а только скорость. Для установки используйте:

sudo apt install ifstat

Для запуска:

10. trafshow

Это утилита, очень похожа на iftop, которая отображает не только скорость передачи, но и сами соединения. Здесь выводится информация по соединениях, размеры пакетов и протокол. Для установки программы наберите:

sudo apt install trafshow

Осталось запустить программу:

Выводы

В этой статье мы рассмотрели команду Iptraf, а также еще несколько полезных утилит, с помощью которых можно выполнять мониторинг сети linux на сервере или домашнем компьютере. Некоторые из этих инструментов можно использовать даже в корпоративной среде. В качестве альтернативы вы можете использовать инструменты с веб-интерфейсом. Некоторые из них перечислены в статье . А какие инструменты мониторинга используете вы? Напишите в комментариях!

Однажды мне потребовалось измерить количество трафика, которое «пожирает» некоторое приложение. Один из способов такого измерения - это установить прокси. Но что, если не хочется ставить прокси-сервер?.. Мне вот не хотелось. В поисках других способов я сначала перерыл Хабр, потом интернет. Так как я в своё время потратил на это много времени, то сейчас я создаю эту заметку, чтобы у других такой проблемы не возникло.

ВАЖНО:
Этот метод работает, если мы знаем по какому адресу (адресам) обращается наше приложение, или же с какого/каких портов.

Пошаговая инструкция

1. iptraf

iptraf - это небольшая программа, которая умеет мониторить всю сетевую активность компьютера.
Исходники и бинарники можно загрузить с сайта iptraf.

В случае Ubuntu установить iptraf можно выполнив команду:
sudo apt-get install iptraf

2. Запускаем!

В терминале пишем: iptraf

3. Настраиваем

Надо включить логирование (иначе программа ограничиться выводом на экран). Делается это, очевидно, в разделе «Configure» .

4. Запуск мониторинга

Уходим из настроек, жмём «IP traffic monitor» и выбираем путь к файлу, куда будем логировать сетевую активность.

После этого мы должны увидеть такую картину:

Это всё, что нужно! Почти.

5. Анализ

Как я уже упоминал выше, нужно знать, по какому адресу/порту обращается наше приложение (трафик которого мы высчитываем).
Например, если мы хотим посчитать сколько трафика «стоит» час радио last.fm , мы должны определить следующее:
приложение last.fm обращается к адресам вроде таких:
195.24.* (last.fm не обращается к одному адресу, а обращается к диапазону адресов).
Чтобы вытащить из лога (который писался час) количество трафика, которое было съедено, я написал небольшую «программку» на java, которая этот трафик и считает:

Package stat; import java.io.BufferedReader; import java.io.FileReader; import java.io.IOException; /** * * @author http://habrahabr.ru/users/nucleotide/ */ public class Main { public static void main(String args) throws IOException { BufferedReader reader = new BufferedReader(new FileReader("/var/log/iptraf/ip_traffic")); String line; long count = 0; long traffic = 0; while ((line = reader.readLine()) != null) { count++; String s = line.split(" "); if (s.length < 12) { continue; } if (s.contains("195.24.") || s.contains("195.24.")) { //"from" and "to" traffic += new Long(s); if(s.length>16) traffic += new Long(s); } } System.out.println("Count: " + count + " lines"); System.out.println("Total: " + traffic + " bytes!"); System.out.println("Total: " + traffic / 1024 + " Kbytes!"); System.out.println("Total: " + traffic / (1024 * 1024) + " Mbytes!"); } }

Этот вариант хорошо работает, когда вы постоянно пишите логи, а потом уже надо «что-то там» измерить. Просто нужно написать/сконфигурировать парсер именно так, как необходимо в конкретной ситуации, и тогда можно получить все необходимые данные.

Возможно, это не лучший вариант (хоть и работающий). Есть множество других вариантов.

Решил обновить блог 21.03.10
Многое уже поменялось за 2 года. Но с нормальных биллингов всёравно не хватка. Особым лидером вышел Траффпро (бывший Office-Control). Свой выбор я остановил именно на нём, бесплатной версии вполне хватает для управления офисом.
Сам обзор оставлю в не изменённом виде, как достояние истории. Большая часть информации в нём до сих пор актуальна. Приятного чтения:)

Потребовалось на работе установить систему учёта и контроля трафика. Как всегда, я взялся за поиски Бесплатной системы для OC Linux.

Что я для себя хотел найти:
1) Учёт всего и вся (по всем портам)
2) Подробная статистика кто куда и зачем
3) Авторизация юзеров (чтоб ни кто другой, кроме самого юзера не мог накачать трафик)
3) Чтоб юзер мог смотреть сколько он сам скачал
4) Минимум вмешательства В ОСWin юзера.
5) Простота установки и настройки биллинга

Забегая немного вперёд, хочю сказать что я такую систему нашёл, и сейчас она успешно работает на предприятии, и в этом обзоре я буду рассматривать эту сборку.

Товарищь google.com дал мне очень много интересной и полезной информации, но как оказалось нормальных и бесплатных биллинг систем не так уж много.
Все они делятся на 2 типа у каждого есть свои плюсы и минусы:
1) На Iptables -
+ Считают траффик по всем портам и по всем направления. = Точность подсчёта
+ Фиксируют по Ip иногда и по мас адресу.
+ Стабильность работы при больших нагрузках.
+ Хорошая система Тарификации и отключения юзеров
- Не гибкость, учёт только по компьютерам, а не по юзерам
- Нет статистики по посещаемым страницам
- Часто, отсутствует какая либо авторизация по юзерам.

2) На Squid -
+ Подробная статистика о посещаемых сайтах каждого юзера
+ Возможность установить блокировку на определённые сайты и поставить Банерорезку
+ Развитая акаунт система (юзеры могут быть как привязаны к адресу компьютера так и быть полностью свободны, т.е. заходить в интернет под своим логином и паролем с Любого компьютера)
+ Различные способы авторизации (ip, ntlm, ncsa - если не понятно что это, то ниже расскажу что к чему:))
+ Возможность лимитирования трафика.
- считают трафик Только по 80 порту!
- Из этого следует что контролировать почту, фтп, банклиенты и подобные программы мы не сможем!
- Придётся прописывать Адрес прокси на клиентских машинах для использования авторизации по логину и паролю.

Хочю заметить, что в некоторых биллингах какие-то из минусов отсутствуют, но и там есть свои "тараканы" :)

А теперь рассмотрим самих кандидатов.

Биллинги на iptables:

NeTAMS (Network Traffic Accounting and Monitoring Software)

www.netams.com

Работает под управлением Unix (Linux/FreeBSD/Solaris). Поддерживаются различные методы сбора статистики (tee/divert/ip_queue/ulog/libpcap/netflow v5 и v9/netgraph), хранения в базе данных (BerkleyDB/MySQL/PostgresSQL/Oracle/Radius), агрегирования, отображения, оповещения и пр. Возможно проводить блокировку на базе квот, авторизации, исчерпании баланса (биллинг); управлять полосой пропускания, контролировать подмену MAC-адреса, делать связь с RADIUS, создавать гибкие политики учета и фильтрации. Более подробней о возможностях в этом списке.

Многие админы хвалят, но что они в нём нашли не знаю, может им нравится перелопачивать кучу программного кода, чтоб находить нужные зависимости. Пробовал Его ставить на AltLinux 2.4, Ubuntu, Fedore. Ни на одной системе нормально не завёлся, что-то не хватало в зависимостях, но почитав подробно в мануалах я понял, что даже если он заработает, мне придётся потратить не одну ночь и не одну неделю для доведения его в божеский вид.

Не заработал!

Вывод:
- Только для профи.
- Запутанная документация
- Многое доделывать нужно самому
- ввиде sh, rpm и.deb пакетов не существует

STARGAZER

Система StarGazer предназначена для авторизации и учета трафика в локальных, домашних и офисных сетях. При создании данной системы была поставлена задача создать продукт, который отвечал бы требованиям большинства локальных сетей для учета в них трафика и средств клиентов, а также безопасной авторизации клиентов.
Основные возможности системы:
контроль над клиентами сети, их добавление, удаление, текущие корректировки
авторизация клиента, с последующим разрешением или запретом доступа в Internet
подсчет трафика по предварительно заданным направлениям и правилам
подсчет израсходованных клиентом средств и автоматическое отключение в случае их полного расходования
хранение дополнительной информации о клиенте, такой как домашний адрес, телефон и т.д.
автоматический пинг всех клиентов сети и вывод результатов на экран
ведение кредитной истории для всех клиентов
оперативное предоставление клиенту информации о его трафике и наличии средств
формирование подробных отчетов о состоянии клиентов
внешние модули

Более подробно на http://stargazer.dp.ua/doc20/about.html

Админы говорят, что это отличный (чуть ли не единсвенный) вариант для тех, кто хочет получить максимальный функционал при минимальных затратах. Основная нацеленность биллинга - для небольших интернет провайдеров.
Очень понравился функционал и возможности биллинга. И Наконец Подробная и Всеобъемлющая инструкция по установке и использованию!!! (к сожалению все бесплатные системы страдают отсутствием именно нормальной документацией, толи разработчикам лень её писать, толи они думают что мы и сами догадаемся как её ставить). Но долго радоваться мне не прошлось.
Ставлю всё на систему Ubuntu.
Сразу во время сборки в самом скрипте сборке (./build) возникли непонятные проблемы. Оказалось что разработчик вместо gmake написал make (позже я узнаю, что это для совместимости с FreeBSD). Ладно с эти справились, но далее пошли проблема за проблемой- невозможность компиляции на определенных пакетах gc++, не запускающийся демон контроля трафика, не работа скриптов onConnect/onDisconnect.
Далее пробую собрать это дело на системе AltLinux 2.4 уже из готового пакета, то там тоже сталкиваюсь с дюжиной проблем.
Где-то через неделю мучений по попыткам заставить его нормально работать я забросил это дело, темболее от форумчан я узнал что этот биллинг иногда теряет информацию из собственной базы и для безопасности его нужно переводить на Mysql, а это ещё дополнительный гемор. Да и попытки разработчика "угодить" как и Linux (всем дистрибутивам сразу!), так и FreeBSD ни к чему хорошему не привело (как говориться, за 2-мя заяцами погонишься, ни одного не поймаешь). Не знаю как на BSD, но на Linux этот биллинг

Не заработал!

Вывод:
+ Хороший сайт с подробным мануалом
+ Простая система управления в GUI (оконной) оболочке
+ Продуманный клиент авторизатор
- Сложность установки связанная желанием угодить и BSD и Linux
- Нет rpm и.deb пакетов сборки (а sh сделан так, что только усложняет установку)

NiTraf

http://nitalaut.sarkor.uz/nitraf-uchyot-trafika-v-linux/

Что может NiTraf ?
На данный момент список возможностей таков:

Подсчет трафика за день/с начала месяца/с начала года в разбивке по ip-адресам

Возможность получения отчетов за произвольные день/месяц/год в разбивке по ip-адресам

Возможность получения отчетов за произвольные день/месяц/год в по конкретному ip-адресу

Возможность выставления квот по трафику(отдельно по входящему и исходящему).
По превышению лимита пользователь отключается от интернета(в iptables добавляется соответствующее правило)

Для удобства просмотра отчётов есть возможность присваивать ip-адресам алиасы(псевдонимы), под которыми они будут фигурировать в отчётах

По каждому ip-адресу можно просмотреть детальную статистику(в разбивке по портам и протоколам). Список портов можно изменять
Более подробно на http://nitalaut.sarkor.uz/nitraf-uchyot-trafika-v-linux/

Простейший биллинг, всё по мнимому. Заработал на системе Ubuntu. На других не пробовал, так как и на Ubuntu он отлично

РАБОТАЕТ!

Вывод:
+ Подробная инструкция по установке на Debian системы http://nitalaut.sarkor.uz/instrukcii/
+ Быстрота развертывания системы
+ Подробная Веб статистика
+ Возможность учёта по различным портам
- Контроль только по IP (юзер может сменить свой IP и использовать чужой трафик)
- Нет авторизации по логину и паролю для юзеров

Office-Control

Система "Office-Control" предназначена для управления и защиты сетей офисов. Разрабатывается с учетом потребности в проектах, исключающих утомительную настройку сервера, и позволяет свести к минимуму время на развёртывание и обслуживание системы. Включает в себя несколько компонент, из которых можно построить необходимый комплекс для любых нужд офиса.
Комплекс позволяет:
контролировать доступ к серверу как из сети интернет, так и из внутренней сети
предупреждать распространённые атаки на сервер с помощью интеллектуальной системы защиты
управлять доступом из внутренней сети во внешнюю, и из внешней во внутреннюю
вести логирование всех несанкционированных попыток доступа к серверу и к защищённой внутренней сети
рассылать уведомления по email администраторам комплекса в случае попыток взлома системы или в критических ситуациях
контролировать потребление трафика пользователями внутренней сети
ограничивать доступа пользователей к ресурсам внешней сети по портам и адресам

Система предоставляет отчёты по потреблению трафика пользователями, содержит в своём составе терминал администратора под две операционные системы Windows и Linux, также имеется модуль Web клиента, который не зависит от платформы. Также предусмотрен индикатор трафика для пользователя сети, позволяющий получать отчёты пользователем без вмешательства администратора.

Проект сейчас активно развивается и только выходит из стадии бетатестирования. Но уже сейчас я вполне успешно установил эту систему. Да и разработчики активно продолжают развитие проекта. Так например, стоило мне упомянуть, что не помешалоб в биллинге авторизацию через веб интерфейс сделать, как через 2 дня на сайте эже появился этот модуль! Единсвенное с чем могут возникнуть трудности, это документация, пока она сыровата, но её сполна заменяет консультация по ICQ, разработчик не только помог в установке но даже проконсультировал по работе биллинга с Iptables и помог настроить правила безопасности (в дальнейшем они планируют перенести функции управления фаярволла в веб админку, дабы окончательно упростить работу администратора). Посмотрим что у них получиться:)
И забыл упомянуть, биллинг заточен под Системы RedHat (Fedora, CentOS, RedHat)
Лично у меня на Fedore 8

РАБОТАЕТ!

Вывод:

+ Хорошая поддержка проекта
+ Привязка не только по Ip но и mac!
+ Подробная Веб статистика
+ Авторизация по логину и паролю через Web-интерфейс
+ Есть rpm пакет
+ Стабильная работа с Squid
- Сыроватость (на время написания статьи веб админка ещё не была готова, приходилось добавлять юзеров через скрипты.)
- все остальные мелкие минусы, скорее, тоже относятся к сырости чем к закоренелым недостаткам. Буду пристально наблюдать за дальнейшим развитием проекта...

SUB Billing

http://www.subbilling.ru/

О SUB Billing:
Это система сбора информации о трафике пользователей через ulog-acctd. Обработанные данные записываются в MySQL или PostgreSQL базу. Для управления биллингом используется удобный, простой и понятный веб интерфейс.

Характеристики:
+Сбор данных - ulogd
+Базы хранения - mysql, postgresql
+Авторизация - freeradius, chap-secrets
+ Скрипты запускаемые cron

Возможности:
+Работа через - NAT, PPTPD (VPN)
+Группы пользователей: каждой группе можно назначить скидку на трафик.
+Тарифные планы с расчетным периодом, абонентской платой, установкой предоплаченного трафика.
+Установка зон тарификации.
+Установка временных зон.
+Установка праздничных дней.

+Карты оплаты.
+Техническая поддержка.
+Зачисление произвольной суммы на счет.
+Группы администраторов с разными разрешенными действиями.
+Детализированный трафик

В пользовательском веб интерфейсе:
+Детальная информация об аккаунте
+Подробный отчет по платежам, подключениям, трафику в общем, и по разным тарифным зонам.
+Оплата экспресс картой
+Настройки доверительных адресов, пароля, смена тарифного плана.
+Отправка запросов в тех. поддержку
+Новости на главной странице

Пробовал ставить на Debian, что-то не сошлось в настройках VPN. Долго разбираться не стал, так как для работы с биллингом на каждой клиентской машине нужно создавать VPN подключения, а это не в ходило в мои условия по идеальному биллингу. В основном эту систему использают Gentoo-ники, хотя мануалы идут для Debian. И всё же на Ubuntu

Не заработал!

Вывод:
+ Хороший сайт, хоть и мануал пришлось поискать (он в архиве с биллингом)
+ По скринам, хорошая веб админка
+ Развивающийся проект
- Проблемы при установке на стандартный Debian
- Нет rpm и.deb пакетов сборки

Биллинги на SQUID:

Sarg + Wemin

Собирал эту систему я на Ubuntu
Инструкция просто до безобрация - Заходим на www.webmin.com и качаем последнию весию Debian Package.
А потом sudo apt-get install squid sarg (если не получается, то вам сюда forum.ubuntu.ru)
Далее в webmine находим вкладу Squid (что-то там) report (ах да, ещё немного с squid повозиться придётся, но это не так сложно, т.к. все настройки через webmin сделать можно)

Данная система у меня успешно работала в паре с NiTraf на Ubuntu 7.4

РАБОТАЕТ!

+ Легко установить (информации в интернете просто уйма)
+ Можно свободно просмотреть с какого IP какие сайты были просмотрены, сколько было скачано с этих сайтов и таму подобное.
- Сами юзеры не могут посмотреть статистику только для себя
- Генерировать отчёты приходиться вручную

SQUID Account Management System(SAMS)

http://sams.nixdev.net/
http://sams.perm.ru/
Определённо Лидер среди всех биллинговых систем на Squid!
К сожаления на Ubuntu 7.4 он у меня ни в какую не захотел работать, но за-то отлично Заработал на Fedore 8. Понравилась удобная Веб админка, широкие возможности по распределению прав у пользователей (ограничения по трафику, по пропускной способности, по сайтам).

РАБОТАЕТ!

+ Подробная инструкция по установке на сайте разработчика
+ Отличная веб админка
+ Широкие возможности по управлению правами пользователей
+ У пользователей есть свой личный кабинет, где они могут посмотреть свою статистику (мб и посещённые страницы)
+ Можно свободно просмотреть с какого IP какие сайты были просмотрены, сколько было скачано с этих сайтов и таму подобное.
+ Продуманная система взаимодействия со Squid-ом
- Я бы ещё немного доработал дизайн админки
- Считает трафик только по 80 порту

Сейчас мой выбор:
Linux Fedore 8
Office-Control + SAMS (+ прозрачное проксирование)

Я объединил 2 типа биллинга для того чтоб получить:

Office-Control :
1) Учёт трафика по всем портам
2) авторизация пользователей через веб интерфейс
3) управлением прав доступа для юзеров и лимита трафика
SAMS :
4) Подробная статистика по посещаемым сайтам как для админа так и для пользователя
5) экономия трафика за счёт кэширования трафика
6) Ограничение на посещение определённых сайтов

В следующей статье я расскажу как всё это собрать, настроить и запустить вместе. Дам примеры рабочих конфигов и свои сборки.

P.s.
Для разработчиков и фанатов не заработавших биллингов - На время тестирования у меня не было ни времени, ни знаний. В среднем, я экспериментировал с биллингом в течении 5 дней, если этого было мало, чтоб его запустить, то я брался за другой. Я буду рад если вы укажите причины по которым ваш билинг не запустился или дадите подробную, реально Работающюю, инструкцию по установке! (мои контакты в самом конце)

P.p.s. (21.10.08)
Давно не обновлял эту статью, но обращения ко мне в асю по данному вопросу всё ещё приходят. По этому отвечу сразу. Сейчас мой выбор TrffPro.ru (бывший ОфискКонтрол). Там есть всё что нужно, и объединяет возможности сквидовского биллинга (Самс) и табловского.

© Copyright 2007 Lek (ICQ 355767)

АЛЕКСАНДР КУЗНЕЦОВ

Многие из вас в своей работе сталкиваются с необходимостью вести статистику расходуемого трафика в локальной сети. Мы расскажем вам, как эта задача решается в Linux без каких-либо денежных вложений в специализированные программные продукты.

Учитывать трафик, проходящий через шлюз локальной сети в Интернет, мы будем с помощью ipcad (Cisco IP accounting simulator). Это программа, которая может вести подсчёт несколькими механизмами, например, через интерфейсы BPF, libpcap и iptables ULOG. Материал предназначен для тех администраторов, в чьём ведении имеется малая или средняя локальная сеть. Всё, что понадобится для работы, лишь сам ipcad, текстовый редактор для написания скриптов разбора статистики и огромное желание наконец решить задачу подсчёта расходуемого трафика в локальной сети.

Мы рассмотрим процессы установки, настройки и запуска ipcad, а также некоторые примеры написания скриптов разбора статистики.

Установка ipcad

Для начала необходимо скачать последнюю версию ipcad (http://lionet.info/ipcad). На момент написания статьи таковой была 3.6.6. В самом процессе установки нет ничего нетривиального:

# tar -xvzf ipcad-3.6.6.tar.gz

# cd ipcad-3.6.6

# ./configure

# make

# /bin/su -

# make install

В RPM-based-дистрибутивах устанавливать ipcad лучше с помощью checkinstall (дабы следовать правилам пакетной системы).

Настройка ipcad

Из многочисленных способов ведения статистики самым простым является учёт трафика, прошедшего через физические интерфейсы шлюза (в данной статье – два Ethernet-интерфейса). Для конкретизации описания настроек взята локальная сеть с одной подсетью 192.168.0.0/24.

По умолчанию единственный конфигурационный файл ipcad находится в директории /usr/local/etc. Под задачу учёта трафика через два сетевых интерфейса eth0 и eth1 ipcad.conf выглядит следующим образом:

# /usr/local/etc/ipcad.conf

# GLOBAL OPTIONS

# Опция capture-ports включает/отключает дополнительные поля в статистике, такие как: TCP- и UDP-порты, а также

# типы ICMP-пакетов. Однако включение данной опции увеличивает потребление памяти, снижает скорость подсчёта

# трафика и в ряде случаев искажает вывод через RSH, поэтому она в данном примере отключена

capture-ports disable;

# Размер буферов, используемых для передачи статистики ядром, по умолчанию равен 64 Кб, чего вполне достаточно

buffers = 64k;

# INTERFACE OPTIONS

# Интерфейсы, на которых считается проходящий трафик.

# Рассматривается случай шлюза с двумя сетевыми интерфейсами: внутренним (локальная сеть) и внешним (Интернет)

interface eth1; # ...и ещё на одном

# Разделять статистику по каждому IP-адресу для подсети 192.168.0.0/24. «aggregate 192.168.0.0/24» указывает

# ipcad-диапазон адресов сети. «strip 32» означает, что в статистику необходимо заносить все 32 бита

# адреса, принадлежащего данному адресному диапазону

aggregate 192.168.0.0/24 strip 32;

# RSH SERVER OPTIONS

# Настройки rsh-сервера, с помощью которого будет просматриваться статистика.

rsh enable at 127.0.0.1;

# Правила, указанные ниже, описывают политики доступа к статистике ipcad. Root может полностью управлять

# (делать backup, просматривать и изменять таблицы подсчёта). Все остальные могут лишь просматривать статистику

rsh [email protected] admin;

rsh [email protected] backup;

rsh [email protected];

rsh 127.0.0.1 view-only;

# «Время жизни» и тайм-аут IP-пакета

rsh ttl = 3;

rsh timeout = 30;

# Опцией dumpfile задаётся путь к файлу, в который по умолчанию будут складываться данные статистики

dumpfile = /var/log/ipcad/ipcad-curr.dump;

# OTHER OPTIONS

pidfile = /var/run/ipcad.pid;

# Опция memory_limit задаёт количество памяти для хранения содержимого одного потока данных.

# Синтаксис следующий: memory_limit = <количество>[{k|m|e}] ;

# где k - Кб; m - Мб; e – количество строк таблицы данных

memory_limit = 10m;

Все остальные опции, задаваемые ipcad.conf, в нашем случае можно смело удалить (или, как минимум, закомментировать) за ненадобностью. Таким образом, они не будут задействованы вообще.

Примечание: директория /var/log/ipcad/ не создаётся при установке ipcad, поэтому её необходимо создать самостоятельно. Права на чтение, запись и просмотр содержимого директории с логами ipcad рекомендую дать лишь пользователю root. Всем остальным – запретить всё, чтобы избежать даже просмотр простыми пользователями статистики расходуемого трафика в сети.

На этом процессы установки и настройки завершены, и можно переходить к запуску ipcad.

Запуск ipcad

Запускать ipcad имеет смысл таким образом, чтобы при загрузке он восстанавливал данные о статистике из dumpfile, уходил в фон, а при выключении сбрасывал все данные в тот же dumpfile. Команда для запуска выглядит следующим образом:

/usr/local/bin/ipcad –rds

где:

ключ r – импортирует данные из dumpfile;
ключ d – «демонизирует» ipcad;
ключ s – сбрасывает статистику в dumpfile при выключении ipcad.

Лучше всего разместить указанную команду в один из init-скриптов для запуска ipcad вместе с системой. В какой именно init-скрипт, я не конкретизирую, т.к. это зависит от каждого дистрибутива. Например, в SuSE Linux для подобных целей служит скрипт /etc/init.d/boot.local, а в RedHat – /etc/rc.d/rc.local.

Просмотр статистики

Для управления статистикой ipcad используется rsh, настройки которого задаются в конфигурационном файле ipcad.conf (о чём говорится в «Настройка ipcad»).

Общий синтаксис команд для ipcad выглядит следующим образом:

rsh host comand

где host – это хост, на котором ведётся статистика, а comand – это сама команда. В рассматриваемом случае значением host является localhost.

По команде:

rsh localhost help

доступен полный список команд.

А именно:

show ip accounting – показать статистику.
clear ip accounting – сбросить статистику до контрольной точки. Если контрольная точка не задана, то статистика сбрасывается в ноль.
show ip accounting checkpoint – показать статистику, сохранённую в контрольных точках.
clear ip accounting checkpoint – сбросить все контрольные точки.
show ip cache flow – показать кэш NetFlow.
show interface – показать счётчик интерфейса .
dump [] – сохранить текущую статистику в файл Если Не указывать, то статистика сбросится в dumpfile, указанный в конфигурационном файле ipcad.conf.
restore [] – восстановить статистику.
import [] – импортировать (добавить) статистику.
stat – показать текущее состояние работы ipcad.
show version – показать версию и uptime ipcad.
shutdown – завершить работу ipcad.

Для просмотра статистики достаточно:

rsh localhost show ip accounting

Однако таким образом на экран выведется информация обо всём трафике, прошедшем через шлюз. То есть в одной таблице будет статистика по всему входящему и исходящему трафику из локальной сети.

Получить нужные данные из вывода команды «show ip accounting» можно, например, с помощью скриптов. Которые вы вполне можете написать сами для каждой конкретной ситуации. Ниже приводится пример для просмотра статистики по одному указанному IP-адресу и подсчёта суммарного трафика для этого IP:

traff.acc

#!/bin/bash

# name of script: traff.acc

HOST=localhost

rsh $HOST dump

rsh $HOST show ip accounting | grep -E "192\.168\.0\."$1"([^0-9]|$)"

echo

echo "Summary traffic of 192.168.0.$1 (kbytes):"

rsh $HOST show ip accounting | grep -E "192\.168\.0\."$1"([^0-9]|$)" | awk "{s+=$4} END {print(s/1024)}"

Используется просто:

./traff.acc ip

где ip – это число от 1 до 254 (попросту последний октет из IP-адреса).

Результатом работы этого скрипта будет вывод на экран количества (в мегабайтах) входящего трафика для введённого IP-адреса.

Приведённый простейший скрипт будет выводить всю суммарную статистику по указанному IP-адресу, собранную с момента первого запуска ipcad и до текущего момента времени. Это не всегда удобно, поскольку нагляднее иметь данные за какой-то конкретный промежуток времени (день/неделя/месяц).

Мне достаточно вести статистику расходуемого трафика по месяцам. Схема такого учёта выглядит следующим образом: в 23 ч. 59 мин. «последнего» числа каждого месяца делается dump статистики в файл, к названию которого целесообразно добавить значения года и текущего месяца. Уже через минуту, в 0 ч. 00 мин. 1-го числа следующего месяца, счётчик трафика сбрасывается командой «clear ip accounting», статистика начинает вестись «с нуля». По достижении «последнего» дня месяца схема повторяется.

Для реализации этого механизма создан файл /etc/cron.d/ipcad с заданиями для cron:

/etc/cron.d/ipcad

* * * * * root rsh localhost dump >/dev/null

59 23 * * * root date "+\%Y\%m" > /var/log/ipcad/ipcad.date

0 0 1 * * root (rsh localhost dump /var/log/ipcad/ipcad-$(cat /var/log/ipcad/ipcad.date).dump && rsh localhost clear ip accounting) >/dev/null 2>&1

Первая задача из приведённого файла выполняет dump статистики каждую минуту. Делается это для защиты от непредусмотренных выключений и зависаний шлюза, на котором ведётся учёт проходящего трафика.

Вторая строчка – это такой маленький «хак», который автор статьи вынужден был сделать в связи с трудностью указания в расписании «последнего дня месяца» при настройке заданий cron. Суть в том, что каждый день в файл /var/log/ipcad/ipcad.date сохраняется текущий месяц и год (в формате YYYYMM). Эта же процедура ведь произойдёт и в последний день месяца. Уже через минуту третье задание сделает dump статистики в файл, к названию которого прикрепится содержимое файла ipcad.date (т.е. год и уже прошедший месяц в формате YYYYMM), и сбросит счётчик расходуемого трафика. В этот же день файл ipcad.date перезапишется новыми значениями текущих месяца и года. Не совсем красиво, но зато работает.

Теперь, когда есть данные о трафике по каждому месяцу, расположенные в разных dump-файлах, можно изменить скрипт, добавив к нему возможность просмотра общей и частной по каждому IP-адресу статистики израсходованного трафика за какой-то определённый месяц:

traff.acc.2

#!/bin/bash

HOST=localhost

USERS=/etc/hosts

case $1 in

M|m) echo "Summary LAN traffic of month $2 (Mbytes):"

Rsh $HOST dump

Awk "{s+=$4} END {print(s/1048576)}"

< /var/log/ipcad/ipcad-$2.dump

Exit 0;;

U|u) grep -E "192\.168\.0\."$3"([^0-9]|$)" $USERS | awk "{print($2)}"

USER=`grep -E "192\.168\.0\."$3"([^0-9]|$)" $USERS | awk "{print($2)}"`

Rsh $HOST dump

Cat /var/log/ipcad/ipcad-$2.dump | grep -E "192\.168\.0\."$3"([^0-9]|$)"

Echo

Echo "Summary traffic of $USER in $2 month (kbytes):"

Cat /var/log/ipcad/ipcad-$2.dump | grep -E "192\.168\.0\."$3"([^0-9]|$)" | awk "{s+=$4} END {print(s/1024)}"

Exit 0;;

*) echo "Usage: "

Echo "1) if only month stat:"

Echo " ./traff.acc.2 m "

Echo " - number of month"

Echo "2) if user’s stat for month"

Echo " ./traff.acc.2 u "

Echo " - stat for that month"

Echo " - last octet of user’s IP address"

Echo "note: for current month in flag just type "curr""

Exit 0;;

esac

В приведённом скрипте traff.acc.2 в переменной $USERS определяется файл, в котором есть соответствия имён пользователей и их IP-адресов (в данном примере – это /etc/hosts на шлюзе). Эта переменная необязательна и вводится в скрипт исключительно для наглядности просматриваемой статистики.

Использовать приведённый скрипт можно двумя способами:

./traff.acc.2 m

где семафор m обозначает то, что на экран необходимо вывести общую статистику за указанный месяц.

./traff.acc.2 u

семафор u обозначает, что на экран необходимо вывести статистику указанного пользователя за определённый месяц.

Флаг – это шестизначный номер месяца в формате YYYYMM – такой формат хранения ежемесячных dump-файлов выбран в файле задач для cron (для вывода статистики за текущий месяц следует указать вместо номера месяца слово «curr»).

Флаг – это значение последнего октета IP-адреса пользователя, чью статистику надо просмотреть.

В заключение статьи хочу отметить, что вместо shell-скрипта можно написать скрипт на perl и, добавив элементы навигации, прикрутить страницу с этим скриптом к httpd-серверу. Тогда статистика будет доступна для просмотра через браузер.