Способы мониторинга сети ethernet

Система мониторинга активного сетевого оборудования федеральной сети

Во время написания статьи пришел к выводу, что объяснить всю техническую часть по данной теме в одном посте практически невозможно, а может и никому не надо. Поэтому решил сделать данный пост обзорным над моей работой. Цель поста — показать, как не используя дополнительное финансирование компании и выпросив пару виртуальных серверов можно построить эффективную среду мониторинга активного оборудования большой сети в крупной компании.

Если вас интересует тема мониторинга сети или есть желание сравнить мою работу с имеющейся у вас, приглашаю под кат.

В маленькой «домашней» сети задачу мониторинга сети можно решить, используя любую из имеющихся свободных платформ для мониторинга. Однако, когда дело касается большого предприятия с больших количеством узлов, все не так прозрачно. И основная проблема — это нехватка физических ресурсов и отсутствие адаптированной под ваши требования системы. Чуть лучше ситуация обстоит с платными продуктами, но платные системы очень редко входят в расходы бизнеса на какой-то там мониторинг.

Система управления

Скелетом всего мониторинга будет система управления, позволяющая мышкой вносить изменение, удалять или добавлять новые узлы или связи.

При разработке всей системы в целом, учитывались следующие требования:

• Минимальные настройка/перенастройка на активном оборудовании;
• Обработка большого объема трафика по netflow;
• Возможность детально исследовать какую-либо сетевую активность;
• Оперативное обновление о происходящих инцидентах. Будь то падение канала или большая загрузка канала;
• Возможность дорабатывать модули или отчеты для все возможных выборок;
• Задействовать минимальное количество инфраструктуры;
• Как можно меньше писать функционал самостоятельно.

Инфраструктура пробовалась разная, до тех пор, пока не была достигнута текущая конфигурация. Все испробованные варианты я описывать не буду, чтобы не растягивать пост.

Итог таков: Два виртуальных сервера под управлением CentOS 6.
Один для системы управления и отображения. 2 процессора, 4ГБ ОЗУ, 250ГБ диск.
Второй выполняющий функции коллектора netflow. 2 процессора, 4ГБ ОЗУ 150ГБ диск.
Конфигурация серверов вполне стандартная, веб сервер apache с php + mysql.

Кактус

Для системы управления был выбран Кактус. Чем привлек кактус:

• Отсутствием сложного кода в WEB отображении (никакого flash, aciveX и прочих активных компонентов, что дает преимущество использования на мобильных устройствах);
• Простая и понятная структура БД, к который можно легко привязать свой функционал;
• Много плагинов именно для мониторинга активного оборудования;
• Встроенная поддержка SNMP;
• RRDTool в качестве источника для графиков (привет заббиксу);
• отсутствует клиентская часть.

Установка Кактуса не представляет из себя никакой сложности. По этой теме очень много информации в интернете, ну и самой лучшей, конечно, является официальная документация.

Настройка так же не требует глубоких ИТ знаний. На странице Devices добавляются устройства, указывается тип SNMP и авторизация. Привязываются стандартные шаблоны.

Плагины к кактусу для работы с активным оборудованием

NetFlow

Syslog and Traps

Второй создает автономную базу данных с очень прозрачной структурой, к которой я привязал функционал, написанный самостоятельно, но об этом чуть позже.

Network Maps

Настройка NetFlow

В качестве нашего программного коллектора будет использоваться flow-tools. Данное ПО умеет не только захватывать трафик, но и анализировать его. Так же на основе этого пакета написано не мало GUI для отображения собранной информации в человеческом виде.

Управлять компонентом flow-capture я собирался с плагина кактуса flowview, поэтому после установки flow-tools, необходимо скопировать скрипт запуска сервиса с папки плагина в наш init.d на сервере.
Из-за чего вся эта возня с системой управления? Ведь проще поправить конфиг вручную и забить? Но не тут то было. Количество устройств порядка 500 штук с весьма большим объемом трафика. Если сложить все flow в одну папку, извлечение данных по одному часу трафика займет более 2-х часов, это неприемлемо.

Решено было разделить потоки от каждого устройства в отдельную папку, чтобы выборка происходила в определенной папке с нужным трафиком. Средствами flow-capture это делается путем разнесения потоков от устройств по портам. А это значит, каждое устройство нужно настроить с уникальным портом отдачи flow?

Это так же неприемлемо, поэтому на помощь в решении данной проблемы приходит простая маленькая программка samplicator. Суть работы такова: принимает входящие UDP пакеты, сортирует их по адресу источника и транслирует в выбранный порт. А это значит, что настройку оборудования мы делаем типовую на один порт, а уже на самом сервере распределяем потоки по портам.

Синтаксис конфига: Source/Mask:Destination1/Port [Destination2/Port] и пример:

Flow собрали, с ужасом смотрим скорость заполнения наших дисков. Как теперь все это просмотреть?
Есть много способов, можно генерировать отчеты вручную через тот же пакет flow-tools. Но это могут сделать не все пользователи системы, да и тому, кто может, надо попотеть, чтобы написать человеческий отчет.

Я обратился к еще одному замечательному проекту FlowViewer.

Когда я его откопал и начал использовать, была версия 3.3 или что-то вроде того, 2006 года. Пока я разобрался с 3-й версии, проект неожиданно ожил и начал развиваться, 4-я версия была просто гениальна, по сравнению с 3-й. На момент написания статьи текущая версия 4.4 (у меня используется 4.1).

По своей сути, он почти полностью дублирует плагин Кактуса flowview, но сам плагин мне понравился только имеющимся расписанием, его работа по выборке нестабильна, фильтры не полные, а нужной агрегации нет. И архитектурно весь flow хранится на втором сервере, а значит FlowViever с удовольствием ставиться на второй сервер и предоставляет красивые графики и выборки с трафиком.

SNMP Traps

Потоки с flow — это очень хорошо и заманчиво, но использовать их для оповещения о проблемах невозможно. Только для анализа уже после устранения проблемы.

Ну и самый доступный способ оповещения — это SNMP трапы. Получать SNMP трапы от 500 устройств одним списком не очень приятное занятие, потеряешь в мусоре важную на данный момент информацию. Ясно, что надо делать какой-то фильтр. Тут готового решения, удовлетворяющего мои требования найдено не было. Но не беда, вспомнив тягу к программированию в институте решил написать анализатор трапов сам.

Технология получения фильтрованного списка такая: при получении трапа сервер мониторинга принимает (snmptrapd) его, анализирует (snmptt) в соответствии с загруженными MIB спецификациями и сразу кладет в базу данных.

mysql_dbi_enable = 1
mysql_dbi_host = localhost
mysql_dbi_port = 3306
mysql_dbi_database = cacti
mysql_dbi_table = plugin_camm_snmptt
mysql_dbi_table_unknown = plugin_camm_snmptt_unk
mysql_dbi_table_statistics = plugin_camm_snmptt_stat
mysql_dbi_username = cacti
mysql_dbi_password = cacti
mysql_ping_on_insert = 1
mysql_ping_interval = 300

Перехватывать эту обработку особого смысла нет, потому что придется заводить как-то свой стек событий. Это нам ни к чему, тем более база данных в которую попадают трапы у нас заполнена информаций об устройствах (имена, порты, линки), которую Кактус собирает сам по средствам SNMP опроса.

Привлекательным выглядит вариант забирать с базы события, связывать их с имеющейся базой для информативности. Вооружившись блокнотом, начал придумывать логику. С ней особых проблем не возникло, проблемы возникли при выборки данных из БД. Которая начала занимать от 30 секунд. Ни о какой оперативности тут речь не шала. Теория оптимизации баз данных, оптимизация запросов, индексы, планы, умные советы моей спутницы(специалиста по сверхбольшим БД) сделали своё дело.

Основная мысль фильтровать Up/Down трапы, в описании которых встречаются имена интерфейсов (Eth, Serial, Gi, E), по идентификаторам и источнику ищем данные в таблице с SNMP. На выходе получаем красивую строку, когда, где и куда упал линк.

Все данные с базы оформляются в читабельным вид в виде html страничек.

Выборки с БД получая разные условия, формируют разные таблички отчетов.

Благодарю читателя, осилившего все моё сумбурное повествование. Отчасти связанное с тем, что система уже год с лишним работает без меня. Много забылось, что-то потеряло смысл. Но работает мониторинг до сих пор, собирает данные и обеспечивает выборки уже без моей поддержки.

Все данные, скриншоты и конфиги деперсонализированы. Любые совпадения являются случайностью.

Источник

Анализ сетевого трафика — 10 лучших бесплатных анализаторов и коллекторов

Многие администраторы сетей часто сталкиваются с проблемами, разобраться с которыми поможет анализ сетевого трафика. И здесь мы сталкиваемся с таким понятием, как анализатор трафика. Так что же это такое?

Анализаторы и коллекторы NetFlow — это инструменты, которые помогают отслеживать и анализировать данные сетевого трафика. Анализаторы сетевых процессов позволяют точно определить устройства, из-за которых снижается пропускная способность канала. Они умеют находить проблемные места в вашей системе, и повышать общую эффективность сети.

Термин « NetFlow » относится к протоколу Cisco , предназначенному для сбора информации о трафике по IP и мониторинга сетевого трафика. NetFlow был принят в качестве стандартного протокола для потоковых технологий.

Программное обеспечение NetFlow собирает и анализирует данные потоков, генерируемых маршрутизаторами, и представляет их в удобном для пользователей формате.

Несколько других поставщиков сетевого оборудования имеют свои собственные протоколы для мониторинга и сбора данных. Например, Juniper , другой весьма уважаемый поставщик сетевых устройств, называет свой протокол « J-Flow «. HP и Fortinet используют термин « s-Flow «. Несмотря на то, что протоколы называются по-разному, все они работают аналогичным образом. В этой статье мы рассмотрим 10 бесплатных анализаторов сетевого трафика и коллекторов NetFlow для Windows .

Мониторинг сетевого трафика — 10 лучших бесплатных анализаторов и коллекторов

SolarWinds Real-Time NetFlow Traffic Analyzer

Free NetFlow Traffic Analyzer является одним из наиболее популярных инструментов, доступных для бесплатного скачивания. Он дает возможность сортировать, помечать и отображать данные различными способами. Это позволяет удобно визуализировать и анализировать сетевой трафик. Инструмент отлично подходит для мониторинга сетевого трафика по типам и периодам времени. А также выполнение тестов для определения того, сколько трафика потребляют различные приложения.

Этот бесплатный инструмент ограничен одним интерфейсом мониторинга NetFlow и сохраняет только 60 минут данных. Данный Netflow анализатор является мощным инструментом, который стоит того, чтобы его применить.

Colasoft Capsa Free

Этот бесплатный анализатор трафика локальной сети позволяет идентифицировать и отслеживать более 300 сетевых протоколов, и позволяет создавать настраиваемые отчеты. Он включает в себя мониторинг электронной почты и диаграммы последовательности TCP-синхронизации , все это собрано в одной настраиваемой панели.

Другие функции включают в себя анализ безопасности сети. Например, отслеживание DoS/DDoS-атак , активности червей и обнаружение ARP-атак . А также декодирование пакетов и отображение информации, статистические данные о каждом хосте в сети, контроль обмена пакетами и реконструкция потока. Capsa Free поддерживает все 32-битные и 64-битные версии Windows XP .

Минимальные системные требования для установки: 2 Гб оперативной памяти и процессор 2,8 ГГц. У вас также должно быть соединение с интернет по сети Ethernet ( совместимой с NDIS 3 или выше ), Fast Ethernet или Gigabit с драйвером со смешанным режимом. Он позволяет пассивно фиксировать все пакеты, передаваемые по Ethernet-кабелю .

Angry IP Scanner

Это анализатор трафика Windows с открытым исходным кодом, быстрый и простой в применении. Он не требует установки и может быть использован на Linux , Windows и Mac OSX . Данный инструмент работает через простое пингование каждого IP-адреса и может определять MAC-адреса , сканировать порты, предоставлять NetBIOS-информацию , определять авторизованного пользователя в системах Windows , обнаруживать веб-серверы и многое другое. Его возможности расширяются с помощью Java-плагинов . Данные сканирования могут быть сохранены в файлы форматов CSV, TXT, XML .

ManageEngine NetFlow Analyzer Professional

Полнофункциональная версия программного обеспечения NetFlow от ManageEngines . Это мощное программное обеспечение с полным набором функций для анализа и сбора данных: мониторинг пропускной способности канала в режиме реального времени и оповещения о достижении пороговых значений, что позволяет оперативно администрировать процессы. Кроме этого предусмотрен вывод сводных данных по использованию ресурсов, мониторинг приложений и протоколов и многое другое.

Бесплатная версия анализатора трафика Linux позволяет неограниченно использовать продукт на протяжении 30 дней, после чего можно производить мониторинг только двух интерфейсов. Системные требования для NetFlow Analyzer ManageEngine зависят от скорости потока. Рекомендуемые требования для минимальной скорости потока от 0 до 3000 потоков в секунду: двухъядерный процессор 2,4 ГГц, 2 Гб оперативной памяти и 250 Гб свободного пространства на жестком диске. По мере увеличения скорости потока, который нужно отслеживать, требования также возрастают.

The Dude

Это приложение представляет собой популярный сетевой монитор, разработанный MikroTik . Он автоматически сканирует все устройства и воссоздает карту сети. The Dude контролирует серверы, работающие на различных устройствах, и предупреждает в случае возникновения проблем. Другие функции включают в себя автоматическое обнаружение и отображение новых устройств, возможность создавать собственные карты, доступ к инструментам для удаленного управления устройствами и многое другое. Он работает на Windows , Linux Wine и MacOS Darwine .

JDSU Network Analyzer Fast Ethernet

Эта программа анализатор трафика позволяет быстро собирать и просматривать данные по сети. Инструмент предоставляет возможность просматривать зарегистрированных пользователей, определять уровень использования пропускной способности сети отдельными устройствами, быстро находить и устранять ошибки. А также захватывать данные в режиме реального времени и анализировать их.

Приложение поддерживает создание графиков и таблиц с высокой детализацией, которые позволяют администраторам отслеживать аномалии трафика, фильтровать данные, чтобы просеивать большие объемы данных, и многое другое. Этот инструмент для специалистов начального уровня, а также для опытных администраторов, позволяет полностью взять сеть под контроль.

Plixer Scrutinizer

Этот анализатор сетевого трафика позволяет собрать и всесторонне проанализировать сетевой трафик, а также быстро найти и исправить ошибки. С помощью Scrutinizer можно отсортировать данные различными способами, в том числе по временным интервалам, хостам, приложениям, протоколам и т.д. Бесплатная версия позволяет контролировать неограниченное количество интерфейсов и хранить данные по 24 часам активности.

Wireshark

Wireshark — это мощный сетевой анализатор может работать на Linux , Windows , MacOS X , Solaris и других платформах. Wireshark позволяет просматривать захваченные данные с помощью графического интерфейса, или использовать утилиты TTY-mode TShark . Его функции включают в себя сбор и анализ трафика VoIP, отображение в режиме реального времени данных Ethernet , IEEE 802.11 , Bluetooth , USB , Frame Relay , вывод данных в XML , PostScript , CSV , поддержку дешифрования и многое другое.

Системные требования: Windows XP и выше, любой современный 64/32-битный процессор, 400 Mb оперативной памяти и 300 Mb свободного дискового пространства. Wireshark NetFlow Analyzer — это мощный инструмент, который может существенно упростить работу любому администратору сети.

Paessler PRTG

Этот анализатор трафика предоставляет пользователям множество полезных функций: поддержку мониторинга LAN , WAN , VPN , приложений, виртуального сервера, QoS и среды. Также поддерживается мониторинг нескольких сайтов. PRTG использует SNMP , WMI , NetFlow , SFlow , JFlow и анализ пакетов, а также мониторинг времени бесперебойной работы/простоя и поддержку IPv6 .

Бесплатная версия дает возможность использовать неограниченное количество датчиков в течение 30 дней, после чего можно бесплатно использовать только до 100 штук.

nProbe

Это полнофункциональное приложение с открытым исходным кодом для отслеживания и анализа NetFlow .

nProbe поддерживает IPv4 и IPv6 , Cisco NetFlow v9 / IPFIX , NetFlow-Lite , содержит функции анализа VoIP трафика, выборки потоков и пакетов, генерации логов, MySQL/Oracle и DNS-активности , а также многое другое. Приложение является бесплатным, если вы анализатор трафика скачиваете и компилируете на Linux или Windows . Исполняемый файл установки ограничивает объем захвата до 2000 пакетов. nProbe является полностью бесплатным для образовательных учреждений, а также некоммерческих и научных организаций. Данный инструмент будет работать на 64-битных версиях операционных систем Linux и Windows .

Этот список из 10 бесплатных анализаторов трафика и коллекторов NetFlow поможет вам приступить к мониторингу и устранению неисправностей в небольшой офисной сети или обширной, охватывающей несколько сайтов, корпоративной WAN-сети .

Каждое представленное в этой статье приложение дает возможность контролировать и анализировать трафик в сети, обнаруживать незначительные сбои, определять аномалии пропускного канала, которые могут свидетельствовать об угрозах безопасности. А также визуализировать информацию о сети, трафике и многое другое. Администраторы сетей обязательно должны иметь в своем арсенале подобные инструменты.

Источник