Анализ сетевого трафика в управлении производительностью приложений. Сетевые анализаторы Программы для анализа трафика

Общие сведения

Инструментальные средства, называемые сетевыми анализаторами, получили свое имя в честь Sniffer Network Analyzer. Этот продукт был выпущен в 1988 году компанией Network General (теперь -- Network Associates) и стал одним из первых устройств, позволяющих менеджерам буквально не выходя из-за стола узнать о том, что происходит в крупной сети. Первые анализаторы считывали заголовки сообщений в пакетах данных, пересылаемых по сети, предоставляя, таким образом, администраторам информацию об адресах отправителей и получателей, размере файлов и другие сведения низкого уровня. Причем все это -- в дополнение к проверке корректности передачи пакетов. С помощью графов и текстовых описаний анализаторы помогали сетевым администраторам провести диагностику серверов, сетевых каналов, концентраторов и коммутаторов, а также приложений. Грубо говоря, сетевой анализатор прослушивает или "обнюхивает" ("sniffs") пакеты определенного физического сегмента сети. Это позволяет анализировать трафик на наличие некоторых шаблонов, исправлять определенные проблемы и выявлять подозрительную активность. Сетевая система обнаружения вторжений является ничем иным, как развитым анализатором, который сопоставляет каждый пакет в сети с базой данных известных образцов вредоносного трафика, аналогично тому, как антивирусная программа поступает с файлами в компьютере. В отличие от средств, описанных ранее, анализаторы действуют на более низком уровне.

Если обратиться к эталонной модели ВОС, то анализаторы проверяют два нижних уровня - физический и канальный.

Физический уровень - это реальная физическая проводка или иная среда, примененная для создания сети. На канальном уровне происходит первоначальное кодирование данных для передачи через конкретную среду. Сетевые стандарты канального уровня включают беспроводной 802.11, Arcnet, коаксиальный кабель, Ethernet, Token Ring и многое другое. Анализаторы обычно зависят от типа сети, в которой они работают. Например, для анализа трафика в сети Ethernet вы должны иметь анализатор Ethernet.

Существуют анализаторы коммерческого класса, от таких производителей, как Fluke, Network General и других. Обычно это специальные аппаратные устройства, которые могут стоить десятки тысяч долларов. Хотя эти аппаратные средства способны осуществлять более глубокий анализ, можно создать недорогой сетевой анализатор с помощью программного обеспечения с открытыми исходными текстами и недорогого ПК на Intel-платформе.

Виды анализаторов

Сейчас выпускается множество анализаторов, которые подразделяются на два вида. К первому относятся автономные продукты, устанавливаемые на мобильном компьютере. Консультант может брать его с собой при посещении офиса клиента и подключать к сети, чтобы собрать данные диагностики.

Первоначально портативные устройства, предназначенные для тестирования работы сетей, были рассчитаны исключительно на проверку технических параметров кабеля. Однако со временем производители наделили свое оборудование рядом функций анализаторов протоколов. Современные сетевые анализаторы способны обнаруживать широчайший спектр возможных неполадок -- от физического повреждения кабеля до перегрузки сетевых ресурсов.

Второй вид анализаторов является частью более широкой категории аппаратного и программного обеспечения, предназначенного для мониторинга сети и позволяющего организациям контролировать свои локальные и глобальные сетевые службы, в том числе Web. Эти программы дают администраторам целостное представление о состоянии сети. Например, с помощью таких продуктов можно определить, какие из приложений выполняются в данный момент, какие пользователи зарегистрировались в сети и кто из них генерирует основной объем трафика.

Помимо выявления низкоуровневых характеристик сети, например источник пакетов и пункт их назначения, современные анализаторы декодируют полученные сведения на всех семи уровнях сетевого стека Open System Interconnection (OSI) и зачастую выдают рекомендации по устранению проблем. Если же анализ на уровне приложения не позволяет дать адекватную рекомендацию, анализаторы производят исследование на более низком, сетевом уровне.

Современные анализаторы обычно поддерживают стандарты удаленного мониторинга (Rmon и Rmon 2), которые обеспечивают автоматическое получение основных данных о производительности, таких как информация о нагрузке на доступные ресурсы. Анализаторы, поддерживающие Rmon, могут регулярно проверять состояние сетевых компонентов и сравнивать полученные данные с накопленными ранее. Если необходимо, они выдадут предупреждение о том, что уровень трафика или производительность превосходит ограничения, установленные сетевыми администраторами.

Компания NetScout Systems представила систему nGenius Application Service Level Manager, предназначенную для контроля времени реакции на отдельных участках канала доступа к Web-сайту и определения текущей производительности серверов. Это приложение может анализировать производительность в общедоступной сети, с тем, чтобы воссоздавать общую картину на компьютере пользователя. Датская фирма NetTest (бывшая GN Nettest) начала предлагать Fastnet -- систему сетевого мониторинга, которая помогает компаниям, занимающимся электронным бизнесом, планировать емкость каналов, искать и устранять неисправности в сети.

Анализ конвергентных (мультисервисных) сетей

Распространение мультисервисных сетей (converged networks) может оказать решающее влияние на развитие телекоммуникационных систем и систем передач данных в будущем. Идея объединить в единой сетевой инфраструктуре, основанной на пакетном протоколе, возможность передачи и данных, и голосовых потоков, и видеоинформации - оказалась весьма заманчивой для провайдеров, специализирующихся на предоставлении телекоммуникационных сервисов, ведь она в одно мгновенье способна существенно расширить спектр предоставляемых ими услуг.

По мере того как корпорации начинают осознавать эффективность и ценовые преимущества конвергентных сетей на базе протокола IP, производители сетевых инструментальных средств активно разрабатывают соответствующие анализаторы. В первой половине года многие фирмы представили компоненты для своих продуктов сетевого администрирования, рассчитанные на передачу голоса по IP-сетям.

«Конвергенция породила новые сложности, с которыми приходится иметь дело сетевым администраторам, -- заметил Гленн Гроссман, директор по управлению продуктами компании NetScout Systems. -- Голосовой трафик очень чувствителен к временным задержкам. Анализаторы могут просматривать каждый бит и байт, передаваемый по проводам, интерпретировать заголовки и автоматически определять приоритет данных».

Использование технологий конвергенции голоса и данных может пробудить новую волну интереса к анализаторам, поскольку поддержка приоритетности трафика на уровне IP-пакетов становится существенной для функционирования голосовых и видеослужб. Например, фирма Sniffer Technologies выпустила Sniffer Voice -- инструментарий, предназначенный для администраторов мультисервисных сетей. Этот продукт не только предоставляет традиционные службы диагностики для управления трафиком электронной почты, Internet и баз данных, но и выявляет сетевые проблемы, а также дает рекомендации по их устранению, дабы обеспечить корректную передачу голосового трафика по IP-сетям.

Обратная сторона использования анализаторов

Следует помнить, что с анализаторами связаны две стороны медали. Они помогают поддерживать сеть в рабочем состоянии, но их могут применять и хакеры для поиска в пакетах данных имен пользователей и паролей. Для предотвращения перехвата паролей посредством анализаторов служит шифрование заголовков пакетов (например, с помощью стандарта Secure Sockets Layer).

В конце концов, пока не существует альтернативы сетевому анализатору в тех ситуациях, когда необходимо понять, что же происходит в глобальной или корпоративной сети. Хороший анализатор позволяет разобраться в состоянии сетевого сегмента и определить объем трафика, а также установить, как этот объем варьируется в течение дня, какие пользователи создают самую большую нагрузку, в каких ситуациях возникают проблемы с распространением трафика или возникает нехватка полосы пропускания. Благодаря применению анализатора можно получить и проанализировать все фрагменты данных в сетевом сегменте за данный период.

Однако сетевые анализаторы стоят дорого. Если вы планируете приобрести его, то прежде четко сформулируйте, чего вы от него ожидаете.

Особенности применения сетевых анализаторов

Чтобы применять сетевые анализаторы этично и продуктивно, необходимо выполнять следующие рекомендации.

Всегда необходимо разрешение

Анализ сети, как и многие другие функции безопасности, имеет потенциал для ненадлежащего использования. Перехватывая все данные, передаваемые по сети, можно подсмотреть пароли для различных систем, содержимое почтовых сообщений и другие критичные данные, как внутренние, так и внешние, так как большинство систем не шифрует свой трафик в локальной сети. Если подобные данные попадут в нехорошие руки, это, очевидно, может привести к серьезным нарушениям безопасности. Кроме того, это может стать нарушением приватности служащих. Прежде всего, следует получить письменное разрешение руководства, желательно высшего, прежде чем начинать подобную деятельность. Следует также предусмотреть, что делать с данными после их получения. Помимо паролей, это могут быть другие критичные данные. Как правило, протоколы сетевого анализа должны вычищаться из системы, если только они не нужны для уголовного или гражданского преследования. Существуют документированные прецеденты, когда благонамеренных системных администраторов увольняли за несанкционированный перехват данных.

Нужно понимать топологию сети

Прежде чем настраивать анализатор, необходимо полностью разобраться в физической и логической организацию данной сети. Проводя анализ в неправильном месте сети, можно получит ь ошибочные результаты или просто не найти то, что нужно. Необходимо проверить отсутствие маршрутизаторов между анализирующей рабочей станцией и местом наблюдения. Маршрутизаторы будут направлять трафик в сегмент сети, только если происходит обращение к расположенному там узлу. Аналогично, в коммутируемой сети, понадобится сконфигурировать порт, с которым установлено подключение, как порт "монитора" или "зеркала". Разные производители используют различную терминологию, но, по сути, необходимо, чтобы порт действовал как концентратор, а не как коммутатор, так как он должен видеть весь трафик, идущий через коммутатор, а не только тот, что направлен на рабочую станцию. Без такой настройки порт монитора будет видеть только то, что направлено в порт, с которым установлено подключение, и сетевой широковещательный трафик.

Необходимо использовать жесткие критерии поиска

В зависимости от того, что требуется найти, использование открытого фильтра (то есть показ всего) сделает вывод данных объемным и трудным для анализа. Лучше использовать специальные критерии поиска, чтобы сократить вывод, который выдает анализатор. Даже если не известно точно, что нужно искать, можно, тем не менее, написать фильтр для ограничения результатов поиска. Если требуется найти внутреннюю машину, правильно будет задать критерии для просмотра только исходных адресов внутри данной сети. Если необходимо отследить определенный тип трафика, скажем, трафик FTP, то можно ограничить результаты только тем, что приходит в порт, используемый приложением. Поступая таким образом, можно добиться значительно лучших результатов анализа.

Установка эталонного состояния сети

Применив сетевой анализатор во время нормальной работы , и записав итоговые результаты, достигается эталонное состояние, которое можно сравнивать с результатами, полученными во время попыток выделения проблемы. Анализатор Ethereal, рассматриваемый ниже, создает для этого несколько удобных отчетов. Будут получены также некоторые данные для отслеживания использования сети в зависимости от времени. При помощи этих данных можно определить, когда сеть насыщается и каковы основные причины этого - перегруженный сервер, рост числа пользователей, изменение типа трафика и т.п. Если есть точка отсчета, проще понять, кто и в чем виноват.

Анализаторы сетевых пакетов, или снифферы, первоначально были разработаны как средство решения сетевых проблем. Они умеют перехватывать, интерпретировать и сохранять для последующего анализа пакеты, передаваемые по сети. С одной стороны, это позволяет системным администраторам и инженерам службы технической поддержки наблюдать за тем, как данные передаются по сети, диагностировать и устранять возникающие проблемы. В этом смысле пакетные снифферы представляют собой мощный инструмент диагностики сетевых проблем. С другой стороны, подобно многим другим мощным средствам, изначально предназначавшимся для администрирования, с течением времени снифферы стали применяться абсолютно для других целей. Действительно, сниффер в руках злоумышленника представляет собой довольно опасное средство и может использоваться для завладения паролями и другой конфиденциальной информацией. Однако не стоит думать, что снифферы — это некий магический инструмент, посредством которого любой хакер сможет легко просматривать конфиденциальную информацию, передаваемую по сети. И прежде чем доказать, что опасность, исходящая от снифферов, не столь велика, как нередко преподносят, рассмотрим более детально принципы их функционирования.

Принципы работы пакетных снифферов

Дальнейшем в рамках данной статьи мы будем рассматривать только программные снифферы, предназначенные для сетей Ethernet. Сниффер — это программа, которая работает на уровне сетевого адаптера NIC (Network Interface Card) (канальный уровень) и скрытым образом перехватывает весь трафик. Поскольку снифферы работают на канальном уровне модели OSI, они не должны играть по правилам протоколов более высокого уровня. Снифферы обходят механизмы фильтрации (адреса, порты и т.д.), которые драйверы Ethernet и стек TCP/IP используют для интерпретации данных. Пакетные снифферы захватывают из провода все, что по нему приходит. Снифферы могут сохранять кадры в двоичном формате и позже расшифровывать их, чтобы раскрыть информацию более высокого уровня, спрятанную внутри (рис. 1).

Для того чтобы сниффер мог перехватывать все пакеты, проходящие через сетевой адаптер, драйвер сетевого адаптера должен поддерживать режим функционирования promiscuous mode (беспорядочный режим). Именно в этом режиме работы сетевого адаптера сниффер способен перехватывать все пакеты. Данный режим работы сетевого адаптера автоматически активизируется при запуске сниффера или устанавливается вручную соответствующими настройками сниффера.

Весь перехваченный трафик передается декодеру пакетов, который идентифицирует и расщепляет пакеты по соответствующим уровням иерархии. В зависимости от возможностей конкретного сниффера представленная информация о пакетах может впоследствии дополнительно анализироваться и отфильтровываться.

Ограничения использования снифферов

аибольшую опасность снифферы представляли в те времена, когда информация передавалась по сети в открытом виде (без шифрования), а локальные сети строились на основе концентраторов (хабов). Однако эти времена безвозвратно ушли, и в настоящее время использование снифферов для получения доступа к конфиденциальной информации — задача отнюдь не из простых.

Дело в том, что при построении локальных сетей на основе концентраторов существует некая общая среда передачи данных (сетевой кабель) и все узлы сети обмениваются пакетами, конкурируя за доступ к этой среде (рис. 2), причем пакет, посылаемый одним узлом сети, передается на все порты концентратора и этот пакет прослушивают все остальные узлы сети, но принимает его только тот узел, которому он адресован. При этом если на одном из узлов сети установлен пакетный сниффер, то он может перехватывать все сетевые пакеты, относящиеся к данному сегменту сети (сети, образованной концентратором).

Коммутаторы являются более интеллектуальными устройствами, чем широковещательные концентраторы, и изолируют сетевой трафик. Коммутатор знает адреса устройств, подключенных к каждому порту, и передает пакеты только между нужными портами. Это позволяет разгрузить другие порты, не передавая на них каждый пакет, как это делает концентратор. Таким образом, посланный неким узлом сети пакет передается только на тот порт коммутатора, к которому подключен получатель пакета, а все остальные узлы сети не имеют возможности обнаружить данный пакет (рис. 3).

Поэтому если сеть построена на основе коммутатора, то сниффер, установленный на одном из компьютеров сети, способен перехватывать только те пакеты, которыми обменивается данный компьютер с другими узлами сети. В результате, чтобы иметь возможность перехватывать пакеты, которыми интересующий злоумышленника компьютер или сервер обменивается с остальными узлами сети, необходимо установить сниффер именно на этом компьютере (сервере), что на самом деле не так-то просто. Правда, следует иметь в виду, что некоторые пакетные снифферы запускаются из командной строки и могут не иметь графического интерфейса. Такие снифферы, в принципе, можно устанавливать и запускать удаленно и незаметно для пользователя.

Кроме того, необходимо также иметь в виду, что, хотя коммутаторы изолируют сетевой трафик, все управляемые коммутаторы имеют функцию перенаправления или зеркалирования портов. То есть порт коммутатора можно настроить таким образом, чтобы на него дублировались все пакеты, приходящие на другие порты коммутатора. Если в этом случае к такому порту подключен компьютер с пакетным сниффером, то он может перехватывать все пакеты, которыми обмениваются компьютеры в данном сетевом сегменте. Однако, как правило, возможность конфигурирования коммутатора доступна только сетевому администратору. Это, конечно, не означает, что он не может быть злоумышленником, но у сетевого администратора существует множество других способов контролировать всех пользователей локальной сети, и вряд ли он будет следить за вами столь изощренным способом.

Другая причина, по которой снифферы перестали быть настолько опасными, как раньше, заключается в том, что в настоящее время наиболее важные данные передаются в зашифрованном виде. Открытые, незашифрованные службы быстро исчезают из Интернета. К примеру, при посещении web-сайтов все чаще используется протокол SSL (Secure Sockets Layer); вместо открытого FTP используется SFTP (Secure FTP), а для других служб, которые не применяют шифрование по умолчанию, все чаще используются виртуальные частные сети (VPN).

Итак, те, кто беспокоится о возможности злонамеренного применения пакетных снифферов, должны иметь в виду следующее. Во-первых, чтобы представлять серьезную угрозу для вашей сети, снифферы должны находиться внутри самой сети. Во-вторых, сегодняшние стандарты шифрования чрезвычайно затрудняют процесс перехвата конфиденциальной информации. Поэтому в настоящее время пакетные снифферы постепенно утрачивают свою актуальность в качестве инструментов хакеров, но в то же время остаются действенным и мощным средством для диагностирования сетей. Более того, снифферы могут с успехом использоваться не только для диагностики и локализации сетевых проблем, но и для аудита сетевой безопасности. В частности, применение пакетных анализаторов позволяет обнаружить несанкционированный трафик, обнаружить и идентифицировать несанкционированное программное обеспечение, идентифицировать неиспользуемые протоколы для удаления их из сети, осуществлять генерацию трафика для испытания на вторжение (penetration test) с целью проверки системы защиты, работать с системами обнаружения вторжений (Intrusion Detection System, IDS).

Обзор программных пакетных снифферов

се программные снифферы можно условно разделить на две категории: снифферы, поддерживающие запуск из командной строки, и снифферы, имеющие графический интерфейс. При этом отметим, что существуют снифферы, которые объединяют в себе обе эти возможности. Кроме того, снифферы отличаются друг от друга протоколами, которые они поддерживают, глубиной анализа перехваченных пакетов, возможностями по настройке фильтров, а также возможностью совместимости с другими программами.

Обычно окно любого сниффера с графическим интерфейсом состоит их трех областей. В первой из них отображаются итоговые данные перехваченных пакетов. Обычно в этой области отображается минимум полей, а именно: время перехвата пакета; IP-адреса отправителя и получателя пакета; MAC-адреса отправителя и получателя пакета, исходные и целевые адреса портов; тип протокола (сетевой, транспортный или прикладного уровня); некоторая суммарная информация о перехваченных данных. Во второй области выводится статистическая информация об отдельном выбранном пакете, и, наконец, в третьей области пакет представлен в шестнадцатеричном виде или в символьной форме — ASCII.

Практически все пакетные снифферы позволяют производить анализ декодированных пакетов (именно поэтому пакетные снифферы также называют пакетными анализаторами, или протокольными анализаторами). Сниффер распределяет перехваченные пакеты по уровням и протоколам. Некоторые анализаторы пакетов способны распознавать протокол и отображать перехваченную информацию. Этот тип информации обычно отображается во второй области окна сниффера. К примеру, любой сниффер способен распознавать протокол TCP, а продвинутые снифферы умеют определять, каким приложением порожден данный трафик. Большинство анализаторов протоколов распознают свыше 500 различных протоколов и умеют описывать и декодировать их по именам. Чем больше информации в состоянии декодировать и представить на экране сниффер, тем меньше придется декодировать вручную.

Одна из проблем, с которой могут сталкиваться анализаторы пакетов, — невозможность корректной идентификации протокола, использующего порт, отличный от порта по умолчанию. К примеру, с целью повышения безопасности некоторые известные приложения могут настраиваться на применение портов, отличных от портов по умолчанию. Так, вместо традиционного порта 80, зарезервированного для web-сервера, данный сервер можно принудительно перенастроить на порт 8088 или на любой другой. Некоторые анализаторы пакетов в подобной ситуации не способны корректно определить протокол и отображают лишь информацию о протоколе нижнего уровня (TCP или UDP).

Существуют программные снифферы, к которым в качестве плагинов или встроенных модулей прилагаются программные аналитические модули, позволяющие создавать отчеты с полезной аналитической информацией о перехваченном трафике.

Другая характерная черта большинства программных анализаторов пакетов — возможность настройки фильтров до и после захвата трафика. Фильтры выделяют из общего трафика определенные пакеты по заданному критерию, что позволяет при анализе трафика избавиться от лишней информации.

Оригинальное название: A Summary of Network Traffic Monitoring and Analysis Techniques

Ссылка на оригинальный текст: http://www.cse.wustl.edu/~jain/cse567-06/ftp/net_monitoring/index.html

Рекомендации: представленный перевод не является профессиональным. Возможны отступления от текста, неправильная трактовка тех или иных терминов и понятий, субъективное мнение переводчика. Все иллюстрации внесены в перевод без изменения.

Алиша Сессил

Обзор методов анализа и мониторинга сетевого трафика

Так как продолжают расти частные внутренние сети компаний, чрезвычайно важно, чтобы сетевые администраторы знали и умели управлять вручную различными типами трафика, который путешествует по их сети. Мониторинг и анализ трафика необходимы для того, чтобы более эффективно диагностировать и решать проблемы, когда они происходят, таким образом не доводя сетевые сервисы до простоя в течении длительного времени. Доступно много различных инструментов, которые позволяют помочь администраторам с мониторингом и анализом сетевого трафика. Данная статья обсуждает методы мониторинга ориентированные на маршрутизаторы и методы мониторинга не ориентированные на маршрутизаторы (активные и пассивные методы). Статья даёт обзор трёх доступных и наиболее широко используемых методов мониторинга сети, встроенных в маршрутизаторы (SNMP, RMON и Cisco Netflow) и предоставляет информацию о двух новых методах мониторинга, которые используют сочетание пассивного и активного методов мониторинга (WREN и SCNM).

1. Важность мониторинга и анализа сети

Сетевой мониторинг (мониторинг сети) - это сложная задача, требующая больших затрат сил, которая является жизненно важной частью работы сетевых администраторов. Администраторы постоянно стремятся поддержать бесперебойную работу своей сети. Если сеть «упадёт» хотя бы на небольшой период времени, производительность в компании сократится и (в случае организаций предоставляющих государственные услуги) сама возможность предоставления основных услуг будет поставлена под угрозу. В связи с этим администраторам необходимо следить за движением сетевого трафика и производительностью на всей сети и проверять, появились ли в ней бреши в безопасности.

2. Способы мониторинга и анализа

«Анализ сети - это процесс захвата сетевого трафика и его быстрого просмотра для определения того, что произошло с сетью» - Анжелла Оребаух. В следующих разделах обсуждаются два способа мониторинга сети: первый - маршрутизаторо-ориентированный, второй - не ориентированный на маршрутизаторы. Функциональность мониторинга, который встроен в сами маршрутизаторы и не требует дополнительной установки программного или аппаратного обеспечения, называют методами, основанными на маршрутизаторе. Не основанные на маршрутизаторах методы требуют установки аппаратного и программного обеспечения и предоставляют большую гибкость. Обе техники обсуждаются ниже в соответствующих разделах.

2.1. Методы мониторинга основанные на маршрутизаторе

Методы мониторинга основанные на маршрутизаторе - жёстко заданы (вшиты) в маршрутизаторах и, следовательно, имеют низкую гибкость. Краткое описание наиболее часто используемых методов такого мониторинга приведены ниже. Каждый метод развивался много лет прежде чем стать стандартизованным способом мониторинга.

2.1.1. Протокол простого сетевого мониторинга (SNMP), RFC 1157

SNMP - протокол прикладного уровня, который является частью протокола TCP/IP. Он позволяет администраторам руководить производительностью сети, находить и устранять сетевые проблемы, планировать рост сети. Он собирает статистику по трафику до конечного хоста через пассивные датчики, которые реализуются вместе с маршрутизатором. В то время, как существуют две версии (SNMPv1 и SNMPv2), данный раздел описывает только SNMPv1. SNMPv2 построен на SNMPv1 и предлагает ряд усовершенствований, таких как добавление операций с протоколами. Стандартизируется ещё один вариант версии SNMP. Версия 3 (SNMPv3) находится на стадии рассмотрения.

Для протокола SNMP присущи три ключевых компонента: управляемые устройства ( Managed Devices), агенты (Agents) и системы управления сетью ( Network Management Systems - NMSs). Они показаны на рис. 1.

Рис. 1. Компоненты SNMP

Управляемые устройства включают в себя SNMP-агента и могут состоять из маршрутизаторов, переключателей, коммутаторов, концентраторов, персональных компьютеров, принтеров и других элементов, подобных этим. Они несут ответственность за сбор информации и делают её доступной для системы управления сетью (NMS).

Агенты включают в себя программное обеспечение, которое владеет информацией по управлению, и переводят эту информацию в форму, совместимую с SNMP. Они закрыты для устройства управления.

Системы управления сетью (NMS) выполняют приложения, которые занимаются мониторингом и контролем устройств управления. Ресурсы процессора и памяти, которые необходимы для управления сетью, предоставляются NMS. Для любой управляемой сети должна быть создана хотя бы одна система управления. SNMP может действовать исключительно как NMS, или агент, или может исполнять свои обязанности или др.

Существует 4 основных команды, использующиеся SNMP NMS для мониторинга и контроля управляемых устройств: чтение, запись, прерывание и операции пересечения. Операция чтения рассматривает переменные, которые хранятся управляемыми устройствами. Команда записи меняет значения переменных, которые хранятся управляемыми устройствами. Операции пересечения владеют информацией о том, какие переменные управляемых устройств поддерживают, и собирают информацию из поддерживаемых таблиц переменных. Операция прерывания используется управляемыми устройствами для того, чтобы сообщить NMS о наступлении определённых событий.

SNMP использует 4 протокольные операции в порядке действия: Get, GetNext, Set и Trap. Команда Get используется, когда NMS выдаёт запрос на информацию для управляемых устройств. SNMPv1-запрос состоит из заголовка сообщения и единицы данных протокола (PDU). PDU-сообщения содержит информацию, которая необходима для удачного выполнения запроса, который будет либо получать информацию от агента, либо задавать значение в агенте. Управляемое устройство использует SNMP агентов, расположенных в нём, для получения необходимой информации и затем посылает сообщение NMS"у, с ответом на запрос. Если агент не владеет какой либо информацией по отношению к запросу, он ничего не возвращает. Команда GetNext будет получать значение следующего экземпляра объекта. Для NMS также возможно посылать запрос (операция Set), когда устанавливается значение элементов без агентов. Когда агент должен сообщить NMS-события, он будет использовать операцию Trap.

Как говорилось ранее, SNMP - протокол уровня приложений, который использует пассивные сенсоры, чтобы помочь администратору проследить за сетевым трафиком и производительностью сети. Хотя, SNMP может быть полезным инструментом для сетевого администратора, он создаёт возможность для угрозы безопасности, потому что он лишён возможности аутентификации. Он отличается от удалённого мониторинга (RMON), который обсуждается в следующем разделе, тем, что RMON работает на сетевом уровне и ниже, а не на прикладном.

2.1.2. Удалённый мониторинг (RMON), RFS 1757

RMON включает в себя различные сетевые мониторы и консольные системы для изменения данных, полученных в ходе мониторинга сети. Это расширение для SNMP информационной базы данных по управлению (MIB). В отличии от SNMP , который должен посылать запросы о предоставлении информации, RMON может настраивать сигналы, которые будут «мониторить» сеть, основанную на определённом критерии. RMON предоставляет администраторам возможности управлять локальными сетями также хорошо, как удалёнными от одной определённой локации/точки. Его мониторы для сетевого уровня приведены ниже. RMON имеет две версии RMON и RMON2. Однако в данной статье говорится только о RMON. RMON2 позволяет проводить мониторинг на всех сетевых уровнях. Он фокусируется на IP-трафике и трафике прикладного уровня.

Хотя существует 3 ключевых компонента мониторинговой среды RMON, здесь приводятся только два из них. Они показаны на рис. 2 ниже.

Рис. 2. Компоненты RMON

Два компонента RMON это датчик, также известный как агент или монитор, и клиент, также известный как управляющая станция (станция управления). В отличии от SNMP датчик или агент RMON собирает и хранит сетевую информацию. Датчик - это встроенное в сетевое устройство (например маршрутизатор или переключатель) программное обеспечение. Датчик может запускаться также и на персональном компьютере. Датчик должен помещаться для каждого различного сегмента локальной или глобальной сети, так как они способны видеть трафик, который проходит только через их каналы, но они не знают о трафике за их приделами. Клиент - это обычно управляющая станция, которая связана с датчиком, использующим SNMP для получения и коррекции RMON-данных.

RMON использует 9 различных групп мониторинга для получения информации о сети.

• Statistics - статистика измеренная датчиком для каждого интерфейса мониторинга для данного устройства.
• History - учёт периодических статистических выборок из сети и хранение их для поиска.
• Alarm - периодически берёт статистические образцы и сравнивает их с набором пороговых значений для генерации события.
• Host - содержит статистические данные, связанные с каждым хостом, обнаруженным в сети.
• HostTopN - готовит таблицы, которые описывают вершину хостов (главный хост).
• Filters - включает фильтрацию пакетов, основываясь на фильтровом уравнении для захвата событий.
• Packet capture - захват пакетов после их прохождения через канал.
• Events - контроль генерации и регистрация событий от устройства.
• Token ring - поддержка кольцевых лексем.

Как установлено выше, RMON, строится на протоколе SNMP. Хотя мониторинг трафика может быть выполнен при помощи этого метода, аналитические данные об информации, полученные SNMP и RMON имеют низкую производительность. Утилита Netflow, которая обсуждается в следующем разделе, работает успешно со многими пакетами аналитического программного обеспечения, чтобы сделать работу администратора намного проще.

2.1.3. Netflow, RFS 3954

Netflow - это расширение, которое было представлено в маршрутизаторах Cisco, которые предоставляют возможность собирать IP сетевой трафик, если это задано в интерфейсе. Анализируя данные, которые предоставляются Netflow, сетевой администратор может определить такие вещи как: источник и приёмник трафика, класс сервиса, причины переполненности. Netflow включает в себя 3 компонента: FlowCaching (кеширующий поток), FlowCollector (собиратель информации о потоках) и Data Analyzer (анализатор данных). Рис. 3 показывает инфраструктуру Netflow. Каждый компонент, показанный на рисунке, объясняется ниже.

Рис. 3. Инфраструктура NetFlow

FlowCaching анализирует и собирает данные о IP потоках, которые входят в интерфейс, и преобразует данные для экспорта.

Из Netflow-пакетов может быть получена следующая информация:

• Адрес источника и получателя.
• Номер входящего и выходящего устройства.
• Номер порта источника и приёмника.
• Протокол 4 уровня.
• Количество пакетов в потоке.
• Количество байтов в потоке.
• Временной штамп в потоке.
• Номер автономной системы (AS) источника и приёмника.
• Тип сервиса (ToS) и флаг TCP.

Первый пакет потока, проходящий через стандартный путь переключения, обрабатывается для создания кэша. Пакеты с подобными характеристиками потока используются для создания записи о потоке, которая помещается в кэш для всех активных потоков. Эта запись отмечает количество пакетов и количество байт в каждом потоке. Кэшируемая информация затем периодически экспортируется в Flow Collector (сборщик потоков).

Flow Collector - ответственен за сбор, фильтрование и хранение данных. Он включает в себя историю об информации о потоках, которые были подключены при помощи интерфейса. Снижение объёма данных также происходит при помощи Flow Collector"а при помощи выбранных фильтров и агрегации.

Data Analyzer (анализатор данных) необходим, когда нужно представить данные. Как показано на рисунке, собранные данные могут использоваться для различных целей, даже отличных от мониторинга сети, таких как планирование, учёт и построение сети.

Преимущество Netflow над остальными способами мониторинга, такими как SNMP и RMON, в том, что в ней существует программные пакеты, предназначенные для различного анализа трафика, которые существуют для получения данных от Netflow-пакетов и представления их в более дружелюбном для пользователя виде.

При использовании инструментов, таких как Netflow Analyzer (это только один инструмент, который доступен для анализирования Netflow-пакетов), информация, приведённая выше, может быть получена от Netflow-пакетов для создания диаграмм и обычных графиков, которые администратор может изучить для большего понимания о его сети. Наибольшее преимущество использования Netflow в отличии от доступных аналитических пакетов в том, что в данном случае могут быть построены многочисленные графики, описывающие активность сети в любой момент времени.

2.2. Технологии не основанные на маршрутизаторах

Хотя технологии, не встроенные в маршрутизатор всё же ограничены в своих возможностях, они предлагают большую гибкость, чем технологии встроенные в маршрутизаторы. Эти методы классифицируются как активные и пассивные.

2.2.1. Активный мониторинг

Активный мониторинг сообщает проблемы в сети, собирая измерения между двумя конечными точками. Система активного измерения имеет дело с такими метриками, как: полезность, маршрутизаторы/маршруты, задержка пакетов, повтор пакетов, потери пакетов, неустойчивая синхронизация между прибытием, измерение пропускной способности.

Главным образом использование инструментов, такие как команда ping, которая измеряет задержку и потери пакетов, и traceroute, которая помогает определить топологию сети, является примером основных активных инструментов измерения. Оба эти инструмента посылают пробные ICMP-пакеты до точки назначения и ждут, когда эта точка ответит отправителю. Рис. 4 - пример команды ping, которая использует активный способ измерения, посылая Echo-запрос от источника через сеть в установленную точку. Затем получатель посылает Echo-запрос обратно источнику от которого пришёл запрос.

Рис. 4. Команда ping (Акстивное измерение)

Данный метод может не только собирать единичные метрики об активном измерении, но и может определять топологию сети. Ещё один важный пример активного измерения - утилита iperf. Iperf - это утилита, которая измеряет качество пропускной способности TCP и UDP протоколов. Она сообщает пропускную способность канала, существующую задержку и потери пакетов.

Проблема, которая существует с активным мониторингом, - это то, что представленные пробы в сети могут вмешиваться в нормальный трафик. Часто время активных проб обрабатывается иначе, чем нормальный трафик, что ставит под вопрос значимость предоставленной информации от этих проб.

Согласно общей информации, описанной выше, активный мониторинг - это чрезвычайно редкий метод мониторинга, взятый в отдельности. Пассивный мониторинг напротив не требует больших сетевых расходов.

2.2.2. Пассивный мониторинг

Пассивный мониторинг в отличии от активного не добавляет трафик в сеть и не изменяет трафик, который уже существует в сети. Также в отличии от активного мониторинга, пассивный собирает информацию только об одной точке в сети. Измерения происходят гораздо лучше, чем между двумя точками, при активном мониторинге. Рис. 5 показывает установку системы пассивного мониторинга, где монитор размещён на единичном канале между двумя конечными точками и наблюдает трафик когда тот проходит по каналу.

Рис. 5. Установка пассивного мониторинга

Пассивные измерения имеют дело с такой информацией, как: трафик и смесь протоколов, количество битов (битрейт), синхронизация пакетов и время между прибытием. Пассивный мониторинг может быть осуществлён, при помощи любой программы, вытягивающей пакеты.

Хотя пассивный мониторинг не имеет затрат, которые имеет активный мониторинг, он имеет свои недостатки. С пассивным мониторингом, измерения могут быть проанализированы только оф-лайн и они не представляют коллекцию. Это создаёт проблему, связанную с обработкой больших наборов данных, которые собраны во время измерения.

Пассивный мониторинг может быть лучше активного в том, что данные служебных сигналов не добавляются в сеть, но пост-обработка может вызвать большое количество временных затрат. Вот почему существует комбинация этих двух методов мониторинга.

2.2.3. Комбинированный мониторинг

После прочтения разделов выше, можно благополучно переходить к заключению о том, что комбинирование активного и пассивного мониторинга - лучший способ, чем использование первого или второго по отдельности. Комбинированные технологии используют лучшие стороны и пассивного, и активного мониторинга сред. Две новые технологии, представляющие комбинированные технологии мониторинга, описываются ниже. Это «Просмотр ресурсов на концах сети» (WREN) и «Монитор сети с собственной конфигурацией» (SCNM).

2.2.3.1. Просмотр ресурсов на концах сети (WREN)

WREN использует комбинацию техник активного и пассивного мониторинга, активно обрабатывая данные, когда трафик мал, и пассивно обрабатывая данные на протяжении времени большого трафика. Он смотрит трафик и от источника, и от получателя, что делает возможным более аккуратные измерения. WREN использует трассировку пакетов от созданного приложением трафика для измерения полезной пропускной способности. WREN разбит на два уровня: основной уровень быстрой обработки пакетов и анализатор трассировок пользовательского уровня.

Основной уровень быстрой обработки пакетов отвечает за получение информации, связанной с входящими и исходящими пакетами. Рис. 6 показывает список информации, которая собирается для каждого пакета. К Web100 добавляется буфер для сбора этих характеристик. Доступ к буферу осуществляется при помощи двух системных вызовов. Один вызов начинает трассировку и предоставляет необходимую информацию для её сбора, пока второй вызов возвращает трассировку из ядра.

Рис. 6. Информация, собранная на главном уровне трассировок пакетов

Объект трассировки пакетов - способен координировать вычисления между различными машинами. Одна машина будет активировать работу другой машины, задавая флаг в заголовке уходящего пакета для начала обработки некоторого диапазона пакетов, которые она трассирует. Другая машина будет в свою очередь трассировать все пакеты, для которых она видит, что в заголовке установлен похожий флаг. Такая координация обеспечивает то, что информация об похожих пакетах хранится в каждой конечной точке независимо от связи и того, что происходит между ними.

Анализатор трассировок пользовательского уровня - другой уровень в среде WREN. Это компонент, который начинает трассировку любого пакета, собирает и обрабатывает возвращённые данные на уровне ядра оператора. Согласно проектированию, компоненты пользовательского уровня не нуждаются в чтении информации от объекта трассировки пакетоввсё время. Они могут быть проанализированы незамедлительно после того, как трассировка будет завершена, чтобы сделать заключение в реальном времени, или данные могут быть сохранены для дальнейшего анализа.

Когда трафик мал, WREN будет активно вводить трафик в сеть сохраняя порядок следования потоков измерения. После многочисленных исследований, найдено, что WREN представляет похожие измерения в перенасыщенных и в не-перенасыщенных средах.

В текущей реализации WREN, пользователи не принуждаются только к захвату трассировок, которые были инициированы ими. Хотя любой пользователь может следить за трафиком приложений других пользователей, они ограничены в информации, которая может быть получена от трассировок других пользователей. Они могут только получить последовательность и подтверждение чисел, но не могут получить актуальные сегменты данных из пакетов.

В общем, WREN - это очень полезная установка, которая использует преимущества и активного, и пассивного мониторинга. Хотя эта технология находится на раннем этапе развития, WREN может предоставить администраторам полезные ресурсы в мониторинге и анализе их сетей. Монитор Собственного конфигурирования сети (SCNM) - другой инструментарий, который использует технологии и активного, и пассивного мониторинга.

2.2.3.2. Сетевой монитор с собственной конфигурацией (SCNM)

SCNM - это инструмент мониторинга, который использует связь пассивных и активных измерений для сбора информации на 3 уровне проникновения, выходящих маршрутизаторов, и других важных точек мониторинга сети. Среда SCNM включает и аппаратный, и программный компонент.

Аппаратное средство устанавливается в критических точках сети. Оно отвечает за пассивный сбор заголовков пакетов. Программное обеспечение запускается на конечной точке сети. Рис. 7, приведённый ниже, показывает программный компонент SCNM среды.

Рис. 7. Программный компонент SCNM

Программное обеспечение отвечает за создание и посылку активированных пакетов, которые используются для старта мониторинга сети. Пользователи будут посылать в сеть пакеты активации, содержащие детали о пакетах, которые они хотят получить для мониторинга и сбора. Пользователи не нуждаются в знании местоположения SCNM-хоста, принимая за истину то, что все хосты открыты для «прослушки» пакетов. На основе информации, которая существует в рамках активационного пакета, фильтр помещается в поток сбора данных, который также работает в конечной точке . Собираются заголовки пакетов сетевого и транспортного уровня, которые соответствуют фильтру. Фильтр будет автоматически введён в тайм аут, после точно заданного времени, если он получает другие пакеты приложения. Служба выборки пакетов, которая запускается на SCNM-хосте, использует команду tcpdump (подобно программе выборки пакетов) в порядке полученных запросов и записи трафика, который соответствует запросу.

Когда инструментами пассивного мониторинга определяется проблема, трафик может быть сгенерирование при помощи инструментов активного мониторинга, позволяя собирать добавляемые данные для более детального изучения проблемы. При развёртывании этого монитора в сети на каждом маршрутизаторе на протяжении пути, мы может изучать только секции сети, которые имеют проблемы.

SCNM предназначен для установки и использования, главным образом, администраторами. Тем не менее обычные пользователи могут использовать некоторую часть этой функциональности. Хотя обычные пользователи способны использовать части среды SCNM мониторинга, им позволено смотреть только свои собственные данные.

В заключение скажем, что SCNM - это ещё один способ комбинированного мониторинга, который использует и активный, и пассивный методы, чтобы помочь администраторам мониторить и анализировать их сети.

3. Заключение

Подбирая частные инструменты для использования их в мониторинге сети, администратор должен сначала решить, хочет ли он использовать хорошо зарекомендовавшие себя системы, которые уже использовались много лет, или новые. Если существующие системы более подходящее решение, тогда NetFlow - наиболее полезный инструмент для использования, так как в связки с этой утилитой могут использоваться анализирующиеся пакеты данных для представления данных в более дружелюбном пользователю виде. Тем не менее, если администратор готов попробовать новую систему, решения комбинированного мониторинга, такие как WREN или SCNM, - лучшее направление для дальнейшей работы.

Слежение и анализ сети - жизненно необходимы в работе системного администратора. Администраторы должны стараться содержать свою сеть в порядке, как для не разрозненной производительности внутри компании, так и для связи с любыми существующими публичными сервисами. Согласно вышеописанной информации, некоторое число маршрутизаторо-ориентированных технологий и не основанные на маршрутизаторах, пригодны для помощи сетевым администраторам в ежедневном мониторинге и анализе их сетей. Здесь коротко описываются SNMP, RMON, и Cisco"s NetFlow - пример нескольких технологий, основанных на маршрутизаторах. Примеры не основанных на маршрутизаторах технологий, которые обсуждались в статье, - это активный, пассивный мониторинг и их сочетание.

В терминологии системных администраторов и специалистов по информационной безопасности часто встречается понятие - «анализаторы трафика». Под анализатором трафика понимается устройство или программа, которая перехватывает трафик и затем его анализирует. В сфере ИБ используется термин «сниффер». Как правило, снифферы «слушают» тот трафик, который проходит через сетевую карту. Одна из самых известных свободно распространяемых программ-снифферов - это Wireshark. Но хочется отметить, что на самом деле функционал анализаторов трафика уже давно «перерос» проблемы хакинга и информационной безопасности. Современные коммерческие анализаторы выпускаются как в виде программных решений, так и в виде аппаратных устройств и служат для комплексного анализа производительности крупных информационных сетей, а также пользовательских приложений.

С помощью анализаторов трафика системный администратор решает следующие задачи:

находит проблемы в работе сети (задержки в передаче информации) и быстро их устраняет,

обнаруживает постороннюю активность (несанкционированный доступ злоумышленников), атаки на корпоративные ресурсы и т.д.,

«прослушивает сеть»,

анализирует работоспособность пользовательских приложений,

собирает статистику.

Существуют два основных метода анализа трафика:

«В режиме реального времени»;

«Ретроспективный анализ», который предполагает «захват трафика» и его сохранение, а затем изучение и получение отчетности.

В плане технических решений, существует методика анализа трафика, основанная на данных маршрутизатора. Т.е. используется определенный софт, который собирает данные маршрутизатора, анализирует их и представляет системному инженеру отчетность. Здесь можно упомянуть о Netflow (Cisco), который собирает IP-трафик. Есть методики, которые не основаны на маршрутизаторах, в этом случае устанавливается отдельное оборудование и программное обеспечение, которое и собирает данные из сети, анализирует их, предоставляя отчетность и экспертное решение по определенным проблемам.

Рассмотрим, как производится анализ трафика в реальных сетях на примере софта и оборудования компании Fluke Networks.

1. Сетевой анализатор Fluke Networks OptiView XG

В линейке оборудования компании Fluke Networks - это одно из наиболее удобных решений для системных администраторов. Оригинальность заключается в том, что этот анализатор изготовлен в виде планшета (10,25 - дюймовый дисплей), очень прост в использовании. Рядовой сотрудник ИТ-отдела без специальной подготовки сможет начать работу с помощью данного анализатора и провести анализ даже крупной сети. Этот прибор портативный, весит всего 2,5 кг, т.е. для специалиста в «полевых условиях» и в командировке незаменимый вариант. Итак, рассмотрим, как с помощью данного устройства системному администратору можно произвести анализ трафика в сети крупной организации.

Материал подготовлен
техническими специалистами компании “СвязКомплект”.

Недавно, при обсуждении в одном чате вопроса: как из Wireshark вытащить файл , всплыла утилита NetworkMiner. Пообщавшись с коллегами и по гуглив в Интернете, я сделал вывод, что об этой утилите знает не так много народу. Так как утилита в разы упрощает жизнь исследователя/пентестера, то исправляю этот недостаток и расскажу сообществу о том, что же такое NetworkMiner.

NetworkMiner – утилита для перехвата и анализа сетевого траффика между хостами локальной сети, написанная под ОС Windows (но также работает в Linux, Mac OS X, FreeBSD).

NetworkMiner может быть использована в качестве пассивного сниффера сетевых пакетов, анализ которых позволит обнаружить фингерпринт операционных систем, сессий, хостов, а также открытые порты. NetworkMiner также позволяет анализировать PCAP файлы в автономном режиме и восстановить передаваемые файлы и сертификаты безопасности.

Официальная страница утилиты: http://www.netresec.com/?page=Networkminer

И так, приступим к рассмотрению.

Утилита доступна в двух редакциях: Free и Professional (стоимость 700 USD).

В редакции Free доступны следующие опции:

• перехват траффика;
• разбор PCAP файла;
• прием PCAP файла по IP;
• определение ОС.

В редакции Professional добавляются опции:

• разбор PcapNG файла,
• Определение протокола порта,
• Экспорт данных в CSV / Excel,
• Проверка DNS имен по сайту http://www.alexa.com/topsites ,
• Локализация по IP,
• Поддержка командной строки.

В данной статье рассмотрим опцию разбор PCAP файла, полученного от Wireshark.

Но для начала установим NetworkMiner в Kali Linux.

1. По умолчанию, пакеты Mono уже стоят в KaliLinux, но если они не установлены, то выполняем следующее действие:

sudo apt-get install libmono-winforms2.0-cil

1. Далее скачиваем и устанавливаем NetworkMiner

wget sf.net/projects/networkminer/files/latest -O /tmp/nm.zip
sudo unzip /tmp/nm.zip -d /opt/
cd /opt/NetworkMiner*
sudo chmod +x NetworkMiner.exe
sudo chmod -R go+w AsscodebledFiles/
sudo chmod -R go+w Captures/

1. Чтобы запустить NetworkMiner используем следующую команду:

mono NetworkMiner.exe

Для информации. Пять минут перехвата траффика у себя в тестовой сети собрало более 30 000 различных пакетов.

Как понимаете, анализировать такой трафик достаточно трудоемко и по времени затратно. Wireshark обладает встроенными фильтрами и достаточно гибок, но что делать когда надо быстро проанализировать траффик, не изучая всего многообразия Wireshark?

Попробуем посмотреть какую информацию нам предоставит NetworkMiner.

1. Открываем полученный PCAP в NetworkMiner. Понадобилось меньше минуты, чтобы проанализировать дамп траффика из более 30 000 пакетов.

1. На вкладке Hosts приводится список всех хостов, участвующих в формирование траффика, с детальной информацией по каждому хосту:

1. На вкладке Frames, трафик приводится в виде пакетов с информацией по каждому уровню модели OSI (Канальному, Сетевому и Транспортному).

1. Следующая вкладка Credentials покажет перехваченные попытки авторизации в открытом виде. Вот так потратив меньше минуты можно из большого дампа трафика сразу получить логин и пароль на авторизацию. Я это делал на примере своего роутера.

1. И еще одна вкладка, которая облегчает получение данных из трафика – это Files.

В нашем примере мне попался pdf файл, который можно сразу открыть и посмотреть.

Но больше всего я удивился, когда обнаружил в дампе трафика — txt файл, как оказалось от моего роутера DIR-620. Так вот этот роутер, при авторизации на нем, передает в текстовом виде все свои настройки и пароли, в том числе от WPA2.

В итоге, утилита оказалась довольно интересная и полезная.

Тебе, дорогой читатель, отдаю на прочтение данную статью, а я пошел покупать новый роутер.