Что-то неладное происходит в Сети. Нужна ваша помощь!

[zako]

Братцы, выручайте!

 

Сломал башку уже.

Сеть начала чудить.

Рассказываю все по порядку.

 

В сети есть роутер, на котором стоит UTM и DHCP, и именно он выпускает людей в инет.

Машинка эта воткнута в свич 3Com 3C16471. На этом же свиче висят и абоненты. Этот свич на данный момент является и центром звезды в сети.

 

В какой-то момент начал отваливаться от сети этот роутер. Просто переставал пинговаться. Причем для всех юзеров.

 

Глючило, глючило и окончательно умерло. Сначала была мысль, что глючил и сдох порт на свиче. Даже заменил этот свич на точно такой же новый из запасов "на случай аварий". Но оказалось, что просто сетевуха (хорошая, дорогая 3Com) приказала долго жить.

 

Поставил другую сетевуху. Все запустилось. Все работало четко и без проблем в течение где-то 1.5-2 недель. И опять началась какая-то чихарда. Но на данный момент от роутера отваливаются не все абоненты, а как-то хаотично выборочно и минут на 10-15. Т.е. выглядит это так, что роутер просто перестает пинговаться и становится невидимым для абонента. Залезаю в этот момент на него - с него "исчезнувший" абонент тоже не пингуется. Причем абонент может находиться вовсе не на этом свиче, а на любом другом в сети. Ничего странного на роутере не замечаю (но сразу скажу, что в юниксах не шибко силен и могу чего-то не замечать). Что странно, отвалившийся абонент в период "не видения" роутера совершенно спокойно видит и пингует других абонентов. Т.е. складывается такая картина, что как будто порт свича, на котором висит роутер как-то хаотично перестает пропускать какие-либо пакеты "к" и "от" некоторых абонентов, что звучит для меня как-то странно. Но свич то новый, рабочий 100%. Сетевуха тоже новая стоит.

 

Вот сижу, пишу этот пост, и у меня самого "отвалился" этот роутер. Пингую и жду пока вновь появится. И даже иногда какие-то пакеты проскакивают. Но в общем - не видно роутера. Минут через 10-20 он вновь появится и все будет работать как ни в чем не бывало.

 

...

Превышен интервал ожидания для запроса.

Превышен интервал ожидания для запроса.

Превышен интервал ожидания для запроса.

Ответ от 192.168.0.1: число байт=32 время<1мс TTL=64

Превышен интервал ожидания для запроса.

Превышен интервал ожидания для запроса.

Превышен интервал ожидания для запроса.

...

 

В чем может быть проблема? Уже не знаю что думать и куда смотреть. Очень надеюсь на вашу помощь!

[grama]

Свич насколько я понимаю тупой и у Вас фактически один эзернет сегмент, либо свич в сети дурит либо "умный" юзер просто ее кладет. Пилите сетку, чем скорей тем лучше. Тем более серверная группа в пользовательской сети это жестоко.

P.S. сам по себе свич хороший у самих стоял такой после Cisco 3550 между серверами и глюков не было замечено.

Edited June 9, 2007 by grama

[Thunderstrike]

У Вас явно присутствует какой-то флуд. А какой это Вам выяснять. Сниффер и зеркалирование и вперёд.

[grama]

Зеркалирование на чем? Это не хаб хотя бы. Тут вариант только линки последовательно отключать и искать флудераста (ов).

Edited June 9, 2007 by grama

[Thunderstrike]

На указанном коммутаторе конечно. Он же управляемый.

Edited June 9, 2007 by Thunderstrike

[grama]

Неужели за 80 енотов ;) http://www.3com.ru/products/workgroup_sws/...tions/index.htm

Edited June 9, 2007 by grama

[Thunderstrike]

Пардон невнимательно посмотрел.

Edited June 9, 2007 by Thunderstrike

[zako]

Зеркалирование на чем? Это не хаб хотя бы. Тут вариант только линки последовательно отключать и искать флудераста (ов).

Проблемотично как-то. Отрубать линки - это физически лезть на чердак какого-либо дома и вырубать провод. Да еще и ждать пока каждый из абонентов соизволит войти в сеть. Такой способ выявления проблемы займет неделю, а то и больше, постоянного лазания по крышам и мониторинга. Может можно как-то иначе понять в чем проблема?

 

Замечено, что проблема присутствует даже при небольшом количестве компов в сети. Причем я запомнил КТО был в этот момент. И когда эти компы отсутствуют, то проблема все равно существует.

Почему именно порт роутера? Интернет-флуд идет что ли? Дикий исходящий трафик что ли?

Вроде не замечено такого...

 

Посмотрел сейчас статистику трафика за текущие сутки на UTM. Вообще никакого криминала нет. 58Мб исх., 484Мб вх., 26Мб локального трафика (запросы к DHCP и т.п.)

Edited June 9, 2007 by zako

[zako]

Свич насколько я понимаю тупой и у Вас фактически один эзернет сегмент, либо свич в сети дурит либо "умный" юзер просто ее кладет. Пилите сетку, чем скорей тем лучше. Тем более серверная группа в пользовательской сети это жестоко.

P.S. сам по себе свич хороший у самих стоял такой после Cisco 3550 между серверами и глюков не было замечено.

Какой возможен бюджетный вариант железяки? Ну в пределах 500 у.е., я думаю. Чтобы железяку эту поставить в центр звезды и чтобы она решила нашу проблему.

От центра звезды идут 3 луча, на двух лучах по 3 свича еще висит, на одном - два.

И в этот же центр включен роутер и потом еще будет включен FTP-сервер (отдельная тема).

[Thunderstrike]

Коммутатор L3 нужен?

[grama]

А как же по чердакам не лазить ;) Это только в ДЦ все в доступно и то не факт. Залезь не поленись, отключи все кроме серверной группы и включай остальные линки по одному с интервалом минут пять-десять (предварительно пингуя несколько адресов с обоих сторон на больших пакетах). L3 (маршрутизация) нужен однозначно. Или если маршрутизатор нормальный, тогда и L2-L4 хватит (BPS-2000 или Dlink 30 серии, Cisco 2950T правда сама флудящий свич (порт) отрубит , но это дороже раза в 3.5)

Edited June 9, 2007 by grama

[MaksMMS]

проверьте другие коммутаторы, особенно если в них есть горелые порты...флуд может идти от них, а не от абонентов.

[grama]

Какой возможен бюджетный вариант железяки? Ну в пределах 500 у.е

Поищи у Нага, а еще лучше спроси в личке ;) Он плохого не посоветует. Сам брал у него BPS-2000 , работают как часы. ... Nortel ничего не скажешь у них даже топменеджеры между Cisco и Nortel бегают :)

[Fog]

очень похоже на флуд. либо сетевая/свич у когото глюкает. либо умный товарищ завелся и снифер/флудер запустил.

 

в кратце это выглядит так. таблица МАС в свичах стареет примерно 3-5 минут. тоесть если например прилетает левый МАС который случайно/намеренно совпал с МАС твоего серва то свич его привязывает к тому порту откуда он прилетел. и так по всей цепочке свичей. а это необязательно совпадет с реальным портом откуда работает твой сервак. ну свич себе по алгоритму его работы приписал МАС левый к порту откуда он пришел и усе, таймер на него повесил, если еще прилетит то таймер сбросится, если нет то МАС по истичению времени таймера удалится из таблицы. и так по кругу.

 

визуально это выглядит что при включении питании свича у тебя пинг на серв появился и через 10-60сек исчезает.

 

так могут отпадать не тока сервак но и клиенты. просто сервак это постоянный трафик вот и страдает в первую очередь.

 

товрищи пральна советуют. либо отключать сегменты и лазить по чердакам, либо ставить умный железка и смотерть откуда прилетает левак. кстати можно сделать софтварный бридж на линуксе и на нем просматривать что и куда летает.

[grama]

Я не спец в связи и тем более в микросхемах, но есть такой факт, при запросах от серверной группы, ниже даже мыльницы во время запросов начинают работать "как надо" ;) Вероятно это вписывается в концепцию обновлений ком-х матриц :) Поэтому с вой верхний пост я редактирую, пинговать только "снизу", хотя проблема если есть проявится уже через 10 секунд независимо от направления передачи пакетов.

P.S. Ищи свич-убийцу. Без управляемых портов, ты сможешь управлять ими только ручками (дергая RJ45 физически) других вариантов нет к сожелению. Если повезет, то это действительно будет свич, причем твой, если нет, тогда тяжело........... :( В математике это называется методом последовательных приближений , проще методом научного тыка :), но сути это не меняет даже при полной управляемости, просто число итераций стремится к нулю :)

Edited June 9, 2007 by grama

[SMi]

Была ситуация 1 в 1 года 4 назад. Была подключена моя сеть к суб провайдеру. У него на меня стоял DSL и роутер. Моя сетка плавала в их ИП пространстве. И вот у нас началось что то похожее. Одни роутер пингуют другие нет, пропадает появляется как хочет. Если пинговать роутер в момент когда он не пингуется было выявлено, что ему подставляется левый МАС. Откуда он брался и каким образом вообще там мог очутится мы до сих пор не понимаем, в то время меняли все железо, отключали всех пользователей, но так и не нашли. Как будто его на кабель наводкой наводило :)

Кастылем для нас стало прописывание всем пользователям: arp -s 192.168.0.1 xx-xx-xx-xx-xx-xx (где Х истиный МАС роутера.)

 

Попробуйте :)

[ram_scan]

Судя по всему кто-то занимает IP рутера или криво и бездарно занимается спуфингом. Пока этот "кто-то шевелится", наблюдается расползание косых ARP записей по сети. По мере их протухания на коммутаторах ситуация нормальзуется, после чего злоумышленик активизируется, и все повторяется.

 

На неуправляемой сети подтвердить такой диагноз быстро можно единственным способом, положить физически рутер, попытаться пощупать этот адрес и посмотреть появился ли MAC адрес девайса в ARP таблице.

 

Искать - видимо только физически отключать сегменты.

[Kaban]

Для самой простой и дешевой защиты от ARP спуфинга пропишите статически на роутере связку МАК-IP для всех клиентов, а на клиентах пропишите статически MAC роутера.

 

Более правильно будет использовать свичи с защитой от ARP spoofing-а, на пример если есть много денег то Catalyst 3560, если денег мало то DLink 3526.

[A l e x]

95% что какой-то свич флудит после выгорания порта,

как я понял из написанного сабж сеть построена на меди,

отключаем по очереди линки собственно,

снифер мало чем поможет ибо чего либо видимого с этого свича не идет,

мы проверяли у себя когда случилось подобное,

 

причем для бродкастного велана не имеет значения где стоит свич,

проблемы испытывает весь сегмент,

 

а вообще оптика рулит :))

[Fog]

ну еще вариант решения. купить управляемый л2 свич. и постепенно ставить в разные места сегмента локализовать проблему.

сначала поставить посердине.

 

видать автора напрягает сама мысль что нужно бегать по чердакам, но по другому невыйдет.

 

при небольшом бюджете можно купить штук 5 управляемых свичей чисто для локализации проблем. это не так дорого по 70уе за свич.

[zako]

Вот смотрю сейчас, ночью, на ситуацию.

В сети 5 абонентов и роутер.

Днем, при пропадании линка к роутеру большинства этих абонентов не было. Сейчас у меня пропадал линк на 6 минут (днем это обычно или 10 или 20 минут, что тоже настораживает - очень уж ровные числа). Так что могу сделать вывод, что не абонентские компы тут виноваты. Наверно все-таки какой-то свич чудит. Есть подозрение на один. НО... все равно не могу понять логики. Почему дохнет именно порт на свиче, к которому подключен роутер? Все остальные порты ведь работают нормально!

Вариант с дебилами-злоумышленниками в сети я сразу отметаю, т.к. точно знаю, что таких нет!

Edited June 10, 2007 by zako

[A79]

поставь какой нить хаб в разрыв между коммутатором и рутером и снифером смотри трафик,

и не мешало бы проверить логи и рутере

[MaksMMS]

хорошо что напомнил про дебилов-злоумышленников :)

Вспомнилась ситуация, когда на протяжении довольно большого периода времени около 3 месяцев, изредка (пару раз в неделю) на пару минут пропадали пинги до роутера в локальной сети..я списывал все это дело на кривизну прошивки роутера, а оказалось что один человек попросту прописал на своей сетевухе не свой ип, а ип роутера....перепутал кароче, открылось случайным образом, когда он позвонил в саппорт и оставил заявку о неработающем инете :)

Edited June 11, 2007 by MaksMMS

[Fog]

еще прийми во внимание то что если ктото мается дурью то он НЕ ОБЯЗАТЕЛЬНО будет в списке включеных абонентов.

[disappointed]

Пробуйте смотреть арп броадкасты в сети, возможно кто-то специально шлёт фейковую пару мак/ip сервера на броадкаст.