[nur16]

Сегодня по непонятным причинам, в одном из городов, произошел

массовый сброс STA в дефолтные настройки. Причем, только тех STA,

которые были настроены в режим Router (см картинку). Абонентам

выдается белый адрес /30, гейт прописан на STA, второй адрес на порту абонента.

Те STA, которые работали в режиме NAT (белый адрес на интерфейсе wireless, серые адреса на ethernet), все остались живыми.

 

Теперь монтажникам придется ездить по всем абонентам и настраивать вручную

серый адрес, чтобы инженеры получив доступ, могли заново настроить все STA.

 

 

Люди, кто-нить сталкивался с таким поведением камбиума?

 

Единственное, что мы предполагаем, что пришел какой-то флуд по 80 порту,

и сбросил в дефолт. Но почему только те STA, которые работали в режиме Router?

 

Upd: Доступ на STA возможен только по серому адресу.

Edited July 7, 2016 by nur16

[rdc]

я бы в этой ситуации прикрыл бы файрволом в ядре гейты абонентов

т.е. если например у абонента 176.123.2.2/30, то нужно перекрыть доступ отовсюду к 176.123.2.1

 

а вообще лучше делать влан на абонента, и не светить CPE в интернет

[nur16]

Так по гейту на STA в такой конфигурации не зайдешь, только пинг проходит.

Или я чего-то не догоняю?

[rdc]

ну, вдруг какой-нибудь "пакет смерти" раскопали. лучше подстраховаться

[SSD]

Так по гейту на STA в такой конфигурации не зайдешь, только пинг проходит.

Или я чего-то не догоняю?

Есть сплоиты которые позволяют получить доступ.

[m0sia]

А какая версия софта у вас? Вы уверены, что это связано с настройками, а не просто reset по питанию из-за перебоев с электричеством в районе?

 

Так по гейту на STA в такой конфигурации не зайдешь, только пинг проходит.

Или я чего-то не догоняю?

Есть сплоиты которые позволяют получить доступ.

 

а можно чуть-чуть поподробнее? можно в личку. или скажите хотя бы для каких версий.

[nur16]

А какая версия софта у вас? Вы уверены, что это связано с настройками, а не просто reset по питанию из-за перебоев с электричеством в районе?

 

Так по гейту на STA в такой конфигурации не зайдешь, только пинг проходит.

Или я чего-то не догоняю?

Есть сплоиты которые позволяют получить доступ.

 

а можно чуть-чуть поподробнее? можно в личку. или скажите хотя бы для каких версий.

Версия софта у всех 2.6.1

 

Мы и сами бы рады предположить сбой по питанию на районе, но тогда почему сбросились только те STA, которые настроены роутером?

[aqwerty]

У нас был подобный случай. При грозе были проблемы с электричеством, STA бриджом, конфиг в дефолт, софт 2.6.2, отсутствовал коннект по eth. Тупо заменили, комплекты отлежались 2 недели и... о чудо - eth заработал. Один комплект разобрал, посмотрел потроха, - с виду все цело. Подключил кабель - есть контакт, конфига нет. Остальные заработали без разборки. Вдогонку - на одной из баз отваливался GPS без причины, помогла только перезагрузка по питанию.

Edited July 8, 2016 by aqwerty

[SSD]

а можно чуть-чуть поподробнее? можно в личку. или скажите хотя бы для каких версий.

Я видел для старых, например вот: https://www.exploit-db.com/exploits/38776/

[nur16]

Статистика такая - 270 штук STA в режиме NAT, и все живые, и 65 штук STA в режиме Router, и все сбросились. Все территориально в одном городе, схема вилан на базу. В других городах сотни STA, никаких проблем, все работает нормально. Что это, люди?

 

По факту, все сбросились в промежутке примерно одного часа.

Edited July 8, 2016 by nur16

[nur16]

я бы в этой ситуации прикрыл бы файрволом в ядре гейты абонентов

т.е. если например у абонента 176.123.2.2/30, то нужно перекрыть доступ отовсюду к 176.123.2.1

 

а вообще лучше делать влан на абонента, и не светить CPE в интернет

 

По вашему совету на ядровом роутере этого города прикрыли все гейты всех /30 подсетей этих STA роутеров. Попаданий в правило файрволла практически нет.

[m0sia]

а можно чуть-чуть поподробнее? можно в личку. или скажите хотя бы для каких версий.

Я видел для старых, например вот: https://www.exploit-db.com/exploits/38776/

 

я общался с этим Karn'ом. Описанное мы давно пофиксили, да и вообще много усилий последнее время тратим на безопасность.

 

Статистика такая - 270 штук STA в режиме NAT, и все живые, и 65 штук STA в режиме Router, и все сбросились. Все территориально в одном городе, схема вилан на базу. В других городах сотни STA, никаких проблем, все работает нормально. Что это, люди?

 

По факту, все сбросились в промежутке примерно одного часа.

 

Может snmp с дефолтным community string?

[SSD]

а можно чуть-чуть поподробнее? можно в личку. или скажите хотя бы для каких версий.

Я видел для старых, например вот: https://www.exploit-db.com/exploits/38776/

 

я общался с этим Karn'ом. Описанное мы давно пофиксили, да и вообще много усилий последнее время тратим на безопасность.

 

Не все такие сознательные.

[nur16]

Может snmp с дефолтным community string?

Конечно каждый STA по snmp имеет отдельно прописанный коммунити и на чтение и на запись.

[m0sia]

Может snmp с дефолтным community string?

Конечно каждый STA по snmp имеет отдельно прописанный коммунити и на чтение и на запись.

 

тогда еще глупый вопрос: installer и прочие юзеры имеют не дефолтные пароли?

[nur16]

Может snmp с дефолтным community string?

Конечно каждый STA по snmp имеет отдельно прописанный коммунити и на чтение и на запись.

 

тогда еще глупый вопрос: installer и прочие юзеры имеют не дефолтные пароли?

installer - нет. другие логины задизаблены.

 

сейчас, анализируя сетевые логи коммутаторов в этой сети, обнаружили, что примерно в то же самое время

был аномальный трафик пакетов IGMP. Коммутаторы реагировали на них повышением загрузки цпу:

логи при этом вот такие:

08.07.2016 6:43:54 DGS-3100-24TG 172.16.20.27 %IGMPHOST-D-IP: IGMP Packet with unknown source IP

 

не можем понять, куда копать и что делать

[m0sia]

Может snmp с дефолтным community string?

Конечно каждый STA по snmp имеет отдельно прописанный коммунити и на чтение и на запись.

 

тогда еще глупый вопрос: installer и прочие юзеры имеют не дефолтные пароли?

installer - нет. другие логины задизаблены.

 

сейчас, анализируя сетевые логи коммутаторов в этой сети, обнаружили, что примерно в то же самое время

был аномальный трафик пакетов IGMP. Коммутаторы реагировали на них повышением загрузки цпу:

логи при этом вот такие:

08.07.2016 6:43:54 DGS-3100-24TG 172.16.20.27 %IGMPHOST-D-IP: IGMP Packet with unknown source IP

 

не можем понять, куда копать и что делать

 

А как эти абоненты были запитаны? Не воткнуты случайно в PoE какого-нибудь микротика типа RB750UP?

[nur16]

А как эти абоненты были запитаны? Не воткнуты случайно в PoE какого-нибудь микротика типа RB750UP?

Все STA запитаны от родных, исключительно родных блоков питания.

Часть сбросившихся STA запитаны через UPS абонентов, так как подсети /30

обычно запрашивают абоненты корпорейта, и у них есть своя сетевая инфраструктура.

 

Также, по докладам монтажников, STA сбросились по разному.

Примерно 60% сбросились в полный дефолт.

 

А остальные - у них всего лишь слетел wireless IP адрес с маской и гейтом.

Все остальные настройки у STA остались на месте как были.

Посмотрите на картинку в первом посте - этот адрес серый, и через него происходит маршрутизация

белой /30 подсети. Абоненты при этом могли пинговать свой белый гейт на STA с интерфейса ethernet.

 

Такие STA коннектились на базы, но база их отпинывала, так как они все ломились с

одинаковым дефолтным адресом 192.168.0.2.

 

Помогите

[m0sia]

Помогите

 

Ситуация абсолютно загадочная, пока не знаю, чем помочь или даже в какую сторону копать. Я не представляю, как без вмешательства пользователя, как-то можно сбросить конфиг.

 

1. Вы пользуетесь cnMaestro?

2. С часа X еще были случаи сброса?

3. Ничего не менялось в сети? софт какой-нибудь? Маршрутизация? Не мог мониторинг пошалить?

 

PS в любом случае выключите "Factory Reset Via Power Reset Sequence" в разделе "Tools->Backup/Restore"

Edited July 8, 2016 by m0sia

[nur16]

Помогите

 

Ситуация абсолютно загадочная, пока не знаю, чем помочь или даже в какую сторону копать. Я не представляю, как без вмешательства пользователя, как-то можно сбросить конфиг.

 

1. Вы пользуетесь cnMaestro?

2. С часа X еще были случаи сброса?

3. Ничего не менялось в сети? софт какой-нибудь? Маршрутизация? Не мог мониторинг пошалить?

 

PS в любом случае выключите "Factory Reset Via Power Reset Sequence" в разделе "Tools->Backup/Restore"

1. Нет, мы не пользуемся cnMaestro.

Есть установленный CNS сервер, который мониторит всю сеть камбиумов.

Он, конечно же, на сером адресе. Он может так глюкнуть?

 

2. Точно не могу ответить, но с часа Х мы просто обнаруживаем все новые сбросившиеся STA,

которых не заметили сразу в этой сутолоке.

 

3. Единственное, что отличает сеть этого города от всех остальных городов - это то,

что адреса выдаются через DHCP, как серые для STA с /30, так и белые адреса для STA с NAT.

 

Сейчас отдана команда прибивать адреса вручную статически в момент восстановления STA от сброса.

 

Мы тоже предполагаем, что наши учетки поломали, но учетки одинаковы для всех STA,

так почему сбросились только STA в режиме Router и только в одном городе?

 

Теоретически и практически, конечно же, это могут быть проделки обиженных админов

или злых конкоров, не исключено. Прорабатываем и этот вариант, конечно.

 

P.S. Резет через питание был отключен у большинства сбросившихся STA, мы отключаем сейчас этот параметр у всех подряд.

Edited July 8, 2016 by nur16

[m0sia]

3. А в логах DHCP ничего странного или подозрительного?

 

Я бы все-таки склонялся к тому, что кто-то "добрый", зная пароль, заресетил устройства. Устройства с роутингом были доступны через белый адрес, а устройства с натом по какой-то причине не были. Или устройства с роутингом имели одну /24(или шире) сеть, а устройства с натом другую. Но я понятно полной картины не знаю.

[nur16]

3. А в логах DHCP ничего странного или подозрительного?

 

Я бы все-таки склонялся к тому, что кто-то "добрый", зная пароль, заресетил устройства. Устройства с роутингом были доступны через белый адрес, а устройства с натом по какой-то причине не были. Или устройства с роутингом имели одну /24(или шире) сеть, а устройства с натом другую. Но я понятно полной картины не знаю.

В логах DHCP нет ничего странного. DHCP выдавал адреса обоим типам STA - серые адреса /32 роутерам, белые адреса /32 nat устройствам.

Для устройств с роутингом была выделена одна белая /22 сеть и разбивалась на подсети размером /30.

Для устройств с nat также была выделена одна белая /22 сеть и разбивалась, соответственно на /32.

Всем рулит один ядровый маршрутизатор, все на нем. Трансмиссия тоже приходит прямо в него.

Весь трафик оттуда прилетает уже в центральное ядро. Вся схема сети совершенно повторяет сети других городов.

 

Единственное отличие - в этом городе у нас нет ни одного сектора микротик и, соответственно, ни одного сре микротик ) только камбиумы.

Нет ни одного конкурента, только наш нацоператор с его древним adsl от coreccess.

 

Мы решили так - закрыли файрволлом все гейты всех /30 роутеров, по совету rdc.

Все nat устройства решили посадить на серый менеджемент с отдельным виланом управления, как и STA роутеры.

В общем, сделаем так, чтобы по белым адресам до STA достучаться извне было невозможно.

 

Привлекли также знакомых ментов, сейчас занимаются проработкой вопроса.

Но злой умысел это последняя очередь подозрений. Работаем 17 лет, такое впервые, никого не обижали.

 

Если и после этого повторится или будет продолжаться, то тут явно с камбиумом что-то не так.

 

Если у кого идеи есть, будем благодарны.

[m0sia]

Если осталось хоть одно сброшенное устройство, то можете снять, ничего на нем не трогать и дать удаленный доступ через тимвьюевер? Может хоть что-то удасться прояснить.

 

Те у устройств с роутингом и натом разные белые /22 сети?

 

Те у устройств с роутингом и натом разные белые /22 сети?

[nur16]

Если осталось хоть одно сброшенное устройство, то можете снять, ничего на нем не трогать и дать удаленный доступ через тимвьюевер? Может хоть что-то удасться прояснить.

Конечно! Привезем пару штук к нам оттуда, и выполним ваши инструкции. К понедельнику привезут. Спасибо большое

 

Те у устройств с роутингом и натом разные белые /22 сети?

Да, разные. Но все эти сети входят в один большой блок, принадлежащий нам.

[m0sia]

Ну и в порядке бреда: у вас ведь наверное жарко сильно сейчас? Сколько градусов за окном?

 

И ещё все: все устройства из /22 сети с роутингом заресетились или есть те, которые работают исправно?