Что случилось у полосатых?

[shicoy]

Вчера примерно в 16:00 пропал апстрим от полосатых. Появился только к полуночи, причем с более чем на 1/3 порезаной скоростью. Кто нибудь в курсе что случилось?

 

Саппорт полосатых молчит и не дает никаких объяснений. Помнится Совинетловский саппорт всегда был в адеквате, а как с полосатыми связались, кроме номера тикета ничего не сообщают.

[DelSt]

Опту порвали под Нижним Новгородом

[stelsik]

Уважаемые коллеги,

 

В ходе первичной проверки, проведенной техническими специалистами группы компаний <ВымпелКом>, было зафиксировано отсутствие связи с рядом узловых маршрутизаторов, что привело к множественным сбоям и аварийным сигналам на транспортной сети группы компаний <ВымпелКом>.

 

В результате анализа аварии и измерений, проведенных оптическим рефлектометром, было установлено, что причиной возникновения аварийной ситуации послужил обрыв волоконно-оптических линий связи (ВОЛС) на удалении 100 км от Нижнего Новгорода. На место обрыва кабеля был незамедлительно организован выезд аварийных бригад инженеров для локализации места обрыва и проведения восстановительных работ. Повреждение ВОЛС было вызвано несанкционированными земляными работами в районе населенного пункта, где две кабельные системы объединены.

 

Ситуация осложнялась тем, что поврежден оказался и резервный волоконно-оптический кабель, поэтому восстановить работоспособность сервисов по временным схемам удалось лишь частично. В течение всей ночи 17 сентября проводились сварочные работы на поврежденных волоконно-оптических кабелях.

 

К сожалению, проблемы, возникшие в технологическом цикле cварки оптических муфт, привели к значительному увеличению сроков восстановления работоспособности сервисов.

 

Полный цикл аварийно-восстановительных мероприятий был завершен 17 сентября в 14:00, тем самым были восстановлены все штатные схемы подключения транспортной сети.

[separaf]

странно вроде не сезон еще )

[shicoy]

странно, пинг до москвы 80мс, вместо 15мс... у нас видимо все еще не завершился полный цикл.

[Smoke]

Ситуация осложнялась тем, что поврежден оказался и резервный волоконно-оптический кабель, поэтому восстановить работоспособность сервисов по временным схемам удалось лишь частично. В течение всей ночи 17 сентября проводились сварочные работы на поврежденных волоконно-оптических кабелях.

 

К сожалению, проблемы, возникшие в технологическом цикле cварки оптических муфт, привели к значительному увеличению сроков восстановления работоспособности сервисов.

Жесть. даже коментировать сложно.

Сколько в итоге времени ушло ?

[littlesavage]

Перепахали оптику вместе с резервом в 16:00 (+- 3 минуты) 16-го.

Официально завершили работы в 14:00 17-го.

Итого 22 часа.

 

Что-то включили раньше.

[DelSt]

Ситуация осложнялась тем, что поврежден оказался и резервный волоконно-оптический кабель, поэтому восстановить работоспособность сервисов по временным схемам удалось лишь частично. В течение всей ночи 17 сентября проводились сварочные работы на поврежденных волоконно-оптических кабелях.

 

К сожалению, проблемы, возникшие в технологическом цикле cварки оптических муфт, привели к значительному увеличению сроков восстановления работоспособности сервисов.

Жесть. даже коментировать сложно.

Сколько в итоге времени ушло ?

В зависимости от того, какой сервис.

Часть траффика пустили по другим резервам в 20, еще часть в 23 часов. Затем большинство волокон были сварены в 4 ночи вроде бы, потом переваривали =)

 

Перепахали оптику вымпелкома и совинтела... А они взаиморезервирующие если я правильно понимаю

[stelsik]

Да не знай, вроде немного. Вот недавно у нас мегафон лег, так неделю с небольшим их тп разбиралась в чем дело. Наверное и больше лежал, но помогло руководство мегафона, к которому обратились после того как устали писать в тп, с их просьбами передернуть порт.

Пытались мы придумать как это сделать на интеловской серверной карточке, но так и не придумали )))

 

Самое интересное полосатые не успокоятся пока траф на линке не стабилизируется, для мегафона достаточно чтобы их сторона нормально работала, остальное как я понял не их проблемы

 

Итого простой 176 часов, а вы о каких то 22 часах говорите )))

[Smoke]

Да не знай, вроде немного. Вот недавно у нас мегафон лег, так неделю с небольшим их тп разбиралась в чем дело. Наверное и больше лежал, но помогло руководство мегафона, к которому обратились после того как устали писать в тп, с их просьбами передернуть порт.

Пытались мы придумать как это сделать на интеловской серверной карточке, но так и не придумали )))

 

Самое интересное полосатые не успокоятся пока траф на линке не стабилизируется, для мегафона достаточно чтобы их сторона нормально работала, остальное как я понял не их проблемы

 

Итого простой 176 часов, а вы о каких то 22 часах говорите )))

Магистраль (без резерва) и канал доступа..

вы просто не в курсе

[stelsik]

О чем нам надо быть в курсе?

50% резерва полосы на всех аплинках вроде пока безотказно работающая схема

[DelSt]

Магистраль (без резерва) и канал доступа..

ы?

Ситуация осложнялась тем, что поврежден оказался и резервный волоконно-оптический кабель,

[Smoke]

to DelSt

 

не воткнул, что вы хотели этим сказать?

 

[DelSt]

видимо не правильно поняли друг друга, сорри =)

[Smoke]

О чем нам надо быть в курсе?

50% резерва полосы на всех аплинках вроде пока безотказно работающая схема

даже на аплинках желательно 3 ноги.

ещё раз - речь о бэкбоне!

 

Если есть желание понять, нарисуйте топологию сети на карте РФ и учтите что падение любых 2-х линков не должны приводить к перерыву сервиса любого узла.

(пока без денег).

Edited September 18, 2009 by Smoke

[stelsik]

Так и есть 3 ноги, сейчас стоит вопрос о четвертой, но кроме как улучшения связности с трансами и синтерой, я смысла особого не вижу

[stelsik]

Что-же все у меня деньги выпрашивают, нормально у нас все и без платных консультаций, в аплинках РТ, ГТ, и мегафон.

Вы лучше расскажите как dhcp сервер отрезервировать без большого гемороя, на коммутаторах с 1 релеем, вот тогда и по коньячку можно.

[vIv]

на серверах поднять vrrp, но они должны быть в одном L2 сегменте между собой.

правда софт dhcpd надо будет допилить, но это пара скриптов всего.

А реплицирование лиз надо?

[stelsik]

Эх такого ответа я и боялся, уже пытаюсь поднять такой вид резервирования. Может еще подскажете как бордер забекапить, вот на него кроме как поставить рядом второй у меня ничего в голову не идет.

[vIv]

И правильно не идёт - это классическая схема, если не связываться с по-кусковым резервированием самого бордера. Как вариант могу предложить несколько схем, в зависимости от хотелок можно свич+RS или удвоенный пром-писюк с удвоенными сетевухами, или полностью резервированный роутер, - зависит от полос, которые надо пропустить. Резервированный свич со сбоку стоящими RS ломит всех по пропускной способности, двойной писюк - по скорострельности обсчёта маршрутов и гибкости

[satboy]

Коллеги, а сколько стоит км подводного кабеля с репитерами?

[stelsik]

И правильно не идёт - это классическая схема, если не связываться с по-кусковым резервированием самого бордера. Как вариант могу предложить несколько схем, в зависимости от хотелок можно свич+RS или удвоенный пром-писюк с удвоенными сетевухами, или полностью резервированный роутер, - зависит от полос, которые надо пропустить. Резервированный свич со сбоку стоящими RS ломит всех по пропускной способности, двойной писюк - по скорострельности обсчёта маршрутов и гибкости

Наверное двойной писюк интереует, полосу не слишком большую надо

[vIv]

Посмотрите тогда в сторону платформы PICMG с двумя процессорными модулями и установкой, соответственно, двух сетевых карт, или набортные сетевушки можно воткнуть в два разных модуля модульного коммутатора, естественно, с резервированным управляющим модулем (тоже два). Получите мощь и гибкость писюка для обсчёта маршрутов.

Можно без свича, на набортных сетевухах, правда они бывают только медные, но тогда та сеть, которая на эту конструкцию смотрит, должна понимать, что в одну сторону два маршрута.

Но лучше, конечно, в бэкплейн (он там пассивный) воткнуть одну или две сетевушки, - они будут одинаково доступны любой живой процессорной платке. Вобщем, всё в ваших руках :-)

 

Затея из серии "а теперь мы соберём модульный свич своими руками" =)

 

Пример: http://www.ipc2u.ru/catalog/P/PG/52959.html

[stelsik]

Вот чудо инженерной мысли, изучать буду... Первый раз в жизни такое увидел )))

Были конечно такие решения, но чтобы на х86...

Спасибо!!!

[vIv]

Гонорар наводчику лучше любой благодарности! {c} Р.Асприн, "МИФология"

Щютка! ;-)