[sober_dev]

Люди добрые подскажите пожалуйста.

Организация, в которой я работаю, берет интернеты от РТК по оптике 1Gb. Все было хорошо, но настало время когда аплинк стал тесным. К тому же сорм и яровая - зажимают.

 

Маршрутизатор  CISCO ASR1001-X. В конфиг лицензию прописал, порты на 10 Gb работают. TenGigabitEthernet0/0/1, смотрит в локалку и подключен к Dlink DGS-1250-28X, переключение с 1Gb на 10 Gb прошло без особых трудностей. Сначала поставил одноглазые SFP 10Gb, а потом приехали граждане устанавливающие сорм и пришлось поменять на двуглазые SFP, через сплиттер снимается трафик - все завелось и после этого.

 

А вот с аплинком РТК не выходит пока. В текущей конфигурации работает на 1Gb. Первая попытка переключения - брали одноглазые SFP у самого РТК, TenGigabitEthernet0/0/0 связь временно устанавливалась, но через пару минут отваливалась. Перевтыкание коннектора и/или SFP опять поднимало на пару минут. Перезагрузка маршрутизатора тоже эффекта не дала. Вернули обратно на 1Gb. Решили поменять SFP на наши и заодно поменять отрезок оптики, который нам давно немного покоцали, когда проводили пожарную сигнализацию.

 

Вторая попытка, через неделю, линк установился  и не отваливался. Однако идут офигенные потери пакетов и ошибки в логе show int. Сам лог привести не могу, не додумался сохранить, клиенты в тот момент обещали нас сожрать с потрохами и в спешке все восстанавливал на 1Gb.

 

Конфиги циски скидывал сотрудникам РТК, но пока молчат.

 

В текущей конфигурации:

GigabitEthernet0/0/0 - аплинк РТК

TenGigabitEthernet0/0/1 - на локалку.

 

В конфигурации с двумя 10Gb портами:

TenGigabitEthernet0/0/0 - аплинк РТК

TenGigabitEthernet0/0/1 - на локалку.

 

Может я чего забыл в конфигурацию прописать специфичное для 10Gb или может прописал лишнее? Я не обучался на курсах - самоучка. Или все-таки проблема на стороне аплинка может быть?

 

Вот конфиги:

ciscoasr1001x-confg64_GigabitEthernet

ciscoasr1001x-confg63_TenGigabitEthernet

Edited February 10, 2022 by sober_dev

[VolanD666]

Модули конечно же родные и с поддержкой DOM?

[zhenya`]

Счётчики то что показывают?

[sober_dev]

В 10.02.2022 в 17:28, VolanD666 сказал:

Модули конечно же родные и с поддержкой DOM?

Нет, модули не родные. Насчет поддержки DOM не скажу точно - завтра на работе загуглю по полному названию модуля. Однако в локальную сеть эти же модули работают.

 

В 10.02.2022 в 19:08, zhenya` сказал:

Счётчики то что показывают?

Пакеты передаются, но огромное количество ошибок, под 90%.

Те же SFP глядящие в локальную сеть работают без проблем.

[zhenya`]

Я про счётчики на интерфейсах. Crc и тд. Заодно у рт ещё попросите стату с их стороны

[SUrov_IBM]

Sober_dev, здравствуйте.

 

 

В 10.02.2022 в 19:43, sober_dev сказал:

Однако в локальную сеть эти же модули работают.

Чтобы исключить возможно неисправный SFP модуль, смотрящий в сторону РТК, можно запланировать технологическое окно и поменять модули местами.

 

Как альтернативный вариант:

В 10.02.2022 в 16:52, sober_dev сказал:

Сначала поставил одноглазые SFP 10Gb

Если остались парные WDM (одноглазые, смотрящие друг на друга) SFP 10Gb и имеется возможность договориться с РТК, чтобы они взяли Ваш WDM SFP на свою сторону (маловероятно, но попробовать можно), а со своей Вы поставите ответный, можно использовать одно волокно. Тем самым проверите каждое из ваших двух волокон и одно оставите в запасе. ;)

 

Примечание: или у Вас СОРМ так-же подключается к каналу РТК, что требует Rx, Tx модулей?

[sober_dev]

В 10.02.2022 в 20:02, zhenya` сказал:

Я про счётчики на интерфейсах. Crc и тд. Заодно у рт ещё попросите стату с их стороны

К сожалению, как упоминал в первом посте, второпях не додумался скопировать лог от show int. В первый раз, когда SFP модули были предоставлены самим РТК они фиксировали ошибки на прием с нашей стороны, а когда поставили модули SFP наши, то уже у меня были ошибки на отдачу. В общем ситуация странная. Вот модуль, который у меня, соответственно у РТК установили парный с рычажком серого цвета.

 

В 10.02.2022 в 20:13, SUrov_IBM сказал:

Sober_dev, здравствуйте.

 

 

Чтобы исключить возможно неисправный SFP модуль, смотрящий в сторону РТК, можно запланировать технологическое окно и поменять модули местами.

 

Как альтернативный вариант:

Если остались парные WDM (одноглазые, смотрящие друг на друга) SFP 10Gb и имеется возможность договориться с РТК, чтобы они взяли Ваш WDM SFP на свою сторону (маловероятно, но попробовать можно), а со своей Вы поставите ответный, можно использовать одно волокно. Тем самым проверите каждое из ваших двух волокон и одно оставите в запасе. ;)

 

Примечание: или у Вас СОРМ так-же подключается к каналу РТК, что требует Rx, Tx модулей?

Модули точно исправные - они работали в сторону локальной сети, пока специалисты устанавливавшие сорм, не поменяли их на двухглазые. Единственная разница - в локальной сети оптическая линия длиной 3 м. А в сторону РТК линия подлинней будет, но она работает на 1Gb без проблем.

 

> Примечание: или у Вас СОРМ так-же подключается к каналу РТК, что требует Rx, Tx модулей?

СОРМ собирает данные из сплиттера уже после циски. Еще у них стоит микротик, которому дан доступ в интернеты, через него сам разработчик настройки черного ящика делает. А к славным федеральным службам идет отдельный медный кабель Ethernet, который пока никуда не подключен. В последствии с линии 10GB планируется брать через Vlan доступ к славным федеральным службам.

 

 

Edited February 11, 2022 by sober_dev

[sober_dev]

В 10.02.2022 в 17:28, VolanD666 сказал:

Модули конечно же родные и с поддержкой DOM?

Нашел на сайте описание:

https://shop.nag.ru/catalog/01889.sfp-gbic-xfp-sfp-x2-xenpak-qsfp-cfp-moduli/01891.moduli-sfp/29450.snr-sfpw37-3

https://shop.nag.ru/catalog/01889.sfp-gbic-xfp-sfp-x2-xenpak-qsfp-cfp-moduli/01891.moduli-sfp/29451.snr-sfpw73-3

 

Цитата

Модели оптических приемопередатчиков SFP 1.25G также могут быть изготовлены с поддержкой функции DDMI. У таких моделей в артикуле (Part Number, P/N) указан дополнительный префикс "DDM". CWDM и DWDM SFP поддерживают DDMI по умолчанию. 

Получается на наших модулях нет этой функции, потому что на наклейке нет упоминания DDM или чего либо подходящего. 

[VolanD666]

Во-первых, ее может и не быть. Это вы уточняйте у продавца. Во-вторых, она может и быть, но из-за того что модуль не родной- устройство может не получать информацию от модуля. Вот поэтому лучше собирать все на родных модулях.

 

Попробуйте воткнуть модули в другое железо и посмотрите будут потери или нет. Воткните в тот же длинк, да посмотрите будут потери или нет. Вообще больше похоже на проблемы на линии связи.

[passer]

В 11.02.2022 в 11:44, VolanD666 сказал:

Вообще больше похоже на проблемы на линии связи.

+1
Есть предположение, что оптического бюджета ваших модулей тупо не хватает. Трассу рефлектометром меряли? Затухание по линии, соединяющей вас с РТК известно?

[SUrov_IBM]

В 11.02.2022 в 10:49, sober_dev сказал:

СОРМ собирает данные из сплиттера уже после циски.

Теперь понятно, что чёрный ящик не связан с каналом РТК и не может на него пагубно вилять.

 

Повторюсь, если есть возможность, перестройте канал с РТК на WDM (одноглазые) модули, скорей всего на одном из двух волокон link нормально запустится. Создаётся ощущение, что у Вас одно из волокон по дороге – плохое, в каком месте, можно понять только сняв рефлектограмму.

[sober_dev]

В 11.02.2022 в 13:42, SUrov_IBM сказал:

Теперь понятно, что чёрный ящик не связан с каналом РТК и не может на него пагубно вилять.

 

Повторюсь, если есть возможность, перестройте канал с РТК на WDM (одноглазые) модули, скорей всего на одном из двух волокон link нормально запустится. Создаётся ощущение, что у Вас одно из волокон по дороге – плохое, в каком месте, можно понять только сняв рефлектограмму.

Все же вы немножко не поняли мой текст. Может я объяснял плохо. Двухглазые SFP 1Gb стояли у нас в начале, потом РТК понадобилась линия и они предложили перейти на одноглазые SFP 1Gb, которые они нам предоставили, которые работают в данный момент на циске и у них. SFP 1 Gb не родные, работают стабильно. Вторую линию РТК забрал под собственные нужды. В данный момент у нас есть три волокна до кросса в этом здании. Однако от кросса идет только одно волокно для нас в соседнее здание, где стоит оборудование РТК. Сегодня мы начали с ними договариваться, чтобы временно выбить еще одно волокно, на тестирование линии под 10 Gb - не знаю пока чем закончится.

 

З.Ы. В данный момент двуглазые SFP 10 Gb стоят только после циски до коммутатора, внутри локальной сети. Именно оттуда снимает трафик сорм, через сплиттер. Больше других двуглазых SFP в сети нет.

З.З.Ы. Два предыдущих тестирования на живую для 10Gb проводились на одноглазых SFP. Так как линия доступна по факту только одна, если бы была проблема с линией, то по логике ошибки должны сыпаться в обе стороны.

З.З.З.Ы. Вот изобразил описанную сему подключения.

Edited February 11, 2022 by sober_dev

[Avad0n]

@sober_dev , вы все-таки не ответили касаемо линии. Какое ориентировочное расстояние по волокну? Сигнал на приём хотя бы физически тестером пробовали измерить? У 10г-3км модулей с оптическим бюджетом может быть скромненько.

[zhenya`]

Если ошибки в одну сторону на wdm, то проблема с физикой. Светите рефлектометром.

 

Рт не может на новом линке выделить отдельную /30 чтобы там работал просто пинг? Без бгп и тд.

[sober_dev]

@Avad0n 

Я не могут ответить на вопрос, ответ на который не имею. Нет возможности проверить рефлектометром работающую круглосуточно линию. Ориентировочное расстояние менее километра. Я же писал, что здания соседние.

Цитата

У 10г-3км модулей с оптическим бюджетом может быть скромненько.

Я склонен согласиться с вашим доводом, потому что SFP 1Gb, работающая сейчас, тоже небольшой мощности, точную цифру не скажу, т.к. модуль из работающей циски выдернуть не могу.

На следующей неделе РТК обещал выделить тестовую линию. Будем проверять варианты.

 

В 11.02.2022 в 19:57, zhenya` сказал:

Если ошибки в одну сторону на wdm, то проблема с физикой. Светите рефлектометром.

Не могу проверять работающую круглосуточно линию. На следующей неделе РТК выделит для тестирования линию, тогда и будем проверять варианты.

Edited February 11, 2022 by sober_dev

[sdy_moscow]

Это дно.... главное теперь его не пробить вниз.

[sober_dev]

В 11.02.2022 в 20:23, sdy_moscow сказал:

Это дно.... главное теперь его не пробить вниз.

Очень остроумно. По делу есть что сказать?

[sdy_moscow]

В 11.02.2022 в 20:30, sober_dev сказал:

Очень остроумно. По делу есть что сказать?

Невозможно помочь тому, кто сам не знает, что у него происходит и живет в бардаке.

 

Разберитесь со своим оборудованием, длиной оптических линией и их качеством.

Не ленитесь проверять модели оборудования (в т.ч. СФП+ которые вам дают со стороны, чтобы потом не гадать "что это было") и не теряйте логи.

Проверяйте Ваше оборудование до установки на рабочие линки.

 

По делу, самый простой совет (если на 3-х км СФП+ линки у Вас РЕАЛЬНО поднимались):

возьмите 20 км СФП+ при их цене около 5000р за комплект ваши мучения не стоят выеденного яйца. Их бюджета Вам хватит почти наверняка.

Если и после этого будут ошибки - ищите дефекты на волокне.

З.Ы.

И еще, если не хотите потерять клиентов, озаботьтесь резервированием внешних линков.

[dr Tr0jan]

@sdy_moscow, полностью с вами согласен.

 

Писал уже неоднократно на форуме, что сталкивался с точно такими же приколами, где строители утверждали, ну мы же светодиодным фонариком просветили линию, должно работать.

Паспорт трассы, поверка на соответствие паспорту, свои нормальные СФПшки и резервные линки = 99% отсутствия проблем.

[sober_dev]

В 11.02.2022 в 22:07, dr Tr0jan сказал:

@sdy_moscow, полностью с вами согласен.

 

Писал уже неоднократно на форуме, что сталкивался с точно такими же приколами, где строители утверждали, ну мы же светодиодным фонариком просветили линию, должно работать.

Паспорт трассы, поверка на соответствие паспорту, свои нормальные СФПшки и резервные линки = 99% отсутствия проблем.

Я даже не знаю смеяться или нет, но специалисты РТК именно так - "фонариком посветить" собираются найти и выдать нам вторую тестовую линию.

[sol]

В 11.02.2022 в 23:04, sober_dev сказал:

"фонариком посветить" собираются найти и выдать нам вторую тестовую линию.

Ну так задайте вопрос людям, который выделяют на этот цирк деньги? -А за что мы платим, господа офицеры?

 

[SUrov_IBM]

В 11.02.2022 в 14:25, sober_dev сказал:

Все же вы немножко не поняли мой текст. Может я объяснял плохо.

Это я извиняюсь, возможно в спешке неверно трактовал схему, мне сначала показалось, что у Вас были WDM, а потом зачем-то поменяли на двух-волоконные.

 

Форумчанин Sdy_moscow выше всё правильно написал:

 

- Нужно обзавестись заведомо рабочей парой WDM SFP 10 Gb, совместимыми с CISCO ASR1001-X. Пусть по длиннее расстояния они будут больше, чем то, что Вы используете. Нужно быть уверенным, что данные SFP исправны, проверить хоть через "петлю" между интерфейсами CISCO. Пара резервных всегда должна быть в запасе, для оперативной горячей замены.

 

- Нужно обзавестись рабочими оптическими патч-кордами, так же, чтобы были для оперативной горячей замены. Патч-корды бывают "битыми" из упаковки, их так же нужно заранее проверить.

 

В 11.02.2022 в 19:58, sober_dev сказал:

На следующей неделе РТК выделит для тестирования линию, тогда и будем проверять варианты.

На момент, когда Вы переключитесь на другое волокно, вызовите специалиста с рефлектометром, который померяет трассу со всех сторон, грамотный на ответной стороне ещё "катушку" поставит и всё вам про данную трассу расскажет. Озаботьтесь вопросом с приглашением специалиста заранее. Попросите его заодно патч-корды проверить, вместе с трассой, но это не отменяет покупки патч-кордов в резерв.

 

В 11.02.2022 в 23:04, sober_dev сказал:

Я даже не знаю смеяться или нет, но специалисты РТК именно так - "фонариком посветить" собираются найти и выдать нам вторую тестовую линию.

У РТК нет собственных специалистов, это подрядчики, Вы сами можете вызвать таких. ;)

 

В 11.02.2022 в 19:58, sober_dev сказал:

Ориентировочное расстояние менее километра. Я же писал, что здания соседние.

При таком расстоянии, если нет особенных хитростей с проходом по канализации, озаботьтесь и проведите параллельный ВОЛС! Не мучайте себя, Вам всё равно резервный канал понадобиться. И лучше проложите другим, даже более длинным маршрутом.

 

 А представьте, порвут Вам сейчас это единственный ВОЛС электрики, прибивая лампочку к стене, насколько быстро почините единственный link???

[Andrei]

В 11.02.2022 в 21:58, sober_dev сказал:

Не могу проверять работающую круглосуточно линию.

Ночером, минут на 5 для проведения измерений можно выбрать "окошко" без особого ущерба для кого-либо.

В 11.02.2022 в 21:58, sober_dev сказал:

На следующей неделе РТК выделит для тестирования линию

После выделения сразу ее стрельните рефлетометром до установки на нее какого-либо оборудования.

По моему опыту: 90% проблем - проблемы с физикой в линии.

 

В 12.02.2022 в 01:58, SUrov_IBM сказал:

Нужно обзавестись заведомо рабочей парой WDM SFP 10 Gb, совместимыми с CISCO ASR1001-X. Пусть по длиннее расстояния они будут больше, чем то, что Вы используете. Нужно быть уверенным, что данные SFP исправны, проверить хоть через "петлю" между интерфейсами CISCO.

+1

[sober_dev]

РТК выделил резервную линию. Протестировали рефлектометром - 426 метров, проблем не наблюдается. Установили SFP на 20 км, все той же SNR. Протестировал как мог линию с альтернативными IP. Далее РТК завели обе линии в один VLAN. Я зашатдаунил линию на 10 Gb и ночью, зашатдаунив линию 1Gb, поменял настройки и включил 10 Gb. Дело было с четверга на пятницу, пока все работает нормально. Старую линию возможно стрельнем рефлектометром, когда отцепим.

 

Остается собрать и настроить новый шейпер. После циски стоит коммутатор  Dlink DGS-1250-28X, до него идет 10 Gb, а вот от него пойдет тремя 1Gb, поскольку СКАТ DPI имеет три байпас линии на 1Gb и это пока предел для нашей системы.

 

Всем спасибо за помощь!