[kemko]

Есть тут кто из Билайна?

 

Наш IP-адрес 85.119.149.129 с вечера пятницы внезапно попал в какую-то петлю. Причём не на постоянной основе: то работает, то нет. Телефонная поддержка ничего не знает и знать не хочет, otvet@beeline.ru молчит, клиенту-юрлицу создали trouble ticket 5308279 и тоже, на сколько я знаю, никакого движения пока.

 

В какое спортлото нужно написать, чтобы проблемой занялись? :)

 

[Andrei]

10 часов назад, kemko сказал:

В какое спортлото нужно написать, чтобы проблемой занялись? :)

Если договор операторский, то на opersupport@b2b.beeline.ru

[kemko]

1 hour ago, Andrei said:

Если договор операторский, то на opersupport@b2b.beeline.ru

О, если бы всё было так легко. Мы - клиент Селектела. Проблемы с доступом у наших клиентов, тем или иным образом получающим доступ в Интернет от Билайна.

 

Ни мы, ни Селектел клиентами Билайна не являемся, поэтому я попробовал отправить письма на те ящики, которые нашёл через поисковики, но, по словам поддержки Селектела, Билайн любит, когда к нему общаются его клиенты. Вот ждём теперь, когда информация эскалируется до кого-то, кто может разобраться, какого лешего вдруг у Билайна появилась петля в маршрутизации до подсети, которая к нему вообще никак не относится.

Edited June 8, 2019 by kemko

[st_re]

Судя по наличию /32 маршрута на вас (lg.gldn.net), там чтото не так.. 

 



BGP routing table entry for 85.119.149.129/32
Versions:
  Process           bRIB/RIB  SendTblVer
  Speaker         1418362873  1418362873
Last Modified: Apr 27 12:21:14.431 for 1y06w
Paths: (2 available, best #1, not advertised to EBGP peer)
  Not advertised to any peer
  Path #1:
  Not advertised to any peer
  8402
    81.211.45.63 (metric 1290) (195.239.255.107)
      Origin IGP, metric 0, localpref 150, valid, internal, best, group-best
      Received Path ID 0, Local Path ID 0, version 1418362873
      Community: 3216:667 no-export
      Originator: 195.239.255.107, Cluster list: 79.104.255.4
  Path #2:
  Not advertised to any peer
  8402
    81.211.45.63 (metric 1290) (195.239.255.107)
      Origin IGP, metric 0, localpref 150, valid, internal
      Received Path ID 0, Local Path ID 0, version 0
      Community: 3216:667 no-export
      Originator: 195.239.255.107, Cluster list: 79.104.255.5   

 

Если посмотреть на любой IP из списков РКН, то картина у них там аналочичная, с теми же комьюнити и тд. СЕЙЧАС я не вижу, чтобы в этот  IP ктото бы ресолвился из списка, но, во первых голдены неторопливо ресолвят, возможно оно там было, скажем, в четверг, во вторых эти веселые товарищи, которые регистрируют домены давно болтающиеся в РКН, иногда шутят и отдают в разные места разные IP. или просто всегда разные или еще как.

 

В общем пишите владельцам IP (селектелу) пусть они Вам меняют IP, а сами разбираются с голденами че да зачем, быстрее  будет.. Если нет своего договора с голдой, то там хрен че получишь быстро, да и если есть. нужно чтобы ктото мог ногой дверь мог открывать к их директорам, тогда все быстро, а как положено, они там тоже наоптимизировали расходы и посадили отвечальщиков по инструкциям. мне на оперсапорте просили АДСЛ ротурер перегрузить как то. По циклу. у меня нет адсл руотера, у меня оптика..через 2 фразы снова, перегрузите АДСЛ роутер... походу инструкция для хомячков подвернулась, моей проблем там и близко небыло, и он снова и снова начинал читать инструкцию с начала. А так да, opersupport@b2b.beeline.ru но там скорее всего все кончится вопросом про договор.

 

От себя я не вижу вашей проблемы, трафик вылетает в сторону трансов и долетает до селектела, поэтому от нас им писать неочем, как бы...

...

 3  be10.tf01-02.Moscow.gldn.net (81.211.45.63)  2.832 ms  2.918 ms  2.612 ms
 4  pe26.Moscow.gldn.net (79.104.225.59)  3.718 ms  2.692 ms  2.309 ms
 5  mskn08.transtelecom.net (87.229.217.102)  5.156 ms  3.159 ms  5.166 ms
 6  * * *
 7  * * *
 8  * * *
 9  ddos-guard.net (185.129.103.67)  3.102 ms  3.069 ms  3.062 ms
10  57.msk.net.selectel.ru (188.93.17.57)  3.094 ms
    ddos-guard.net (185.129.103.67)  3.033 ms
    57.msk.net.selectel.ru (188.93.17.57)  3.286 ms
11  57.msk.net.selectel.ru (188.93.17.57)  3.447 ms *  3.222 ms

....

[rm_]

19 hours ago, kemko said:

otvet@beeline.ru молчит

Вообще у них адрес internet@beeline.ru, насколько я понимаю это поддержка клиентов ШПД, но я туда жаловался когда после разблокировки моего сайта РКНом Билайн для своих клиентов блокировал его ещё 2 недели -- и в итоге помогло, разблочили.

[TheUser]

11 часов назад, kemko сказал:

Ни мы, ни Селектел клиентами Билайна не являемся

Эскалируйте через Селектел. Вы - им, они - ddos-guard-у, те - крестовым, они - полосатым.

Делов-то на полдня!

[TheUser]

А что это вчера вечером у РТ было? Заметил кто чего?

[twraver]

Клиенты Фотон Телекома есть? Ни сайт, ни телефон недоступны. Сетка, похоже, лежит вся.

[CsCs]

Всем привет! Уж не знаю, сюда ли я пишу. Если не сюда - прошу извинить, так как тут бываю совсем не часто.

У меня началась дома (я не провайдер) странная фигня с одним из сайтов и его работой. Началась ~6 июня в середине дня.

Инфа такая:

1. Сайт - etm.ru (инет-магазин);

2. Пров - ОнЛайм, территориально - Восток Москвы.

3. Сайт DNSится, пингуется, а возвращает HTTP 403.

4. В других районах Москвы и области всё работает нормально. Один из камрадов заезжал ко мне - так у него с телефона (МТС) тоже не работал. Отъехал подальше - заработало.

 

Дополнительная инфа:

1. Роутер (TP-Link TL-ER6020 v1), компы и инет - не менялись и не трогались по схеме "работает - не трожь".

2. Ноут у меня старенький с WinXP. Я его притащил в Одинцово в режиме Hibernate (без перезагрузок и прочего). Воткнул тамошний инет - сайт заработал. Проверял в Москве на ОнЛайме на втором ноуте с Win7 - так же 403.

3. Дополнительно у ОнЛайма не работает авторизация на личном кабинете. После ввода логина и пароля страница тупо висит в ожидании загрузки - и тишина.

4. Работу без своего роутера НЕ проверял, потому что пока что не вижу смысла: ВСЕ остальные сайты (кроме etm.ru) работают как работали. И по HTTPS и как угодно.

5. Через Tor с моего прова ЭТМ сначала открывался, потом тоже перестал.

 

Сталкивался ли кто с подобным? Или есть ли те, кто знают, куда копать (без роутера завтра уже проверю) и кого пинать (прова или владельцев сайтов или какую-то точку роутинга трафика по району Москвы?)?

Буду благодарен за подсказки. Цепляю сриншоты настроек прова в роутере, Tracert'ов из Одинцово и Москвы. На Москве DNS чего-то тупит, но IP-адреса резолвит нормально (конфигурации не менялись несколько лет).

[CsCs]

Ой! Написал комментарий - решил проверить через Tor ещё раз. Снова заработало.

[st_re]

Если сайт отдает 403, то спрашивать надо у них. ТУт - точно бесполезно. 

 

А у друга наверное вайфай включен и он не с мобюильного ходил а с тогоже IP.

[CsCs]

@st_re Хммм... можно парочку тупых мыслей:

1. Не, друг не ко мне заезжал, а проезжал мимо. У меня - Новогиреево, он ехал мимо меня и Балашихи по МКАДу. Пока не проехал нас и не доехал до Каширки - сайт давал 403.

2. Дома WiFi нет вообще.

 

Просто меня сюда чего занесло? Что почему-то такая фигня творится у меня в районе. В других районах всё хорошо. И у того же ЭТМа жалоб нету (спрашивал).

Не может какое-то кривое DPI или кто-то подобный терять какие-то пакеты таким образом, что HTTPS на сайте глючит и он 403 отдаёт?

[st_re]

Ну тогда инопланетяне :) 403 от сайта ? Причем тут ДПИ?. с верятностью 99% на вашем IP до вас сидел ктото, кто их сайт ДДОСил. Они еге внесли в черный список (или откуда они берут списки, возморждно какойто внешний ботнет детектор), тот рутер перегрузил и получил новый iP, а ваш получил IP из черного списка..  А ДПИ у вашего нцнета и у всех 4-х мобильных операторов 100% разные..

[YuryD]

 Управы от 403 не существует, одмины сайтов сами решают, кого пустить, кого нет. Правда иногда шифруются, у нас сайт госзакупок блочил конкретный статический ип нашего клиента, но без 403. После пихания их одминов в доказательства, ип был разблокирован. Давно было, еще до сорма. Вьюноши потные, с дикими взлядами и статическим ип приходили, и готовы были за новый реальник заплатить, их банили на игровых серверах. Ну что-ж, я готов, дам новый, только пусть заплатят за аренду старого лет на 5 вперёд, иначе кому я протухший v4 продам ?

[smart85]

http://www.opennet.ru/opennews/art.shtml?num=50955

 

Утечка BGP-маршрутов привела к массовому нарушению связности в интернете

Компания Cloudflare опубликовала отчёт о вчерашнем инциденте, в результате которого на протяжении трёх часов с 13:34 до 16:26 (MSK) наблюдались проблемы с доступом ко многим ресурсам в глобальной сети, включая инфраструктуру Cloudflare, Facebook, Akamai, Apple, Linode и Amazon AWS. Проблемы в инфраструктуре Cloudflare, которая предоставляет CDN для 16 млн сайтов, наблюдались с 14:02 до 16:02 (MSK). По оценке Cloudflare во время сбоя фиксировалась потеря приблизительно 15% глобального трафика.

Проблема была вызвана утечкой маршрутов через BGP, в ходе которой около 20 тысяч префиксов для 2400 сетей были некорректно перенаправлены. Источником утечки был провайдер DQE Communications, который использовал ПО BGP Optimizer для оптимизации маршрутизации. BGP Optimizer разбивает IP-префиксы на более мелкие, например, разделяет 104.20.0.0/20 на 104.20.0.0/21 и 104.20.8.0/21, и, как следствие, DQE Communications держал на своей стороне большое число специфичных маршрутов, переопределяющих более общие маршруты (т.е. вместо общих маршрутов к Cloudflare использовались более гранулированные маршруты к конкретным подсетям Cloudflare).

[smart85]

DATA-IX на M-9, сейчас:

Jun 25 16:35:39.387357 bgp_hold_timeout:4672: NOTIFICATION sent to 178.18.227.100 (External AS 50952): code 4 (Hold Timer Expired Error), Reason: holdtime expired for 178.18.227.100 (External AS 50952), socket buffer sndcc: 38 rcvcc: 0 TCP state: 4, snd_una: 499023051 snd_nxt: 499023089 snd_wnd: 29056 rcv_nxt: 690242164 rcv_adv: 690258548, hold timer 90s, hold timer remain 0s, last sent 26s, TCP port (local 50739, remote 179)
Jun 25 16:35:39.387862 RPD_BGP_NEIGHBOR_STATE_CHANGED: BGP peer 178.18.227.100 (External AS 50952) changed state from Established to Idle (event HoldTime) (instance master)
Jun 25 16:35:44.895405 bgp_hold_timeout:4672: NOTIFICATION sent to 178.18.224.100 (External AS 50952): code 4 (Hold Timer Expired Error), Reason: holdtime expired for 178.18.224.100 (External AS 50952), socket buffer sndcc: 57 rcvcc: 0 TCP state: 4, snd_una: 1998900452 snd_nxt: 1998900509 snd_wnd: 14600 rcv_nxt: 3331532646 rcv_adv: 3331549030, hold timer 90s, hold timer remain 0s, last sent 18s, TCP port (local 56192, remote 179)
Jun 25 16:35:44.896004 RPD_BGP_NEIGHBOR_STATE_CHANGED: BGP peer 178.18.224.100 (External AS 50952) changed state from Established to Idle (event HoldTime) (instance master)

 

оба пира в дауне, слава прошедшим ночью техработам, видимо(
 

[crank]

@mse.rus77 

Аналогично. Осталась только прямая сессия с Microsoft. Вероятно мы с ними в одном коммутаторе или в одном сегменте остались отрезанными от всего остального.

[smart85]

2 минуты назад, crank сказал:

@mse.rus77 

Аналогично. Осталась только прямая сессия с Microsoft. Вероятно мы с ними в одном коммутаторе или в одном сегменте остались отрезанными от всего остального.

начало подниматься, судя про даунтайму был ребут чего-то, пока в deny-all на imp и exp загнал

[crank]

Сайт не открывается. Вместо него вот это

 

 

[smart85]

3 минуты назад, crank сказал:

Сайт не открывается. Вместо него вот это

 

Я вот что-то не могу вспомнить, но не многовато ли префиксов от них прилетает, вроде под 30к было раутов, ни или это НЕ снова приплыл.

run show bgp summary | match 178.18
178.18.224.100        50952      23067         19       0       4        6:05 0/95010/0/0          0/0/0/0
178.18.227.100        50952      21808         20       0       6        6:41 0/94241/0/0          0/0/0/0

 

У них на стате следующие цифры:

КОЛИЧЕСТВО ASN: 397    КОЛИЧЕСТВО ПОРТОВ: 1909
IPV4 ПРЕФИКСОВ: 78423

Edited June 25, 2019 by mse.rus77

[crank]

@mse.rus77 Они HE добавили. Сейчас от них приходит в районе 100к маршрутов.

 

[local]ASBR#show bgp summary | i 50952
178.18.224.100     50952    21832       13 253722372    0    0   7 00:08:58 101082      5        No
178.18.227.100     50952    19788       13 253722370    0    0   8 00:09:06  97864      5        No

 

[smart85]

Только что, crank сказал:

@mse.rus77 Они HE добавили. Сейчас от них приходит в районе 100к маршрутов.

 

[local]ASBR#show bgp summary | i 50952
178.18.224.100     50952    21832       13 253722372    0    0   7 00:08:58 101082      5        No
178.18.227.100     50952    19788       13 253722370    0    0   8 00:09:06  97864      5        No

 

видимо под НЕ и были запланированы работы, а то уже было, что они вылили префы НЕ  (после анонса в новосятх) и все попадало нах.

[crank]

Нет. Это что-то другое. Сайт же отваливался, да и сейчас на нём всплески трафика видны. Больше похоже на петлю. К тому же перед самым падением у нас входящий на мгновение вырос в 1.5 раза

[smart85]

2 минуты назад, crank сказал:

Нет. Это что-то другое. Сайт же отваливался, да и сейчас на нём всплески трафика видны. Больше похоже на петлю. К тому же перед самым падением у нас входящий на мгновение вырос в 1.5 раза

А у нас никакого всплеска, просто ХТ протух без прелюдий. 

В прошлый раз тоже так сайт лежал, видимо база недоступна получается, при краше.

 

[alibek]

Абоненты жалуются, что у них Инстаграм тормозит. Не в курсе, в чем причина?