Jump to content
Калькуляторы

Казахтелеком и вынос мозга с more-specific Или BGP "по-казахски"

Крик души =) Все айпишники являются реальными, скрывать смысла не вижу, к тому же есть надежды на появление тут кого-либо, кто до сих пор работает в ДКП.

 

Являемся клиентами СК ОДТ АО "Казахтелеком", multihop-сессия BGP поднята с роутером ДКП. Это начало :) Затем история - с определённого времени в биллинге на нашу PI-сетку стал интересным образом насчитываться исходящий (!) трафик, этак по 5-10 гигабайт в день, который первоначально честно оплачивался нашей бухгалтерией, ибо до админов NOC информация не доходила, пока руководство не подумало "а чего это мы так много платим?".

 

Благодаря добрым людям с NAG (спасибо ещё раз большое) было выяснено, как оригинально снимается и анализируется NetFlow в биллинге ДКП: снимается входящий в сеть КТ трафик и любой трафик, пришедший транзитом из сети, но с адресами клиентов, считается как исходящий из сети КТ... Мол, эдакое наказание (интересно, как это сочетается с законами РК о связи, кто-нибудь просветит?) за заливку трафика в сеть КТ транзитом, а не через стык. Вообще, всё это достаточно оригинально, но даже не в этом суть.

 

Откуда ж мог взяться этот исходящий трафик, уходящий не через линк с КТ, - всё просто, расшифровывать, думаю, смысла нет (95.58.94.253 - адрес пира СК ОДТ):

Core-2.AS51997.net:~# birdc show route primary | grep AS9198 | grep -v 95.58.94.253
212.19.137.0/24    via 91.185.19.113 on vlan102 [ttc_kz 00:50] * (100) [AS9198i]
95.59.175.0/24     via 91.185.19.113 on vlan102 [ttc_kz 00:50] * (100) [AS9198i]
212.19.135.0/24    via 91.185.19.113 on vlan102 [ttc_kz 00:50] * (100) [AS9198i]
95.56.224.0/24     via 217.150.38.22 on vlan100 [ttc 00:49] * (100) [AS9198i]
95.56.200.0/21     via 217.150.38.22 on vlan100 [ttc 00:49] * (100) [AS9198i]
95.56.196.0/22     via 217.150.38.22 on vlan100 [ttc 00:49] * (100) [AS9198i]
95.56.194.0/23     via 217.150.38.22 on vlan100 [ttc 00:49] * (100) [AS9198i]
178.88.0.0/19      via 217.150.38.22 on vlan100 [ttc 00:49] * (100) [AS9198i]
178.88.32.0/19     via 217.150.38.22 on vlan100 [ttc 00:49] * (100) [AS9198i]

 

Ну и самый улёт: ребята из ОДТ так долго мусолили нервы, даже трафик зеркалили, правда, никакого внешнего исходящего трафика не нашли (кроме UDP/ICMP-сканов на внутреннюю служебную сетку из 1.0.0.0/8, которую ребята браво анонсируют клиентам, но во время признали, что она внутренняя после пары попыток доказать, что то, что одна из таких сеток терминируется в Кызылорде или Усть-Каменогорске означает то, что у них там стык с каким-нибудь сферическим магистралом в вакууме), самое избранное: "почему вы не хотите статикой прописать маршруты, указанные у нас на сайте для пользователей ADSL?".

 

Всё, как-то так. Вопрос: как дальше работать с этими людьми? До ALA-IX пока что дотянуться не получается...

 

Справка: ОДТ - областная дирекция телекоммуникаций (местный областной филиал), ДКП - дирекция коммерческих продаж (центр в Ате).

Edited by GFORGX

Share this post


Link to post
Share on other sites

Мозг сломался из-за этих сумасшедших аббревиатур: ДКП, ОДТ, КТ, РК. Кто чей клиент, кто кому платит понять вообще невозможо.

Share this post


Link to post
Share on other sites

Мозг сломался из-за этих сумасшедших аббревиатур: ДКП, ОДТ, КТ, РК. Кто чей клиент, кто кому платит понять вообще невозможо.

Областная дирекция телекоммуникаций (местный филиал Казахтелекома), Дирекция коммерческих продаж (центральный филиал в Алмате), Казахтелеком, Республика Казахстан. СК - Северо-Казахстанская. Мы (местный провайдер FTTB) их клиенты, они - один из наших аплинков, мы им оплачиваем по трафику за то, что уходит за пределы AS9198. Так понятнее? :)

Edited by GFORGX

Share this post


Link to post
Share on other sites

В договоре то с ними что сказано? За что вы должны платить по договору?

Share this post


Link to post
Share on other sites

В договоре то с ними что сказано? За что вы должны платить по договору?

В договоре, со слов наших юристов, подобный маразм не оговаривается, сам не видел. А Вы знаете каких-нибудь других операторов, которые таким промышляют?

Share this post


Link to post
Share on other sites

а можно озвучить цели этого поста ? В принципе при наличии всей этой информации, идите в суд и разбирайтесь там.

Share this post


Link to post
Share on other sites

а можно озвучить цели этого поста ? В принципе при наличии всей этой информации, идите в суд и разбирайтесь там.

В первом предложении цель изложена :)

Share this post


Link to post
Share on other sites

Не знаю как в РК, а в РФ чаще просто проще сменить магистрала.

Share this post


Link to post
Share on other sites

Я вообще не понимаю зачем находясь в Петропавловске подключаться к КТ, когда там есть узел ТТК.

Хотя наверное это такой извращенный национальный мазохизм...

Share this post


Link to post
Share on other sites

Я вообще не понимаю зачем находясь в Петропавловске подключаться к КТ, когда там есть узел ТТК.

Хотя наверное это такой извращенный национальный мазохизм...

Ну, вроде, на выводе выше чудесно видно ТТК, аж два штука :) А этот линк с КТ существует вопреки моему желанию, но это темой для обсуждения в данном топике не является.

 

идите в суд и разбирайтесь там.

Судиться с телекомом? Не расскажете ли про хоть один прецедент? :)

Share this post


Link to post
Share on other sites

Посудитесь - и будет прецендент.

Только нафиг он нужен - мы не в Лондоне... здесь нужны конкрентные решения в Вашу пользу.

Share this post


Link to post
Share on other sites

У КТ - неправильный биллинг... они снимают трафик на внешних каналах и считают по IP клиента без учета входящий или исходящий этот трафик

В итоге получается, что если ты положишь стык с КТ и отправишь трафик в их сторону через другого магистрала, тебе его защитают как исходящий, так как SRC IP - твой и прошел он через внешний канал - значит исходящий... :-)

Обычно, после переговоров с ними, такой трафик они списывают...

Если откажутся - то проси детализацию по данному трафику и в суд...

Share this post


Link to post
Share on other sites

У КТ - неправильный биллинг... они снимают трафик на внешних каналах и считают по IP клиента без учета входящий или исходящий этот трафик

В итоге получается, что если ты положишь стык с КТ и отправишь трафик в их сторону через другого магистрала, тебе его защитают как исходящий, так как SRC IP - твой и прошел он через внешний канал - значит исходящий... :-)

Обычно, после переговоров с ними, такой трафик они списывают...

Если откажутся - то проси детализацию по данному трафику и в суд...

Да я это давно понял, спасибо orlik, тут только ситуация в том, что даже складывать стык ненужно - сами "понароутили" с помощью more-specific. Трафик списывать отказываются, т. к., там очень немалые цифры за где-то 5 месяцев, думаю, что представляю примерно ситуацию, NOC ДКП будет до конца доказывать, что "да сами вы тюлени, маршруты на megaline.kz есть". Насчёт суда решается, но это уже меня не касается.

Share this post


Link to post
Share on other sites

GFORGX Для какой цели пользуетесь каналом с учетом трафика, являясь оператором?

Share this post


Link to post
Share on other sites

GFORGX Для какой цели пользуетесь каналом с учетом трафика, являясь оператором?

Помоему очевидно же: чтоб получить канал до KT юзеров за 200к в месяц.

Вы из КТ ? Вопрос звучит как обвинение :)

Share this post


Link to post
Share on other sites

L-ZiX, да, именно так. До ALA-IX из Петропавловска дотянуться не удаётся. Сегодня ознакомился с официальной отпиской ДКП, вынужден забрать слова насчёт more-specific (хотя, всё равно закрадываются мысли, а был ли мальчик), у нас фильтровалось от них всё, кроме того, что bgp_path.len <= 2, а они, как выяснилось, препендят некоторые маршруты своими приватными (!) ASN (ума не приложу, зачем это может потребоваться, но т. к. я не сторонник теорий заговора, не буду предполагать, что это было сделано умышленно, а раньше маршрутов не было):

 

bird> show route for 95.56.196.0 all
95.56.196.0/22     via 217.150.38.22 on vlan100 [ttc 19:30] * (100) [AS9198i]
Type: BGP unicast univ
BGP.origin: IGP
BGP.as_path: 20485 9198
BGP.next_hop: 217.150.38.22
BGP.local_pref: 100
BGP.community: (51997,20485)
                  via 95.58.94.253 on vlan101 [ktc_csa 20:44 from 88.204.228.7] (100) [AS64727i]
Type: BGP unicast univ
BGP.origin: IGP
BGP.as_path: 9198 64727 64727
BGP.next_hop: 88.204.228.7
BGP.med: 0
BGP.local_pref: 100
BGP.community: (51997,9198)

 

P.P.S. В любом случае, as-path из 20485 9198 короче ;)

 

Но насчёт того, какого чёрта считается транзитный трафик, господа промолчали.

Edited by GFORGX

Share this post


Link to post
Share on other sites

Какие молодцы в Казахтелекоме - чморят любителей спецификов по полной. Только strict rpf на порту не хватает.

Share this post


Link to post
Share on other sites

чморят любителей спецификов по полной

При чём тут специфики? Читайте внимательнее: описывается дефолтное поведение BGP.

Share this post


Link to post
Share on other sites

Помоему очевидно же: чтоб получить канал до KT юзеров за 200к в месяц.

Вы из КТ ? Вопрос звучит как обвинение :)

Да какое обвинение-то ;) Мы так-же забираем казнет, только статикой. Пока проблем с превышением не было.

Share this post


Link to post
Share on other sites

Где я живу, блинПродолжение истории. Побывал вчера в ОДТ на неофициальной встрече с их инженерами и маркетологами. Узнал, что: ребята считают себя тирванами, считают, что заставлять клиентов оплачивать собственный безлимитный входящий трафик - нормальная практика (тут ссылаются на расплывчатую формулировку из стандартного договора ДКП, процитировать не могу, поскольку не занимаюсь юридическими вопросами), НЕ хранят NetFlow ни в каком виде после его мгновенной обработки биллингом по аккаунтам/сессиям, а также уверены, что проблемы с тем, что их маршруты не становятся best из-за приватных ASN с препендами (а-ля 9198 64601 64601), должны решать клиенты костылеправнювелирной работой над in-фильтрами на всех своих аплинков. А ещё ребята вполне нормально относятся к тому, что клиент должен оплачивать Телеелекому входящий в его сеть трафик из каких-нибудь Узбекистанов с проспуфленными на клиентские src IP (про URPF ребята не слышали - у них что угодно пробегает, по крайней мере, в Петропавловске).

 

DenKZ, не поделитесь собственным опытом переговоров с ДКП?

Edited by GFORGX

Share this post


Link to post
Share on other sites

Где я живу, блинПродолжение истории. Побывал вчера в ОДТ на неофициальной встрече с их инженерами и маркетологами. Узнал, что: ребята считают себя тирванами, считают, что заставлять клиентов оплачивать собственный безлимитный входящий трафик - нормальная практика (тут ссылаются на расплывчатую формулировку из стандартного договора ДКП, процитировать не могу, поскольку не занимаюсь юридическими вопросами), НЕ хранят NetFlow ни в каком виде после его мгновенной обработки биллингом по аккаунтам/сессиям...

Бгг, этот тирван подняв стыки с крупными китайскими провайдерами трафик на Китай все равно шлет через РТ и ТТК (своих главных аплинков). Фактически тупая труба из Европы в Китай. Магистрал для микроскопических рынков Киргизии и Узбекистана, режущий им ЖЖ и wordpress.com как своим обычным ADSL хомячкам.

Edited by HelgS

Share this post


Link to post
Share on other sites

НЕ хранят NetFlow ни в каком виде после его мгновенной обработки биллингом по аккаунтам/сессиям

Безбожно Врутъ... Хранят...

Согласно закона они обязаны держать эти данные какой то период, точно не помню... кажись 3 года...

По судебному запросу обязаны будут выдать...

Как то в разговоре, после упоминания слов СОРМ, норм закона, они сознались что они есть... только их тяжело извлекать...

Правда разговор был на уровне Центрального Аппарата...

 

P.S.

Напишите им официальную претензию, где изложите что они посчитали внешний входящий трафик, как Ваш исходящий, с описанием как это происходит, предложите произвести эксперимент, который потвердит "глючность их биллинга" (выключаете свой канал до них) и наслаждаемся якобы "исходящим" траффиком... Упомяните, что в случае отказа в полюбовном урегулировании, обратитесь с жалобой в Мин.связи или кто у нас сейчас и будете требовать официальной экспертизы...

Edited by DenKZ

Share this post


Link to post
Share on other sites
кажись 3 года...

Сведения о соединениях - 3 года.

 

обратитесь с жалобой в Мин.связи или кто у нас сейчас

АИС

Share this post


Link to post
Share on other sites

Напишите им официальную претензию, где изложите что они посчитали внешний входящий трафик, как Ваш исходящий, с описанием как это происходит, предложите произвести эксперимент, который потвердит "глючность их биллинга" (выключаете свой канал до них) и наслаждаемся якобы "исходящим" траффиком... Упомяните, что в случае отказа в полюбовном урегулировании, обратитесь с жалобой в Мин.связи или кто у нас сейчас и будете требовать официальной экспертизы...

Самое главное в том, что ребята не спорят, что это внешний входящий трафик. Глянул договор сегодня, формулировка там следующая примерно: "любой трафик на внешних каналах АО "Казахтелеком" независимо от географической принадлежности IP-адресов". Написали в ДКП письмо с изложением несогласия соотвествия внешнего входяшего трафика данной формулировке. Кто знаком с нашим законодательством в этой области (хотя, чувствуется, что оно полно пробелов) или хотя бы практикой - как доказывать, что считать трафик переданный по каналу, который не является каналом АО "Казахтелеком", некорректно?

Share this post


Link to post
Share on other sites

Самое главное в том, что ребята не спорят, что это внешний входящий трафик. Глянул договор сегодня, формулировка там следующая примерно: "любой трафик на внешних каналах АО "Казахтелеком" независимо от географической принадлежности IP-адресов". Написали в ДКП письмо с изложением несогласия соотвествия внешнего входяшего трафика данной формулировке. Кто знаком с нашим законодательством в этой области (хотя, чувствуется, что оно полно пробелов) или хотя бы практикой - как доказывать, что считать трафик переданный по каналу, который не является каналом АО "Казахтелеком", некорректно?

Давайте пойдем "от противного" - что делать с трафиком, который проходит через бордер КТ, направляющийся "из вне" в ваше адресное пространство?

Думаю ответ очевиден - направить к вам. Считать его? - конечно!

Share this post


Link to post
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!

Register a new account

Sign in

Already have an account? Sign in here.

Sign In Now
Sign in to follow this