[wladm]

Использую программу на ПК: 50+ ботов через прокси одновременно лазят в браузерах, имитируя поведение пользователей.

 

При достижении примерно 1000 tcp соединений (замеряю утилитой cFosSpeed) новые вкладки перестают загружаться. Интернет жёстко виснет. Хотя мощности железа позволяют. И скорость интернета используется максимум 10 Мбит/c при тарифе в 800+ Мбит/с.

 

Дело не в железе (мощный сервак) и не в роутере (обычно подключаю кабелем напрямую). Этот же сервак у друга в доме с провайдером Етелеком работает в 200+ потоков и достигает 5000 tcp соединений. Там, по ощущениям, такого лимита вообще нет.

 

Ограничение наблюдается у провайдеров Дом.ру и Невалинк (и там и там проводил гигабитный интернет с 8-жильным кабелем). Что интересно, у Скайнета в одном доме ограничение было, а в другом не было.

 

Провайдерам я, разумеется, звонил, и показывал им что новые вкладки не открываются. На что они разводили руками и говорили, что скорость 800+ Мбит/с выдается, значит, всё в порядке. Доказать что-либо про tcp соединения им нереально.

 

Вопрос к знатокам сетей и тем, кто работает в компаниях-провайдерах. Как и где устанавливаются эти ограничения? Можно ли их как-нибудь обойти? Кто ещё сталкивался с подобными ограничениями в СПб и у каких провайдеров?

 

Если кто готов разобраться и помочь, покажу, как эти ограничения срабатывают у меня.

 

[weedman]

В 20.04.2022 в 08:17, wladm сказал:

Использую программу на ПК: 50+ ботов через прокси одновременно лазят в браузерах, имитируя поведение пользователей.

 

При достижении примерно 1000 tcp соединений (замеряю утилитой cFosSpeed) новые вкладки перестают загружаться. Интернет жёстко виснет. Хотя мощности железа позволяют. И скорость интернета используется максимум 10 Мбит/c при тарифе в 800+ Мбит/с.

 

Дело не в железе (мощный сервак) и не в роутере (обычно подключаю кабелем напрямую). Этот же сервак у друга в доме с провайдером Етелеком работает в 200+ потоков и достигает 5000 tcp соединений. Там, по ощущениям, такого лимита вообще нет.

 

Ограничение наблюдается у провайдеров Дом.ру и Невалинк (и там и там проводил гигабитный интернет с 8-жильным кабелем). Что интересно, у Скайнета в одном доме ограничение было, а в другом не было.

 

Провайдерам я, разумеется, звонил, и показывал им что новые вкладки не открываются. На что они разводили руками и говорили, что скорость 800+ Мбит/с выдается, значит, всё в порядке. Доказать что-либо про tcp соединения им нереально.

 

Вопрос к знатокам сетей и тем, кто работает в компаниях-провайдерах. Как и где устанавливаются эти ограничения? Можно ли их как-нибудь обойти? Кто ещё сталкивался с подобными ограничениями в СПб и у каких провайдеров?

 

Если кто готов разобраться и помочь, покажу, как эти ограничения срабатывают у меня.

 

Можно cделать vpn с места с ограничениями, в место без ограничений, если нет возможности сменить провайдера

[orlik]

Предположу что вы сидите за натом и у провайдера стоит ограничение на кол-во портов. Это нормальная ситуация, купите у провайдера белый ip и проблем не будет

[Andrei]

В 20.04.2022 в 08:17, orlik сказал:

Предположу что вы сидите за натом и у провайдера стоит ограничение на кол-во портов.

Скорее - ограничение на кол-во трансляций для одного пользователя в таблице трансляций на провайдерской НАТящей железке.

[SUrov_IBM]

Orlik, Andrei, здравствуйте.

 

В 20.04.2022 в 06:17, orlik сказал:

купите у провайдера белый ip и проблем не будет

 

В 20.04.2022 в 07:36, Andrei сказал:

ограничение на кол-во трансляций для одного пользователя в таблице трансляций на провайдерской НАТящей железке.

Возможно, но это не точно, наступить на "подводный камушек" - если оператор "приземлит" выделенный IP клиенту через статический NAT 1:1 (194.85.25.xxx/32 <=Static NAT 1:1=>192.168.100.xxx/32), не получится наткнуться на те же ограничения кол-во трансляций для одного пользователя (IP/32)?

 

Имеется в виду, что в таком случае, может быть важным способ "подачи" выделенного IP до клиента, минуя NAT оператора.

Изменено 20 апреля, 2022 пользователем SUrov_IBM

[UglyAdmin]

В 20.04.2022 в 09:13, SUrov_IBM сказал:

через статический NAT 1:1

При статическом NAT 1:1 таблица трансляций не создаётся, просто меняется IP при пересечении границы сетей.

[SUrov_IBM]

UglyAdmin, здравствуйте.

 

В 20.04.2022 в 10:14, UglyAdmin сказал:

При статическом NAT 1:1 таблица трансляций не создаётся

Благодарю Вас за ответ! Теперь я лучше понимаю NAT, а топикстартеру не стоит беспокоиться за способ подключения выделенного IP. ;)

[rm_]

Смысл темы, давайте поможем засирателю ботоводу засирать наши сети, чтобы потом у юзеров на всех этих сайтах вылазила капча, и они жаловались и уходили к другим провайдерам.

[Andrei]

В 20.04.2022 в 13:08, rm_ сказал:

давайте поможем

Кто ему помогает? Ему объяснят почему это так. Не более.

[orlik]

On 4/20/2022 at 2:08 PM, rm_ said:

Смысл темы, давайте поможем засирателю ботоводу засирать наши сети, чтобы потом у юзеров на всех этих сайтах вылазила капча, и они жаловались и уходили к другим провайдерам.

Давайте, мы уже помогаем 

[wladm]

В 20.04.2022 в 11:08, rm_ сказал:

Смысл темы, давайте поможем засирателю ботоводу засирать наши сети, чтобы потом у юзеров на всех этих сайтах вылазила капча, и они жаловались и уходили к другим провайдерам.

Если вы про меня, то никто не жалуется, боты просто ходят по сайтам по определенным сценариям, капча вылазит только им. Но вопрос связан именно с подключениями/трансляциями, на стороне провайдеров.

[pppoetest]

В 20.04.2022 в 15:59, wladm сказал:

Но вопрос связан именно с подключениями/трансляциями, на стороне провайдеров.

IP стал слишком дорогим ресурсом, чтобы его вот так запросто отдавать кому попало. Поэтому те, кто в своё время не успел нахапать сетей, дают 2-5к сессий на абона, либо платите за выделенный айпи.

[wladm]

В 20.04.2022 в 05:03, weedman сказал:

Можно cделать vpn с места с ограничениями, в место без ограничений, если нет возможности сменить провайдера

Спасибо. Думал про этот способ, но пока не проверял. Попробую.

[sheft]

В 20.04.2022 в 13:01, pppoetest сказал:

IP стал слишком дорогим ресурсом, чтобы его вот так запросто отдавать кому попало. Поэтому те, кто в своё время не успел нахапать сетей, дают 2-5к сессий на абона, либо платите за выделенный айпи.

плюс ещё защита от колхозов, по крайней мере у меня так было задумано

[Andrei]

В 20.04.2022 в 15:01, pppoetest сказал:

либо платите за выделенный айпи.

И много сейчас берут за выделенный айпи? У меня даже мелкие магазинчики часто берут выделенный айпи для доступа извне к системам видео-наблюдения например.

[alibek]

Мы берем 3200 в год.

Но мы выдаем белые адреса и бесплатный DDNS, многим этого достаточно.

[Andrei]

В 20.04.2022 в 16:47, alibek сказал:

бесплатный DDNS

Это как?

[orlik]

On 4/20/2022 at 10:36 AM, Andrei said:

Скорее - ограничение на кол-во трансляций для одного пользователя в таблице трансляций на провайдерской НАТящей железке.

Чаще именно портов, по крайней мере в контексте провайдера , cgnat с включенным eif eif позволяет организовать больше трансляций чем кол-во портов. Хотя бывают и по сессиям ограничения

[alibek]

В 20.04.2022 в 14:53, Andrei сказал:

Это как?

У каждого абонента есть доменное имя вида <login>.users.<provider>.ru, сопоставленное с текущим IP-адресом абонента.

Если софт позволяет указывать не IP-адрес, а доменное имя, то этого достаточно.

[Ivan_83]

В 20.04.2022 в 01:17, wladm сказал:

При достижении примерно 1000 tcp соединений (замеряю утилитой cFosSpeed) новые вкладки перестают загружаться. Интернет жёстко виснет. Хотя мощности железа позволяют. И скорость интернета используется максимум 10 Мбит/c при тарифе в 800+ Мбит/с.

А написать или найти прогу которая умеет делать 100500 TCP соединений не судьба для тестов?

 

Я всётаки подозреваю что у вас дома роутер не вывозит больше, хоть вы и написали что его не юзаете.

А если не юзаете - то ещё больше вопросов про то как у вас там всё настроено для раздачи инета.

[Andrei]

В 20.04.2022 в 17:22, alibek сказал:

У каждого абонента есть доменное имя вида <login>.users.<provider>.ru, сопоставленное с текущим IP-адресом абонента.

Если софт позволяет указывать не IP-адрес, а доменное имя, то этого достаточно.

Понятно, но белый ip все равно в этом случае надо выдать.

[alibek]

Ну это да.

Мы решили, что арендовать адреса будет лучше, чем NAT.

[Andrei]

Если выдавать белый айпи, то зачем его вообще НАТить?

[ShyLion]

On 4/20/2022 at 8:57 PM, Andrei said:

Если выдавать белый айпи, то зачем его вообще НАТить?

Каких только топологий не бывает

[wladm]

Спасибо всем, кто откликнулся. Выделенный IP помог. Ограничений больше нет. Поддержка провайдера (Невалинк) сказала, что у них, вроде, ограничение на 2500 tcp и 2500 udp подключений для внутренних ip. cFosSpeed, видимо, показывал в два раза меньшее количество. Так как часто затык происходил на значении 1200-1300 подключений (но иногда и на 700-800). У остальных провайдеров, подозреваю, ситуация похожая.