Перейти к содержимому
Калькуляторы

Варианты смены ip-адреса Нужно реализовать схему переназначения ip провайдера в пром. масштабах

Здравствуйте.

 

Возникла проблема с доступом к xml.yandex.ru (они разрешают не больше 10 запросов с одного ip-адреса). Пикантность ситуации в том, что запросов нужно делать несколько миллионов в сутки, для чего требуется соответствующее количество ip.

 

Поскольку вариант со стандартным подключением к провайдеру, раздающему динамические адреса, здесь вряд ли подойдёт (на перелогинивание через VPN-доступ нужно время, неприемлемое для таких объёмов, не говоря об использовании DSL-модемов), то нужно разработать иную схему работы. Предварительно планируется создавать несколько сотен PPPoE-подключений внутри одного канала, а смену ip внутри каждого производить непосредственно командами DHCP, но здесь очень желательна консультация специалистов, работающих у провайдеров и наглядно представляющих себе конкретные варианты решения этой задачи.

 

Надеюсь на вашу помощь.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

запросов нужно делать несколько миллионов в сутки

Почитайте их лицензию http://legal.yandex.ru/xml, она этого не разрешает.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Я время от времени освежаю переписку с ними, подобные нагрузки допустимы (пару сотен тысяч мы уже даём, но не так неэффективно, как хотелось бы). Кроме того, нам нужна универсальная схема, работающая не только под XML (сейчас собирается много данных, по аналогии и для целей, схожих с Руметрикой - rumetrika.rambler.ru).

 

Что Вы можете посоветовать в качестве технологического решения?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

А какая провайдерам выгода от вашего дуракаваляния?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Финансовая, разумеется. При наличии достаточного обоснования мы готовы как оплатить индивидуальное решение, так и соответствующую арендную плату за услуги.

Изменено пользователем mining

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Что Вы можете посоветовать в качестве технологического решения?

Написать клиентскую часть на js и запускать её в браузерах посетителей.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Львиная доля работы выполняется скриптами на нескольких nix-серверах.

Кроме того, не все наши партнёры готовы к унификации программного обеспечения.

К тому же, не все операторы готовы предоставить сотни коннектов в рамках одного договора (здесь вообще много организационных сложностей возникает).

 

Поэтому нам хотелось бы найти более-менее универсальное техническое решение. Или хотя бы предварительный его набросок.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

нам хотелось бы найти более-менее универсальное техническое решение.

http://bit.ly/Qd47ml

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

За несколько лет мы перепробовали массу решений, но это не выход (кроме чисто юридических нюансов, необходим полный контроль за используемыми мощностями). Сейчас мы работаем с несколькими лирами, но имеющейся статики катастрофически не хватает.

 

Есть и вторая по значимости проблема: большинство крупных сервисов в том или ином виде используют БД, позволяющие определять географию ip-адреса, что значительно снижает КПД работы с крупными поставщиками подсетей и/или хостерами. Поэтому работа именно с провайдерами Интернета напрямую - представляется наиболее оптимальной.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

mining

Решение типа 100500 pppoe-коннектов с одного сервера могу сделать за $$ (в виде инструкции и примеров использования). Но всё равно почти все провайдеры не позволяют поднимать более 1ой сессии с одного логина(ещё можно ограничить кол-во подключений с одного mac, но обычно этого не делают), так что вам придётся купить 100500 подключений, проще всего это сделать прикинувшись дилером и продать самому себе кучу подключений, но сами понимаете это денег будет стоить приличных, меньше 100р в месяц(по какой-нибудь супер-пупер акции) за подключение в России вряд ли найдёте.

 

Мало того, если провайдер читаете abuse@ , то рано или поздно все ваши подключения заблокируют, особенно если яндекс и подобные начнут блокировать сети isp)

 

Кроме как аренды ботнета, тут сложно что-то придумать(с технологической точки зрения).

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Поисковики и прочие сервисы выдают разве-что капчу, да и то в весьма редких случаях. С этой проблемой мы успешно справляемся. Повода для иных абуз, вроде почтового спама или всяких spambot activity, тем более не будет - у нас обычный трафик, сбор статистики с новостных и крупных тематических/отраслевых ресурсов, поисковиков, сервисов вроде того же XML, adwords, alexa rank, liveinternet, различных хуизов, агрегаторов вроде be1.ru/stat, и т.д. и т.п.

 

Единственное - объемы большие.

 

Третья причина, по которой я обратился на nag.ru - хотелось бы сразу найти системщиков, администрирующих мощности конкретного провайдера, чтобы на базе конкретной же платформы понять спецификации, дать своим технарям мануалы, приспособить софт ко всем этим сменам MAC и поднятиям адресов, и начать наконец-таки работу (взаимовыгодные условия сотрудничества - обсуждаемы в любом случае).

 

А то, честно говоря, уже поднадоело натыкаться на бюрократические грабли у крупных магистральщиков. Названиваешь какой-нибудь Синтерре/Ростелекому, там тебя ничего непонимающие девочки полчаса переключают между собой, потом волевым усилием ты добираешься до чуть более вменяемого менеджера, тот берёт двухдневную паузу, затем подключает Второго Заместителя Третьего Ведущего Специалиста Департамента Прямых Продаж Дирекции Услуг Корпоративного Подключения для Юридических Лиц в Десятом Сбоку Округе Резервного Филиала Центрального Офиса по Северо-Западу Московского Региона (а бывают подписи и покруче), тот подключает армию кодеров, команду сисадминов, двух сервисных инженеров из числа начальников отделов, пятерых специалистов дилера, поставляющего маршрутизаторы, одного буржуя непосредственно из Cisco, и одну секретарщу на постоянный поднос кофию, затем вооружается ТЗ на собственный управляющий софт, вооружается RFC из всех доступных взору и разуму источников, после чего начинается ЭПОПЕЯ под названием "нестандартное подключение нового клиента".

 

Вот только толку ото всех этих галактических армий - никакого. То координатора проекта нет, то уволился кодер, отвечающий за галочку перед кнопочкой, то какой-нибудь консультант в отпуске, то у них реорганизация адресного пространства, то переезд оборудования, то фаза Луны не совпадает с орбитой Сатурна, то кофий не той марки - в общем, адъ.

 

Поэтому хочется найти спеца, непосредственно работающего с раздающим ip-адреса оборудованием, и с ним напрямую решить все наши скромные вопросы.

 

Надеюсь, такие люди здесь присутствуют? От меня просите, чего хотите - после борьбы с операторскими регламентами, уставами и нормативами даже какая-нибудь райповская переписка кажется сборником свежих анекдотов. А уж общий язык с живыми людьми - найдём и подавно.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

mining

Вы скажите сколько одновременных подключений вы хотите и с какой частой надо менять IP. И где планируете включаться, дома установить сервер или в каком-то помещении как юр.лицо?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Ну смотрите. На статике мы используем пул /20, в течение суток их меняется до 10 штук, т.е. общий объём ip должен соответствовать где-то /17. Но это лировская статика, при динамических адресах от обычного Интернет провайдера требования резко снижаются. Полагаю, в обычном режиме на один канал будет не больше (округлим) 64 подключений (64 ip), используемых одновременно.

 

Поскольку схема работы примерно такова - 1) софт коннектится, 2) открывает нужный ресурс, где собирает нужные данные, 3) завершает сессию и разрывает, если требуется, физическое соединение (поднимает новый виртуальный сетевой интерфейс, к примеру) - то, соответственно, требование к количеству ip одно: если нельзя на каждый новый коннект предоставить новый ip, то хотя бы повторяться они должны как можно реже.

 

Как-то так.

 

Включатся - где скажете. Можем арендовать сервер непосредственно у провайдера, можем от себя поднимать канал (кстати, да, что-то вроде GRE было бы оптимально). Физик или юрик - тоже не важно, сделаем, как потребуют.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Ну если вы готовы платить за 64 логина(64 подключения) и 100мбитного канала на это достаточно, то на домашнем/офисном подключении от крупного провайдера с pppoe это реализуемо.

 

Вариант "Можем арендовать сервер непосредственно у провайдера" плохой, т.к. подключать клиента по pppoe в своёй же серверной это просто жутко нестандартное подключение и более чем подозрительно. Так что ищите помещение/квартиру, где установить оборудование.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Полагаю, в обычном режиме на один канал будет не больше (округлим) 64 подключений (64 ip), используемых одновременно.

Тогда просто заплатите сотне ростелекомовских адсл-хомяков, чтобы они держали у себя запущенным вашего бота.

Пусть он их реконнектит каждый час, чтобы получать новый адрес.

 

Оплачивать хомякам можно проведённые через них запросы и/или пребывание в режиме готовности.

 

В бота можно впихнуть какие-нибудь дополнительные приятные хомякам функции.

Например, быстрый прокси к файлообменникам.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Ilya Evseev, мы уже пробовали работать на стороне конечного клиента. Это - одна сплошная головная боль, хуже всяких ботнетов. Начиная с того, что их нужно найти и индивидуально заинтересовать.

Нам нужно решение именно на провайдерской стороне.

 

s.lobanov, PPPoE - это как вариант, раз уж мы отталкивались от провайдера для домашних пользователей, с модемами и пр. А есть иные способы?

Понятно, что можно нарегить 64 юрлица и коннектиться из 64 разных точек подключения. Но хотелось бы... чего-то более технологичного.

 

Если здесь есть сотрудники провайдеров (желательно от medium и выше) из этого списка - https://www.ripe.net/membership/indices/RU.html - с радостью обсужу с ними любые конкретные вопросы. В привате, если нужно.

Изменено пользователем mining

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Я время от времени освежаю переписку с ними, подобные нагрузки допустимы ....

Что Вы можете посоветовать в качестве технологического решения?

ИМХО гораздо проще договариваться с самим Яндексом, Руметрикой и прочими, раз вы работаете с крупным сервисом, чем городить огород из костылей.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

"Настоящее ограничение количества запросов не применяется в отношении сайтов, подключенных к Рекламной сети Яндекса (http://partner.yandex.ru/) согласно договору с Яндексом, предусматривающему возможность использования Сервиса."

 

Станте партнером официально, за рекламу или иные выгоды Яндексу.

Не занимайтесь ерундой :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

sexst о чём Вы предлагаете договориться с крупными сервисами?

 

Tosha мы работаем далеко не только с XML, да и миллионные нагрузки они не позволят даже партнёрам вроде mail.ru, проверено. Подключать для наших целей сайты - смысла не имеет.

Изменено пользователем mining

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

sexst о чём Вы предлагаете договориться с крупными сервисами?

Собственно договориться о миллионных запросах с одного ip. А так вы спрашиваете как на$$ать Яндекс, простите. Ваше первое утверждение о том, что Яндекс такие нагрузки позволяет расходится со следующим, что не позволяет даже партнерам.

А с учетом лимита 10 запросов на ip в сутки и нескольких МИЛЛИОНАХ реальной потребности \13-\14 вряд ли кто-то даст.

 

UPD: А как вы вообще с такими условиями насчитали в /17 уложиться то?

Изменено пользователем sexst

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Технически - позволяет, формально - нет. Для того и нужен доступ от нескольких (десятков) крупных и не очень провайдеров, что официально какой-либо "партнёр" это сделать не может.

 

Можно было бы - сделали бы ещё лет шесть-семь назад.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

А в сторону VPN-анонимайзеров смотрели?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Мне кажется это просто вопрос денег.

За определенную сумму Яндекс согласится и на миллион запросов.

За определенную сумму Вам может быть удастся найти решение с пулом IP в сотни тысяч адресов.

 

Я могу ошибаться, но первый вариант (договорится с Яндексом) будет дешевле.

 

При таких исходных любая попытка сделать бесплатно или за смешные деньги будет крайне нестабильным решением.

 

P.S.

Получите себе пул IPv6 адресов.

По IPv6 этот сервис доступен?

Изменено пользователем Tosha

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

хмл не доступен, я смотрел.

можно и не пул, а /64 вполне хватит, скорее всего.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Что бы провайдер начал страдать подобной ерундой, а на сколько я понял, вы хотите работать именно с провайдером, а не купить 100 подключений, надо провайдера серьезно в этом заинтересовать. И заинтересовать финансово именно манеджеров. С технической точки все эти ваши игры можно вообще подмешивать в клиентский трафик. Будет что-то вроде "каждое новое tcp соединение будет натиться новым IP, при чем кроме вашего трафика с этого IP будет идти живой клиентский трафик" и так по кругу по /17 или сколько есть у провайдера. Стоимость железа... посмотрите сколько ASA гигабитная стоит.

 

А по хорошому все это такая... ерунда. Ну вот вообще ни разу не интересно, неужели в синтере заинтересовались в этом? Наверно менеджер неопытный попался, который даже не понял что от него хотят. У нас была одна такая -- продавала ВПН клиентам с одной точкой подключения к сети... И ведь покупали, даже приоретизацию докупали для трафика, которому некуда идти. В крупных провайдерах вашему проекту надо такую цепочку служб/отделов/департаментов пройти, что не удивидельно что Вас динамили. Более мелкие провайдеру скажут "чушь какая-то, нет, не интересно", потому как цепочка поменьше и менеджер, что с вами работает быстро получит разъяснения о чем идет речь и куда отправлять с подобными просьбами.

 

Сейчас вы клянетесь, что будет все тихо и спокойно, а через 6 месяцев проект не понравиться и сольете все эти IP ботнетовцам. Вот весело будет технорям потом вычищать IPы из бан листов. Нет, с технической точки зрения просьбы подобные отсылаются на юг, прямо и без сожалений. Кроме того, даже если какой-то менеджер заинтересуется сильно откатом, технари будут настойчиво советовать ему подумать ещё раз стоит ли откат места где он сейчас работает. Если стоит, то значит менеджер ни разу не директор, а потому с подобными авантюрами будет послан коротко, в письменном виде и не стесняясь в выражениях. Можно и развернуто послать, но тогда с копией его/её непосредственному начальнику.

 

Вам не мидлов надо искать, а смолов (это откуда я взял что гигабита хватит), при чем готовтесь к ротации партнеров.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Гость
Ответить в тему...

×   Вставлено в виде отформатированного текста.   Вставить в виде обычного текста

  Разрешено не более 75 смайлов.

×   Ваша ссылка была автоматически встроена.   Отобразить как ссылку

×   Ваш предыдущий контент был восстановлен.   Очистить редактор

×   Вы не можете вставить изображения напрямую. Загрузите или вставьте изображения по ссылке.