mining Опубликовано 26 июня, 2012 · Жалоба Здравствуйте. Возникла проблема с доступом к xml.yandex.ru (они разрешают не больше 10 запросов с одного ip-адреса). Пикантность ситуации в том, что запросов нужно делать несколько миллионов в сутки, для чего требуется соответствующее количество ip. Поскольку вариант со стандартным подключением к провайдеру, раздающему динамические адреса, здесь вряд ли подойдёт (на перелогинивание через VPN-доступ нужно время, неприемлемое для таких объёмов, не говоря об использовании DSL-модемов), то нужно разработать иную схему работы. Предварительно планируется создавать несколько сотен PPPoE-подключений внутри одного канала, а смену ip внутри каждого производить непосредственно командами DHCP, но здесь очень желательна консультация специалистов, работающих у провайдеров и наглядно представляющих себе конкретные варианты решения этой задачи. Надеюсь на вашу помощь. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Ilya Evseev Опубликовано 26 июня, 2012 · Жалоба запросов нужно делать несколько миллионов в сутки Почитайте их лицензию http://legal.yandex.ru/xml, она этого не разрешает. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
mining Опубликовано 26 июня, 2012 · Жалоба Я время от времени освежаю переписку с ними, подобные нагрузки допустимы (пару сотен тысяч мы уже даём, но не так неэффективно, как хотелось бы). Кроме того, нам нужна универсальная схема, работающая не только под XML (сейчас собирается много данных, по аналогии и для целей, схожих с Руметрикой - rumetrika.rambler.ru). Что Вы можете посоветовать в качестве технологического решения? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Ivan_83 Опубликовано 26 июня, 2012 · Жалоба А какая провайдерам выгода от вашего дуракаваляния? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
mining Опубликовано 26 июня, 2012 (изменено) · Жалоба Финансовая, разумеется. При наличии достаточного обоснования мы готовы как оплатить индивидуальное решение, так и соответствующую арендную плату за услуги. Изменено 26 июня, 2012 пользователем mining Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Ilya Evseev Опубликовано 26 июня, 2012 · Жалоба Что Вы можете посоветовать в качестве технологического решения? Написать клиентскую часть на js и запускать её в браузерах посетителей. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
mining Опубликовано 26 июня, 2012 · Жалоба Львиная доля работы выполняется скриптами на нескольких nix-серверах. Кроме того, не все наши партнёры готовы к унификации программного обеспечения. К тому же, не все операторы готовы предоставить сотни коннектов в рамках одного договора (здесь вообще много организационных сложностей возникает). Поэтому нам хотелось бы найти более-менее универсальное техническое решение. Или хотя бы предварительный его набросок. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Ilya Evseev Опубликовано 26 июня, 2012 · Жалоба нам хотелось бы найти более-менее универсальное техническое решение. http://bit.ly/Qd47ml Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
mining Опубликовано 26 июня, 2012 · Жалоба За несколько лет мы перепробовали массу решений, но это не выход (кроме чисто юридических нюансов, необходим полный контроль за используемыми мощностями). Сейчас мы работаем с несколькими лирами, но имеющейся статики катастрофически не хватает. Есть и вторая по значимости проблема: большинство крупных сервисов в том или ином виде используют БД, позволяющие определять географию ip-адреса, что значительно снижает КПД работы с крупными поставщиками подсетей и/или хостерами. Поэтому работа именно с провайдерами Интернета напрямую - представляется наиболее оптимальной. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
s.lobanov Опубликовано 26 июня, 2012 · Жалоба mining Решение типа 100500 pppoe-коннектов с одного сервера могу сделать за $$ (в виде инструкции и примеров использования). Но всё равно почти все провайдеры не позволяют поднимать более 1ой сессии с одного логина(ещё можно ограничить кол-во подключений с одного mac, но обычно этого не делают), так что вам придётся купить 100500 подключений, проще всего это сделать прикинувшись дилером и продать самому себе кучу подключений, но сами понимаете это денег будет стоить приличных, меньше 100р в месяц(по какой-нибудь супер-пупер акции) за подключение в России вряд ли найдёте. Мало того, если провайдер читаете abuse@ , то рано или поздно все ваши подключения заблокируют, особенно если яндекс и подобные начнут блокировать сети isp) Кроме как аренды ботнета, тут сложно что-то придумать(с технологической точки зрения). Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
mining Опубликовано 26 июня, 2012 · Жалоба Поисковики и прочие сервисы выдают разве-что капчу, да и то в весьма редких случаях. С этой проблемой мы успешно справляемся. Повода для иных абуз, вроде почтового спама или всяких spambot activity, тем более не будет - у нас обычный трафик, сбор статистики с новостных и крупных тематических/отраслевых ресурсов, поисковиков, сервисов вроде того же XML, adwords, alexa rank, liveinternet, различных хуизов, агрегаторов вроде be1.ru/stat, и т.д. и т.п. Единственное - объемы большие. Третья причина, по которой я обратился на nag.ru - хотелось бы сразу найти системщиков, администрирующих мощности конкретного провайдера, чтобы на базе конкретной же платформы понять спецификации, дать своим технарям мануалы, приспособить софт ко всем этим сменам MAC и поднятиям адресов, и начать наконец-таки работу (взаимовыгодные условия сотрудничества - обсуждаемы в любом случае). А то, честно говоря, уже поднадоело натыкаться на бюрократические грабли у крупных магистральщиков. Названиваешь какой-нибудь Синтерре/Ростелекому, там тебя ничего непонимающие девочки полчаса переключают между собой, потом волевым усилием ты добираешься до чуть более вменяемого менеджера, тот берёт двухдневную паузу, затем подключает Второго Заместителя Третьего Ведущего Специалиста Департамента Прямых Продаж Дирекции Услуг Корпоративного Подключения для Юридических Лиц в Десятом Сбоку Округе Резервного Филиала Центрального Офиса по Северо-Западу Московского Региона (а бывают подписи и покруче), тот подключает армию кодеров, команду сисадминов, двух сервисных инженеров из числа начальников отделов, пятерых специалистов дилера, поставляющего маршрутизаторы, одного буржуя непосредственно из Cisco, и одну секретарщу на постоянный поднос кофию, затем вооружается ТЗ на собственный управляющий софт, вооружается RFC из всех доступных взору и разуму источников, после чего начинается ЭПОПЕЯ под названием "нестандартное подключение нового клиента". Вот только толку ото всех этих галактических армий - никакого. То координатора проекта нет, то уволился кодер, отвечающий за галочку перед кнопочкой, то какой-нибудь консультант в отпуске, то у них реорганизация адресного пространства, то переезд оборудования, то фаза Луны не совпадает с орбитой Сатурна, то кофий не той марки - в общем, адъ. Поэтому хочется найти спеца, непосредственно работающего с раздающим ip-адреса оборудованием, и с ним напрямую решить все наши скромные вопросы. Надеюсь, такие люди здесь присутствуют? От меня просите, чего хотите - после борьбы с операторскими регламентами, уставами и нормативами даже какая-нибудь райповская переписка кажется сборником свежих анекдотов. А уж общий язык с живыми людьми - найдём и подавно. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
s.lobanov Опубликовано 26 июня, 2012 · Жалоба mining Вы скажите сколько одновременных подключений вы хотите и с какой частой надо менять IP. И где планируете включаться, дома установить сервер или в каком-то помещении как юр.лицо? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
mining Опубликовано 26 июня, 2012 · Жалоба Ну смотрите. На статике мы используем пул /20, в течение суток их меняется до 10 штук, т.е. общий объём ip должен соответствовать где-то /17. Но это лировская статика, при динамических адресах от обычного Интернет провайдера требования резко снижаются. Полагаю, в обычном режиме на один канал будет не больше (округлим) 64 подключений (64 ip), используемых одновременно. Поскольку схема работы примерно такова - 1) софт коннектится, 2) открывает нужный ресурс, где собирает нужные данные, 3) завершает сессию и разрывает, если требуется, физическое соединение (поднимает новый виртуальный сетевой интерфейс, к примеру) - то, соответственно, требование к количеству ip одно: если нельзя на каждый новый коннект предоставить новый ip, то хотя бы повторяться они должны как можно реже. Как-то так. Включатся - где скажете. Можем арендовать сервер непосредственно у провайдера, можем от себя поднимать канал (кстати, да, что-то вроде GRE было бы оптимально). Физик или юрик - тоже не важно, сделаем, как потребуют. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
s.lobanov Опубликовано 26 июня, 2012 · Жалоба Ну если вы готовы платить за 64 логина(64 подключения) и 100мбитного канала на это достаточно, то на домашнем/офисном подключении от крупного провайдера с pppoe это реализуемо. Вариант "Можем арендовать сервер непосредственно у провайдера" плохой, т.к. подключать клиента по pppoe в своёй же серверной это просто жутко нестандартное подключение и более чем подозрительно. Так что ищите помещение/квартиру, где установить оборудование. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Ilya Evseev Опубликовано 26 июня, 2012 · Жалоба Полагаю, в обычном режиме на один канал будет не больше (округлим) 64 подключений (64 ip), используемых одновременно. Тогда просто заплатите сотне ростелекомовских адсл-хомяков, чтобы они держали у себя запущенным вашего бота. Пусть он их реконнектит каждый час, чтобы получать новый адрес. Оплачивать хомякам можно проведённые через них запросы и/или пребывание в режиме готовности. В бота можно впихнуть какие-нибудь дополнительные приятные хомякам функции. Например, быстрый прокси к файлообменникам. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
mining Опубликовано 26 июня, 2012 (изменено) · Жалоба Ilya Evseev, мы уже пробовали работать на стороне конечного клиента. Это - одна сплошная головная боль, хуже всяких ботнетов. Начиная с того, что их нужно найти и индивидуально заинтересовать. Нам нужно решение именно на провайдерской стороне. s.lobanov, PPPoE - это как вариант, раз уж мы отталкивались от провайдера для домашних пользователей, с модемами и пр. А есть иные способы? Понятно, что можно нарегить 64 юрлица и коннектиться из 64 разных точек подключения. Но хотелось бы... чего-то более технологичного. Если здесь есть сотрудники провайдеров (желательно от medium и выше) из этого списка - https://www.ripe.net/membership/indices/RU.html - с радостью обсужу с ними любые конкретные вопросы. В привате, если нужно. Изменено 26 июня, 2012 пользователем mining Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
sexst Опубликовано 27 июня, 2012 · Жалоба Я время от времени освежаю переписку с ними, подобные нагрузки допустимы .... Что Вы можете посоветовать в качестве технологического решения? ИМХО гораздо проще договариваться с самим Яндексом, Руметрикой и прочими, раз вы работаете с крупным сервисом, чем городить огород из костылей. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Tosha Опубликовано 27 июня, 2012 · Жалоба "Настоящее ограничение количества запросов не применяется в отношении сайтов, подключенных к Рекламной сети Яндекса (http://partner.yandex.ru/) согласно договору с Яндексом, предусматривающему возможность использования Сервиса." Станте партнером официально, за рекламу или иные выгоды Яндексу. Не занимайтесь ерундой :) Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
mining Опубликовано 27 июня, 2012 (изменено) · Жалоба sexst о чём Вы предлагаете договориться с крупными сервисами? Tosha мы работаем далеко не только с XML, да и миллионные нагрузки они не позволят даже партнёрам вроде mail.ru, проверено. Подключать для наших целей сайты - смысла не имеет. Изменено 27 июня, 2012 пользователем mining Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
sexst Опубликовано 27 июня, 2012 (изменено) · Жалоба sexst о чём Вы предлагаете договориться с крупными сервисами? Собственно договориться о миллионных запросах с одного ip. А так вы спрашиваете как на$$ать Яндекс, простите. Ваше первое утверждение о том, что Яндекс такие нагрузки позволяет расходится со следующим, что не позволяет даже партнерам. А с учетом лимита 10 запросов на ip в сутки и нескольких МИЛЛИОНАХ реальной потребности \13-\14 вряд ли кто-то даст. UPD: А как вы вообще с такими условиями насчитали в /17 уложиться то? Изменено 27 июня, 2012 пользователем sexst Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
mining Опубликовано 27 июня, 2012 · Жалоба Технически - позволяет, формально - нет. Для того и нужен доступ от нескольких (десятков) крупных и не очень провайдеров, что официально какой-либо "партнёр" это сделать не может. Можно было бы - сделали бы ещё лет шесть-семь назад. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
BigElectricCat Опубликовано 27 июня, 2012 · Жалоба А в сторону VPN-анонимайзеров смотрели? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Tosha Опубликовано 28 июня, 2012 (изменено) · Жалоба Мне кажется это просто вопрос денег. За определенную сумму Яндекс согласится и на миллион запросов. За определенную сумму Вам может быть удастся найти решение с пулом IP в сотни тысяч адресов. Я могу ошибаться, но первый вариант (договорится с Яндексом) будет дешевле. При таких исходных любая попытка сделать бесплатно или за смешные деньги будет крайне нестабильным решением. P.S. Получите себе пул IPv6 адресов. По IPv6 этот сервис доступен? Изменено 28 июня, 2012 пользователем Tosha Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Ivan_83 Опубликовано 28 июня, 2012 · Жалоба хмл не доступен, я смотрел. можно и не пул, а /64 вполне хватит, скорее всего. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
RealResident Опубликовано 28 июня, 2012 · Жалоба Что бы провайдер начал страдать подобной ерундой, а на сколько я понял, вы хотите работать именно с провайдером, а не купить 100 подключений, надо провайдера серьезно в этом заинтересовать. И заинтересовать финансово именно манеджеров. С технической точки все эти ваши игры можно вообще подмешивать в клиентский трафик. Будет что-то вроде "каждое новое tcp соединение будет натиться новым IP, при чем кроме вашего трафика с этого IP будет идти живой клиентский трафик" и так по кругу по /17 или сколько есть у провайдера. Стоимость железа... посмотрите сколько ASA гигабитная стоит. А по хорошому все это такая... ерунда. Ну вот вообще ни разу не интересно, неужели в синтере заинтересовались в этом? Наверно менеджер неопытный попался, который даже не понял что от него хотят. У нас была одна такая -- продавала ВПН клиентам с одной точкой подключения к сети... И ведь покупали, даже приоретизацию докупали для трафика, которому некуда идти. В крупных провайдерах вашему проекту надо такую цепочку служб/отделов/департаментов пройти, что не удивидельно что Вас динамили. Более мелкие провайдеру скажут "чушь какая-то, нет, не интересно", потому как цепочка поменьше и менеджер, что с вами работает быстро получит разъяснения о чем идет речь и куда отправлять с подобными просьбами. Сейчас вы клянетесь, что будет все тихо и спокойно, а через 6 месяцев проект не понравиться и сольете все эти IP ботнетовцам. Вот весело будет технорям потом вычищать IPы из бан листов. Нет, с технической точки зрения просьбы подобные отсылаются на юг, прямо и без сожалений. Кроме того, даже если какой-то менеджер заинтересуется сильно откатом, технари будут настойчиво советовать ему подумать ещё раз стоит ли откат места где он сейчас работает. Если стоит, то значит менеджер ни разу не директор, а потому с подобными авантюрами будет послан коротко, в письменном виде и не стесняясь в выражениях. Можно и развернуто послать, но тогда с копией его/её непосредственному начальнику. Вам не мидлов надо искать, а смолов (это откуда я взял что гигабита хватит), при чем готовтесь к ротации партнеров. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...