[JohnKoffee]

Может есть смысл увеличить трафик в 2 раза и слать парные пакеты? Дропнется первый, есть шанс, что второй пройдет. Бред конечно, но корейцам есть над чем подумать, по нашим дорогам только на внедорожнике ездить можно.

С TCP такой подход не прокатит. Лучше думать насчет UDP/RTP, но для этого нужно очень аккуратно писать.

Не думаю, что придется изобретать велосипед, задача классическая. Ждать, когда рунет будет достойного качества можно всю жизнь, т.к. это часть русского менталитета - дураки и дороги.

[Ikarus]

да-да! и нарисуйте нам пожалуйста схему сети и серверов :))

Это-то вам зачем? :)

Там много страшных и непонятных слов: Force10, Juniper, f5

у нас в бауманке так говорили: фигня война - главное маневры.

посмотрим, поохаем, поахаем, на форуме 4гея замолвим словечко. так что если не секретно - милости просим.

[dvolodin]

рисовать не надо..... просто по моим скромным подсчетам сервера л2 что типа бомб... которые ведут себя тихо мирно выдавая трафика от 100 до 200 мбит... а потом берут и взрываются увеличивая исходящий трафик в 10 раз. на короткое время, а потом опять тихо мирно. вот поэтому и интересно чем это по физике обеспечивают.

Так и есть. То тихие и мирные мегабит 100, то нате вам 600M на два часа раз в две недели.

Сейчас начинаем перевозить линейку в другой ДЦ и сажать на более приличную коммутацию.

 

[Dimitrius]

рисовать не надо..... просто по моим скромным подсчетам сервера л2 что типа бомб... которые ведут себя тихо мирно выдавая трафика от 100 до 200 мбит... а потом берут и взрываются увеличивая исходящий трафик в 10 раз. на короткое время, а потом опять тихо мирно. вот поэтому и интересно чем это по физике обеспечивают.

Так и есть. То тихие и мирные мегабит 100, то нате вам 600M на два часа раз в две недели.

Сейчас начинаем перевозить линейку в другой ДЦ и сажать на более приличную коммутацию.

вы мои графики смотрели? если их посчитать то получается еще хуже.. два часа 600 а из них некоторое время по 1гбиту и больше. минут на 5-20 правда не один раз..

Изменено 3 марта, 2010 пользователем Dimitrius

[JohnKoffee]

рисовать не надо..... просто по моим скромным подсчетам сервера л2 что типа бомб... которые ведут себя тихо мирно выдавая трафика от 100 до 200 мбит... а потом берут и взрываются увеличивая исходящий трафик в 10 раз. на короткое время, а потом опять тихо мирно. вот поэтому и интересно чем это по физике обеспечивают.

Так и есть. То тихие и мирные мегабит 100, то нате вам 600M на два часа раз в две недели.

Сейчас начинаем перевозить линейку в другой ДЦ и сажать на более приличную коммутацию.

Хорошая новость, надеюсь будет легче всем.

[dvolodin]

dvolodin, а вот было бы интересно взглянуть :) посмотреть на то как люди строят. А слова не такие уж и страшные и непонятные.

Приезжайте в гости :)

 

Все выглядит достаточно просто:

* Нужна нормальная инфраструктура ДЦ, чтобы разместить нужное количество стоек, организовать нормальный СКС

и обеспечить требуемый уровень надежности. Желательно 10-15kW на стойку.

 

* В первую очередь нужна нормальная коммутационная ферма. Требуется wire rate на всех портах, достаточно большой CAM, под MAC-адреса и ACL,

желательна высокая плотность портов и низкое энергопотребление. В нашем случае - это Force10 ExaScale E600i.

 

Для начала набивка вроде такой:

sw-1-ti#sh linecard all

--  Line cards  --
Slot  Status        NxtBoot    ReqTyp   CurTyp   Version     Ports
---------------------------------------------------------------------------
  0   online        online     E90MH    E90MH    8.2.1.2g    90     
  1   online        online     EXW10SH  EXW10SH  8.2.1.2g    10     
  2   online        online     EXW10SH  EXW10SH  8.2.1.2g    10     
  3   online        online     EXW10SH  EXW10SH  8.2.1.2g    10     
  4   online        online     EXW10SH  EXW10SH  8.2.1.2g    10     
  5   not present                     
  6   online        online     E90MH    E90MH    8.2.1.2g    90

До кучи можно набить некоторым количеством Force10 C300

 

* Забиваем стойки серверами. Для серьезного игрового проекта для начала надо хотя бы сотню серверов,

нагруженная web-ферма - сама по себе - сотни серверов.

 

* Балансировка нагрузки для web-фермы - отдельная тема. Мы используем связку f5 GTM (BIG-IP 3600) и f5 LTM (VIPRION).

Решение позволяет масштабировать ферму по мере роста нагрузки и обеспечивает очень высокую доступность.

Кроме того, оно позволяет балансировать нагрузку по распределенным ДЦ и очень точно управлять распределением трафика.

 

* Выставлять игровые серверы на виндах голой попой наружу - крайне неосмотрительно, ибо жить им от силы один день.

По требованиям правообладателей все хозяйство должно быть надежно прикрыто firewall'ом. В нашем случае

это Juniper SRX5600. Игровой трафик состоит из мелких пакетов, это всегда надо держать в уме.

 

* Определяемся с политикой маршрутизации и с пиринговой политикой. Все зависит от задач и конкретно

от ваших клиентов. Ваши пожелания могут сильно расходиться с политикой ДЦ или с политикой оператора,

жаждущего эксклюзива. Проще и дешевле не садиться на иглу, а сделать своего карманного оператора.

В таком случае потребуется приличный бордер. Отличный выбор для этих задач - Juniper MX.

 

* Ну и само собой - мониторинг, OSSы, служба эксплуатации.

 

Дальше все развивается по мере роста бизнеса.

 

 

вы мои графики смотрели? если их посчитать то получается еще хуже.. два часа 600 а из них некоторое время по 1гбиту и больше. минут на 5-20 правда не один раз..

Да нет, там уже статистическое мультиплексирование работает. До такого обычно не доходит.

[VitMain]

dvolodin, спасибо.

[Dimitrius]

Да нет, там уже статистическое мультиплексирование работает. До такого обычно не доходит.

хм меня термин "статистическое мультиплексирование" поставил в тупик.... слово статистическое знаю, мультиплексирование знаю , а вот что эти слова означают, когда стоят вместе? в данном случае?

 

[dvolodin]

Да нет, там уже статистическое мультиплексирование работает. До такого обычно не доходит.

хм меня термин "статистическое мультиплексирование" поставил в тупик.... слово статистическое знаю, мультиплексирование знаю , а вот что эти слова означают, когда стоят вместе? в данном случае?

всплески для разных юзеров немного сдвинуты по времени, поэтому суммарный трафик не такой большой.

[JohnKoffee]

Да нет, там уже статистическое мультиплексирование работает. До такого обычно не доходит.

хм меня термин "статистическое мультиплексирование" поставил в тупик.... слово статистическое знаю, мультиплексирование знаю , а вот что эти слова означают, когда стоят вместе? в данном случае?

всплески для разных юзеров немного сдвинуты по времени, поэтому суммарный трафик не такой большой.

Что такое страшное движется в этих всплесках?

[Dimitrius]

Да нет, там уже статистическое мультиплексирование работает. До такого обычно не доходит.

хм меня термин "статистическое мультиплексирование" поставил в тупик.... слово статистическое знаю, мультиплексирование знаю , а вот что эти слова означают, когда стоят вместе? в данном случае?

всплески для разных юзеров немного сдвинуты по времени, поэтому суммарный трафик не такой большой.

в смысле? как это сдвинуты? у участвующих в пвп оно происходит в одно и тоже время.. поэтому для пвп с суммарным участием в 400 человек... вам получается надо с сервера выдать 1гбита+ трафика.

и в теории такой всплеск может произойти во время начала осады сразу на всех серверах.

 

Да нет, там уже статистическое мультиплексирование работает. До такого обычно не доходит.

хм меня термин "статистическое мультиплексирование" поставил в тупик.... слово статистическое знаю, мультиплексирование знаю , а вот что эти слова означают, когда стоят вместе? в данном случае?

всплески для разных юзеров немного сдвинуты по времени, поэтому суммарный трафик не такой большой.

Что такое страшное движется в этих всплесках?

я думаю размер этих всплесков.

[testgad]

рисовать не надо..... просто по моим скромным подсчетам сервера л2 что типа бомб... которые ведут себя тихо мирно выдавая трафика от 100 до 200 мбит... а потом берут и взрываются увеличивая исходящий трафик в 10 раз. на короткое время, а потом опять тихо мирно. вот поэтому и интересно чем это по физике обеспечивают.

Так и есть. То тихие и мирные мегабит 100, то нате вам 600M на два часа раз в две недели.

Сейчас начинаем перевозить линейку в другой ДЦ и сажать на более приличную коммутацию.

то есть во время осад тупо проседает канал дц? от этого все лаги выходит :)

кстати 600 это при каком онлайне?

 

[dvolodin]

в смысле? как это сдвинуты? у участвующих в пвп оно происходит в одно и тоже время.. поэтому для пвп с суммарным участием в 400 человек... вам получается надо с сервера выдать

Не совсем верно. Всплески не связаны с действиями игроков. 600M хватает и у нас и у корейцев.

 

[dvolodin]

то есть во время осад тупо проседает канал дц? от этого все лаги выходит :)

кстати 600 это при каком онлайне?

Не проседает, у нас свои каналы, своя оптика и хороший запас по полосе.

Если будет не хватать, расширим. А вот у любителей держать каналы на полке

и у сильно евроориентированных товарищей вполне могут возникать накладки.

 

600M бывает при онлайне >5k.

 

 

[Dimitrius]

в смысле? как это сдвинуты? у участвующих в пвп оно происходит в одно и тоже время.. поэтому для пвп с суммарным участием в 400 человек... вам получается надо с сервера выдать

Не совсем верно. Всплески не связаны с действиями игроков. 600M хватает и у нас и у корейцев.

а вот тут поподробнее.....тк

как это несвязанно? а в связи с чем тогда на пвп такие резкие всплески по входящему трафику? простой подсчет точек назначение, и информации о кол-ве трафика с одной из точек назначения трафика должны нам давать информацию о развиваемой мощности источника трафика.

[dvolodin]

как это несвязанно? а в связи с чем тогда на пвп такие резкие всплески по входящему трафику? простой подсчет точек назначение, и информации о кол-ве трафика с одной из точек назначения трафика должны нам давать информацию о развиваемой мощности источника трафика.

О максимальной теоретически возможной. Это примерно как скорость, на которой у самолета отваливаются крылья, а у автомобиля - колеса.

На практике никто так не летает и не ездит :)

[testgad]

то есть во время осад тупо проседает канал дц? от этого все лаги выходит :)

кстати 600 это при каком онлайне?

Не проседает, у нас свои каналы, своя оптика и хороший запас по полосе.

Если будет не хватать, расширим. А вот у любителей держать каналы на полке

и у сильно евроориентированных товарищей вполне могут возникать накладки.

 

600M бывает при онлайне >5k.

хм откуда у вас во время осады онлайн 5к? давно наблюдали? на прошлых осадах онлайн методом дисконекта лихо проселедал до 3к с последующей нормализацией на 4к

[JohnKoffee]

то есть во время осад тупо проседает канал дц? от этого все лаги выходит :)

кстати 600 это при каком онлайне?

Не проседает, у нас свои каналы, своя оптика и хороший запас по полосе.

Если будет не хватать, расширим. А вот у любителей держать каналы на полке

и у сильно евроориентированных товарищей вполне могут возникать накладки.

 

600M бывает при онлайне >5k.

Написал Вам в ПМ, но на другую тему. Там кстати видно, что не только еврооориентированные товарищи каналы на полке держат.

[Dimitrius]

как это несвязанно? а в связи с чем тогда на пвп такие резкие всплески по входящему трафику? простой подсчет точек назначение, и информации о кол-ве трафика с одной из точек назначения трафика должны нам давать информацию о развиваемой мощности источника трафика.

О максимальной теоретически возможной. Это примерно как скорость, на которой у самолета отваливаются крылья, а у автомобиля - колеса.

На практике никто так не летает и не ездит :)

нет именно о развиваемой текущей. или вы считаете что пвп более чем с 160 участниками на серверах инновы не проходят?

[Ikarus]

а вот интересно, спам-боты какую часть трафика генерят?

[JohnKoffee]

а вот интересно, спам-боты какую часть трафика генерят?

Возьми да посчитай. допустим 10 ботов. Минимальное сообщение "Продам даену 10руб/1кк icq 222-222-222"

~ допустим 64 байта х 10(ботов) х 5000(человек) = 3,2Мбайта. Если ботов 100, то 32М.. Если сообщение не 64, а 320 байт и ботов 100, то по каналу сервера идет всплеск 160М, но при условии, что боты флуданули одновременно и их все услышали. А слышат их далеко не 5к человек, от силы 1к(где нибудь в Гиране или Руне) и получается, что полученные цифры нужно делить, как минимум на 10. Итог больше 16М боты не сгенерят, и то в идеальных условиях, что флудят каждую секунду. м.б это и есть всплески, которые наблюдаются на фоне пакетов в 60-100 байт?

Изменено 4 марта, 2010 пользователем JohnKoffee

[Ikarus]

а вот интересно, спам-боты какую часть трафика генерят?

Возьми да посчитай. допустим 10 ботов. Минимальное сообщение "Продам даену 10руб/1кк icq 222-222-222"

~ допустим 64 байта х 10(ботов) х 5000(человек) = 3,2Мбайта. Если ботов 100, то 32М.. Если сообщение не 64, а 320 байт и ботов 100, то по каналу сервера идет всплеск 160М, но при условии, что боты флуданули одновременно и их все услышали. А слышат их далеко не 5к человек, от силы 1к(где нибудь в Гиране или Руне) и получается, что полученные цифры нужно делить, как минимум на 10. Итог больше 16М боты не сгенерят, и то в идеальных условиях, что флудят каждую секунду. м.б это и есть всплески, которые наблюдаются на фоне пакетов в 60-100 байт?

3 города * по 3 бота * 3 чата * 4 строки сообщения * [30 символов в строке * 2 байта на символ (могу ошибаться) ]* 300 клиентов, получающих спам * 10 серверов

 

учитывая всякие префиксы/суффиксы примем [30 символов в строке * 2 байта на символ (могу ошибаться) ] равным 100 байт

 

324000*[длина сообщения] = 324000*100 байт = 32`400`000 байт раз примерно в 5 секунд

 

32400000*8/5 = 50мбит/сек примерно. как-то так.

 

А кому-то ведь и не дойдет спам, дропнется пакет. И будет заново отправляться.

Изменено 4 марта, 2010 пользователем Ikarus

[JohnKoffee]

а вот интересно, спам-боты какую часть трафика генерят?

Возьми да посчитай. допустим 10 ботов. Минимальное сообщение "Продам даену 10руб/1кк icq 222-222-222"

~ допустим 64 байта х 10(ботов) х 5000(человек) = 3,2Мбайта. Если ботов 100, то 32М.. Если сообщение не 64, а 320 байт и ботов 100, то по каналу сервера идет всплеск 160М, но при условии, что боты флуданули одновременно и их все услышали. А слышат их далеко не 5к человек, от силы 1к(где нибудь в Гиране или Руне) и получается, что полученные цифры нужно делить, как минимум на 10. Итог больше 16М боты не сгенерят, и то в идеальных условиях, что флудят каждую секунду. м.б это и есть всплески, которые наблюдаются на фоне пакетов в 60-100 байт?

3 города * по 3 бота * 3 чата * 4 строки сообщения * [30 символов в строке * 2 байта на символ (могу ошибаться) ]* 300 клиентов, получающих спам * 10 серверов

 

учитывая всякие префиксы/суффиксы примем [30 символов в строке * 2 байта на символ (могу ошибаться) ] равным 100 байт

 

324000*[длина сообщения] = 324000*100 байт = 32`400`000 байт раз примерно в 5 секунд

 

32400000*8/5 = 50мбит/сек примерно. как-то так.

 

А кому-то ведь и не дойдет спам, дропнется пакет. И будет заново отправляться.

Пожалуй у тебя более правильный расчет.. 5мбит на сервер - ерунда.

Хотя как повернуть :) Можно пойти в "К" и сказать, что эти 5м очень сильно затрудняют доступ к ресурсу, и пусть они ищут этих спамеров, как организаторов ДДОСа :)

Изменено 4 марта, 2010 пользователем JohnKoffee

[bitbucket]

Хотя как повернуть :) Можно пойти в "К" и сказать, что эти 5м очень сильно затрудняют доступ к ресурсу, и пусть они ищут этих спамеров, как организаторов ДДОСа :)

"K" сейчас пиратские LA2 сервера изымает http://www.comnews.ru/index.cfm?id=51268

[Ikarus]

а вот еще интересно:

http://www.robtex.com/as/as48907.html#peer

Registered
Other side
BGP visible     Peer    Import    Export
R    AS3216 SOVAM-AS Golden Telecom, Moscow, Russia Sovintel formely Sovam Teleport formely Teleross    ANY
    AS48907
R    AS8402 CORBINA-AS Corbina Telecom Ryazanskiy prosp., 30/15, Moscow, Russia    AS8402
    AS48907
RO    AS16083 STACK-AS Stack Ltd AS    ANY
ANY
    AS48907
AS48907
ROB    AS49813 Innova     ANY
ANY
    ANY
ANY

 

типа пиринг с корбиной?