Opensouece DPI

[ne-vlezay80]

И так,знает ли кто нибодь нормальные решения под opensource.

 

http://devel.aanet.ru/ndpi/ - куррируется vel'ом на LOR

http://pastebin.com/CYeZGcUZ - патч на ядро

http://pastebin.com/DKsGmMXg - iptables

это улучшенный -m string

[shafiev]

И так,знает ли кто нибодь нормальные решения под opensource.

 

http://devel.aanet.ru/ndpi/ - куррируется vel'ом на LOR

http://pastebin.com/CYeZGcUZ - патч на ядро

http://pastebin.com/DKsGmMXg - iptables

это улучшенный -m string

 

тоже подключаюсь к тебе, нужность этой вещи растет .

[SyJet]

Ну так скат как я понял с них и начинал

[Ivan_83]

Студенты Луиджи подтянутся и лет через 5 будет на netmap каконить DPI.

Может быть.

Тема с одной стороны сложная, с другой оно мало кому нужно.

Те вилка: "сложно" vs "for fun"/"сильно надо" - не сходится, потому и нет и мало шансов что будет.

 

Даже при всей моей любви к нетграфу я бы на нетмапе демал как сделать.

Хотя там код для работы с принял/передал вообще самое лёгкое, сложность в построении гибкого фреймворка для разбора пакетов по очень гибким правилам.

[pavel.odintsov]

Вопрос лишь в том, что задача мерзковатенькая, чтобы ей заниматься :) Netmap'у нужен драчевый напильник, если не душит жаба на лицензию - PF_RING проще и предсказуемее себя ведет в разы.

 

По теме netmap, если есть желание, я его-таки собрал и сделал актуальный симбиоз с дровами ixgbe с сорсфоржа: http://www.stableit.ru/2014/10/netmap-debian-7-wheezy-intel-82599.html

Edited March 2, 2015 by pavel.odintsov

[shafiev]

Вопрос лишь в том, что задача мерзковатенькая, чтобы ей заниматься :) Netmap'у нужен драчевый напильник, если не душит жаба на лицензию - PF_RING проще и предсказуемее себя ведет в разы.

 

По теме netmap, если есть желание, я его-таки собрал и сделал актуальный симбиоз с дровами ixgbe с сорсфоржа: http://www.stableit....ntel-82599.html

 

Согласен, но если ты пров, а цена за инет падает, то надо что-то делать, чтобы уменьшить качальщиков и скэномить на канале

[Ivan_83]

Вопрос лишь в том, что задача мерзковатенькая, чтобы ей заниматься :)

Задача то обычная, и DPI нужен/полезен не только провайдерам, но и корпоратам.

Когда речь чисто о блокировках по цензуре - да, но это частный случай применения инструмента.

Говорю же, проблема в том что вилка мотивация-сложность не сходится для данной задачи.

Те у кого оно сошлось - понимают что это слишком круто чтобы быть бесплатным и жить так дальше, потому что DPI везде применяют для зарабатывания или как сопутствующий этому инструмент, дома его не применяют :)

 

Netmap'у нужен драчевый напильник, если не душит жаба на лицензию - PF_RING проще и предсказуемее себя ведет в разы. По теме netmap, если есть желание, я его-таки собрал и сделал актуальный симбиоз с дровами ixgbe с сорсфоржа: http://www.stableit....ntel-82599.html

Во фре он тоже есть.

В случае с нетмапом вообще разницы нет между фря/линух, проще брать то где уже есть нужные дрова.

[pavel.odintsov]

Ivan_83, я бы пошел вашим путем по аналогии с идеей про срез торрентов. Сделать малофункциональный DPI, который покрыл бы 90% трафика особо жручего до полосы.

[pavel.odintsov]

Кстати, вот крутая тема: http://cachevideos.com/

[shafiev]

Кстати, вот крутая тема: http://cachevideos.com/

 

Это все можно сделать VideoCache is a Squid URL rewriter plugin . Однако все равно хочеться продетектить что там льется у юзверов

[pavel.odintsov]

А вот это разве не айс? http://www.ntop.org/products/ndpi/ Это от поцанов из PF_RING, они умеют лопатить десятки гигабит.

[shafiev]

А вот это разве не айс? http://www.ntop.org/products/ndpi/ Это от поцанов из PF_RING, они умеют лопатить десятки гигабит.

 

Ну тогда наверное ndpi )

[Ivan_83]

Ivan_83, я бы пошел вашим путем по аналогии с идеей про срез торрентов. Сделать малофункциональный DPI, который покрыл бы 90% трафика особо жручего до полосы.

Формально там не срез, а управление, те можно просто промаркировать или просто мониторить.

Вот, почитайте: http://habrahabr.ru/post/247743/

 

Вы наверное не представляете куда лезете :)

Когда тема с блокировками по спискам ещё только начиналась - я написал в топике как должен работать DPI чтобы совсем ничего не пропускать мимо.

uTP - это просто сказка и подарок, работать с ним на несколько порядков проще, чем с tcp+http: не нужно собирать пакеты, всё нужное всегда в одном пакете, не нужно лазать внутрь слишком глубоко, достаточно просто удостоверится что это uTP. На фрагментированные IP пакеты можно забить.

Короче, с http получается практически так же сложно как написать ядерный http прокси.

Тогда же я писал что https эту идею закопает.

И вот уже http2 готов чтобы закапывать, и ютуп на https шпарит, и много кто ещё.

 

С другой стороны, если не нужно ничего кроме как детектить какой у юзера протокол и может считать сколько прошло через каждое соединение/протокол, то сложность получается не сильно выше чем с uTP.

[nuclearcat]

Что еще веселее, у всех ведроид клиентов нет поддержки SNI.

И более того, юбтуб сервера вполне могут обслуживать другие виды траффика (т.е. по сертификату сервера тоже возможно бесполезно смотреть).

[pavel.odintsov]

Ivan_83, я читал статей, он очень и очень полезный! Как раз по её мотивам и предложил вычислять торрентовый трафик и работать с его деприоритизацией.

 

А вот https это огромный шаг вперед :) И гвоздь многим провайдерам в гроб, к сожалению. Обоюдноострое лезвие.

 

Кроме http/2 есть еще и SPDY, который тоже ой как не прост и зашифрован по самые-самые. Хоть и HTTP/2 умеет работать без шифрования, многие браузеры уже заявили, что этот режим тупо не будут поддерживать. А недавно на https полностью перешел mail.ru (а это немало трафика), yandex и прочие - скоро подтянутся. Google - как упоминали ранее - как всегда впереди планеты всей.

 

В DPI я лезть не хочу, в данном треде я теоретик-теоретик =) Я тут пытаюсь собрать TCP сессию руками, то еще развлечение. До http такими темпами я дойду через сотню лет :)

[Ivan_83]

А вот https это огромный шаг вперед :) И гвоздь многим провайдерам в гроб, к сожалению. Обоюдноострое лезвие.

Это нормально.

Когда провайдерам доверяли, они могли делать с трафом что угодно.

Они резали совсем зло и кешировали хттп.

Когда провайдеры начали смотреть что там внутри и резать то что нужно - получили по рукам, технологическим методом.

То что провайдерам стало хуже - их собственная заслуга.

 

Кроме http/2 есть еще и SPDY, который тоже ой как не прост и зашифрован по самые-самые.

Это почти одно и тоже.

Но SPDY уже похоронили, с месяц или больше как.

 

В DPI я лезть не хочу, в данном треде я теоретик-теоретик =) Я тут пытаюсь собрать TCP сессию руками, то еще развлечение.

А IP фрагментированные уже собрали?

Решили что делать с перекрывающимися сегментами?)

[rm_]

Что еще веселее, у всех ведроид клиентов нет поддержки SNI.

Это не так, возможно в Android 2.3 и раньше не было, но у всех современных есть.

[nuclearcat]

Это не так, возможно в Android 2.3 и раньше не было, но у всех современных есть.

Формально есть, только большинство софта(по обьему) его не использует, скорее всего из-за backward compatibility.

 

https://developer.android.com/training/articles/security-ssl.html

Fortunately, HttpsURLConnection supports SNI since Android 2.3. Unfortunately, Apache HTTP Client does not, which is one of the many reasons we discourage its use. One workaround if you need to support Android 2.2 (and older) or Apache HTTP Client is to set up an alternative virtual host on a unique port so that it's unambiguous which server certificate to return.

И судя по всему его используют приложения facebook, youtube, и еще некоторые, которые например у меня составляют львиную долю траффика.