1. Для блокировка используем

[max1976]

Коллеги, поделитесь опытом, кто как блокирует отдельные ролики на youtube.com при помощи nfqfilter?

 

Вы весь трафик отправляете на nfqfilter? У youtube множество ip адресов.

[hsvt]

Коллеги, а почему nfqfilter может не блокировать ссылки на youtube.com вида:

 

www.youtube.com/watch?v=wOktiQwGA_0

www.youtube.com/watch?v=zGVnZShlZ1E

www.youtube.com/watch?v=jFMJxhOLgAo

www.youtube.com/watch?v=ylg86fCUOs4

www.youtube.com/watch?v=1zw7f0QQDK0

 

Сами ссылки находятся в файле urls. Правило в iptables добавлено.

 

http://forum.nag.ru/forum/index.php?showtopic=79886&view=findpost&p=1274928

[dnvk]

ссылки на youtube.com

firefox вообще сразу же в https "перескакивает" и всё показывает. ни extfilter, ни nfqfilter (через который проходит весь трафик с тестового компа) ему не страшны...

[pc045]

Коллеги, поделитесь опытом, кто как блокирует отдельные ролики на youtube.com при помощи nfqfilter?

на современных браузерах отрабатывает HSTS, поэтому там изначально нет обращения по http

проверяйте из IE6/curl

[fox_m]

Коллеги, поделитесь опытом, кто как блокирует отдельные ролики на youtube.com при помощи nfqfilter?

на современных браузерах отрабатывает HSTS, поэтому там изначально нет обращения по http

проверяйте из IE6/curl

 

Да, так и есть, сразу на https переходит.

[alibek]

firefox вообще сразу же в https "перескакивает"

Не FireFox, а любой браузер, который поддерживает HSTS и у которого в базе есть запрашиваемый домен.

Кроме FireFox это любые браузеры на движке Blink (хромы и прочие яндекс.браузеры), а также IE11 и Edge.

То есть большинство современных браузеров.

[dnvk]

alibek, тем временем старенький ie, врёмён xp, спотыкается об блокировку...

 

Но как тогда "бороться" с умниками и hsts?

[st_re]

Никак. Вы, как провайдер, запрос к заблокированному ресурсу не обрабатывали. В списке https (youtube) ресурсов нет.

[myth]

У запретсервиса заявлена "обработка youtube трафика". Судя по всему, там решение на базе squid. Как они это делают? Если это митм, то как на это реагируют браузеры?

И объясните еще такой вопрос про extfilter - первой сетевухой я собираю с зеркала трафик. Куда идут ответы? Как доставить их абоненту?

Изменено 2 февраля, 2017 пользователем myth

[myth]

Не собирается DPDK. Вываливает

In file included from /home/farton/dpdk-stable-16.07.2/lib/librte_eal/linuxapp/eal/eal_pci.c:42:0:
/home/farton/dpdk-stable-16.07.2/build/include/rte_memcpy.h:814:2: error: incompatible type for argument 2 of '_mm_storeu_si128'
 MOVEUNALIGNED_LEFT47(dst, src, n, srcofs);
 ^
In file included from /home/farton/dpdk-stable-16.07.2/build/include/rte_common.h:289:0,
                from /home/farton/dpdk-stable-16.07.2/build/include/rte_log.h:45,
                from /home/farton/dpdk-stable-16.07.2/lib/librte_eal/linuxapp/eal/eal_pci.c:37:
/usr/lib/gcc/x86_64-linux-gnu/4.8/include/emmintrin.h:700:1: note: expected '__m128i' but argument is of type 'int'
_mm_storeu_si128 (__m128i *__P, __m128i __B)
^
In file included from /home/farton/dpdk-stable-16.07.2/lib/librte_eal/linuxapp/eal/eal_pci.c:42:0:
/home/farton/dpdk-stable-16.07.2/build/include/rte_memcpy.h:814:2: error: incompatible type for argument 2 of '_mm_storeu_si128'
 MOVEUNALIGNED_LEFT47(dst, src, n, srcofs);
 ^
In file included from /home/farton/dpdk-stable-16.07.2/build/include/rte_common.h:289:0,
                from /home/farton/dpdk-stable-16.07.2/build/include/rte_log.h:45,
                from /home/farton/dpdk-stable-16.07.2/lib/librte_eal/linuxapp/eal/eal_pci.c:37:
/usr/lib/gcc/x86_64-linux-gnu/4.8/include/emmintrin.h:700:1: note: expected '__m128i' but argument is of type 'int'
_mm_storeu_si128 (__m128i *__P, __m128i __B)
^
In file included from /home/farton/dpdk-stable-16.07.2/lib/librte_eal/linuxapp/eal/eal_pci.c:42:0:
/home/farton/dpdk-stable-16.07.2/build/include/rte_memcpy.h:814:2: error: incompatible type for argument 2 of '_mm_storeu_si128'
 MOVEUNALIGNED_LEFT47(dst, src, n, srcofs);
 ^
In file included from /home/farton/dpdk-stable-16.07.2/build/include/rte_common.h:289:0,
                from /home/farton/dpdk-stable-16.07.2/build/include/rte_log.h:45,
                from /home/farton/dpdk-stable-16.07.2/lib/librte_eal/linuxapp/eal/eal_pci.c:37:
/usr/lib/gcc/x86_64-linux-gnu/4.8/include/emmintrin.h:700:1: note: expected '__m128i' but argument is of type 'int'
_mm_storeu_si128 (__m128i *__P, __m128i __B)

Что ему необходимо для сборки?

[Antares]

Не собирается DPDK. Вываливает

In file included from /home/farton/dpdk-stable-16.07.2/lib/librte_eal/linuxapp/eal/eal_pci.c:42:0:
/home/farton/dpdk-stable-16.07.2/build/include/rte_memcpy.h:814:2: error: incompatible type for argument 2 of '_mm_storeu_si128'
 MOVEUNALIGNED_LEFT47(dst, src, n, srcofs);
 ^
In file included from /home/farton/dpdk-stable-16.07.2/build/include/rte_common.h:289:0,
                from /home/farton/dpdk-stable-16.07.2/build/include/rte_log.h:45,
                from /home/farton/dpdk-stable-16.07.2/lib/librte_eal/linuxapp/eal/eal_pci.c:37:
/usr/lib/gcc/x86_64-linux-gnu/4.8/include/emmintrin.h:700:1: note: expected '__m128i' but argument is of type 'int'
_mm_storeu_si128 (__m128i *__P, __m128i __B)
^
In file included from /home/farton/dpdk-stable-16.07.2/lib/librte_eal/linuxapp/eal/eal_pci.c:42:0:
/home/farton/dpdk-stable-16.07.2/build/include/rte_memcpy.h:814:2: error: incompatible type for argument 2 of '_mm_storeu_si128'
 MOVEUNALIGNED_LEFT47(dst, src, n, srcofs);
 ^
In file included from /home/farton/dpdk-stable-16.07.2/build/include/rte_common.h:289:0,
                from /home/farton/dpdk-stable-16.07.2/build/include/rte_log.h:45,
                from /home/farton/dpdk-stable-16.07.2/lib/librte_eal/linuxapp/eal/eal_pci.c:37:
/usr/lib/gcc/x86_64-linux-gnu/4.8/include/emmintrin.h:700:1: note: expected '__m128i' but argument is of type 'int'
_mm_storeu_si128 (__m128i *__P, __m128i __B)
^
In file included from /home/farton/dpdk-stable-16.07.2/lib/librte_eal/linuxapp/eal/eal_pci.c:42:0:
/home/farton/dpdk-stable-16.07.2/build/include/rte_memcpy.h:814:2: error: incompatible type for argument 2 of '_mm_storeu_si128'
 MOVEUNALIGNED_LEFT47(dst, src, n, srcofs);
 ^
In file included from /home/farton/dpdk-stable-16.07.2/build/include/rte_common.h:289:0,
                from /home/farton/dpdk-stable-16.07.2/build/include/rte_log.h:45,
                from /home/farton/dpdk-stable-16.07.2/lib/librte_eal/linuxapp/eal/eal_pci.c:37:
/usr/lib/gcc/x86_64-linux-gnu/4.8/include/emmintrin.h:700:1: note: expected '__m128i' but argument is of type 'int'
_mm_storeu_si128 (__m128i *__P, __m128i __B)

Что ему необходимо для сборки?

ось и ядро какое?

[myth]

Ubuntu Server amd64. 4.4.0-31

Изменено 2 февраля, 2017 пользователем myth

[flow-control]

Что ему необходимо для сборки?

Centos 7

[myth]

А на дебиане что, dpdk принципиально не работает?

[flow-control]

Шансов собрать extfilter больше, т.к. max1976 использует centos.

Процессор какой у вас ?

[myth]

AMD A4-3300

[dnvk]

myth, на дебьяне вполне собираема вся система. вторую тестовую сборку недавно сделал.

[myth]

На что оно ругается то?

[dnvk]

myth, может 4-е ядро не нравится? дебьян - с третьим. там собирается

[myth]

Поставил gcc 4.9 стало лучше. Теперь

n file included from /home/farton/dpdk-stable-16.07.2/lib/librte_eal/common/eal_common_options.c:52:0:
/home/farton/dpdk-stable-16.07.2/build/include/rte_memcpy.h:633:13: error: called from here
            _mm_storeu_si128((__m128i *)((uint8_t *)dst + 0 * 16), _mm_alignr_epi8(xmm1, xmm0, offset));    \
            ^
/home/farton/dpdk-stable-16.07.2/build/include/rte_memcpy.h:674:16: note: in expansion of macro 'MOVEUNALIGNED_LEFT47_IMM'
    case 0x0F: MOVEUNALIGNED_LEFT47_IMM(dst, src, n, 0x0F); break;    \
               ^
/home/farton/dpdk-stable-16.07.2/build/include/rte_memcpy.h:814:2: note: in expansion of macro 'MOVEUNALIGNED_LEFT47'
 MOVEUNALIGNED_LEFT47(dst, src, n, srcofs);
 ^
In file included from /usr/lib/gcc/x86_64-linux-gnu/4.9/include/x86intrin.h:37:0,
                from /home/farton/dpdk-stable-16.07.2/build/include/rte_vect.h:67,
                from /home/farton/dpdk-stable-16.07.2/build/include/rte_memcpy.h:46,
                from /home/farton/dpdk-stable-16.07.2/lib/librte_eal/common/eal_common_options.c:52:
/usr/lib/gcc/x86_64-linux-gnu/4.9/include/tmmintrin.h:185:1: error: inlining failed in call to always_inline '_mm_alignr_epi8': target specific option mismatch
_mm_alignr_epi8(__m128i __X, __m128i __Y, const int __N)
^
In file included from /home/farton/dpdk-stable-16.07.2/lib/librte_eal/common/eal_common_options.c:52:0:
/home/farton/dpdk-stable-16.07.2/build/include/rte_memcpy.h:634:13: error: called from here
            _mm_storeu_si128((__m128i *)((uint8_t *)dst + 1 * 16), _mm_alignr_epi8(xmm2, xmm1, offset));    \
            ^
/home/farton/dpdk-stable-16.07.2/build/include/rte_memcpy.h:674:16: note: in expansion of macro 'MOVEUNALIGNED_LEFT47_IMM'
    case 0x0F: MOVEUNALIGNED_LEFT47_IMM(dst, src, n, 0x0F); break;    \
               ^
/home/farton/dpdk-stable-16.07.2/build/include/rte_memcpy.h:814:2: note: in expansion of macro 'MOVEUNALIGNED_LEFT47'
 MOVEUNALIGNED_LEFT47(dst, src, n, srcofs);
 ^
make[5]: *** [eal_common_options.o] Error 1
make[4]: *** [eal] Error 2
make[3]: *** [linuxapp] Error 2
make[2]: *** [librte_eal] Error 2
make[1]: *** [lib] Error 2
make: *** [all] Error 2

 

CC eal_common_options.o

[fox_m]

Никак. Вы, как провайдер, запрос к заблокированному ресурсу не обрабатывали. В списке https (youtube) ресурсов нет.

 

А вот когда youtube.com будет в реестре как https, тогда начнутся проблемы )

[myth]

Потом что, сертификаты подменять?

[st_re]

Никак. Вы, как провайдер, запрос к заблокированному ресурсу не обрабатывали. В списке https (youtube) ресурсов нет.

 

А вот когда youtube.com будет в реестре как https, тогда начнутся проблемы )

 

да неважно. они начнутся у всех. а там или в ту или в другую сторону. Смотря по высоте волны. Митмть ютуб не выйдет, доля гуглхрома слишком велика, а он митменный трафик на свои ресурсы не приемлет. Это не техническая проблема, а политическая. она только политическими средствами решается :)

[RadioSintetica]

Добрый день! max1976 - еще раз спасибо за прекрасный extFilter. Остался один вопрос - при отправке HUP - происходят пропуски. Прочитал уже что можно еще один инстанс поднять. но чтот не понял как. Это поднятие еще одного процесса на соседней сетевой карте?

 

Так и происходят до сих пор ? У кого какое время запуска скриптов (extfilter_maker.pl, extfilter_quagga.pl) в кроне стоит ?

 

При HUP не должно быть пропусков, т.к. списки проверки подменяются очень быстро.

 

Тестилки думают иначе. У меня был хуп раз в 40 минут. и каждые 40 минут по время проверок по 10 - 15 ресурсов пролетало. Поставил 2 сервера с разным временем релоада. Стало лучше.

 

и еще: кто знает за что отвечают параметры mbuf_pool_size и ring_size? Заметил - что чем они больше - тем меньше пропусков.

[myth]

Объясните кто-нибудь механизм доставки ответов клиенту. Нигде не могу найти