1. Для блокировка используем

[max1976]

8 часов назад, Cramac сказал:

еще есть вот такой урл в базе, а что то не срабатывает на него

Вы используете старую версию extfilter_maker.pl. Установите актуальную версию. 

 

8 часов назад, Cramac сказал:

вопрос. в базе есть урл по https, в браузере ничего не открывается. но ревизор выдал в отчете с 200 ответом. Как быть?

Если ревизор находится за Nat, то пропуски периодически будут появляться. В таком случае необходимо включать фильтр в разрыв, в режиме моста. 

[Cramac]

@max1976 спасибо, мейкер вообще не из extfilter использовал :)

[Cramac]

использовал скрипт от nfqfilter, сегодня запустил из extfilter, в итоге у меня стали все по http блокироваться.

удалил файлы, пересоздал мейкером из extfilter смотрю снова.

[dee]

интересно , а кто лично проверял как работает блокировка .

вот есть урл (любой) 

Скрытый текст

www.emarijuanaclones.com/buy-marijuana-clones-for-sale.htm

 

пробуем его в браузере открыть и благополучно видим заглушку .

ок теперь открываем первоисточник 

Скрытый текст

www.emarijuanaclones.com

как не странно всё нормально открывается 

пс (всё пробую в хромиуме в пределах одной вкладки) .

ок теперь ещё раз открываем 

Скрытый текст

www.emarijuanaclones.com/buy-marijuana-clones-for-sale.htm

ууупс - всё открывается .

 

помниццо уже была такая байда и её даже исправляли , после того времени воды утекло уйма (пс версия фильтра - extFilter version 0.99a ) скрипты тоже новые , хоть они к этому и не имеют отношения. Опять получается система онли для ревизора т.к блуждая по сайту - напоровшись на блочную ссылку она откроется и получается какой толк во всём этом ... 

или я что не так делаю ? (я не стал сразу поднимать эту тему я проверил с десяток таких урлов и всё как под копирку)

[Cramac]

@dee и впрямь такое есть

 

причем если третий раз открыть урл, то опять заглушка

[dee]

1 минуту назад, Cramac сказал:

@dee и впрямь такое есть

 

причем если третий раз открыть урл, то опять заглушка

у меня заглушка больше не выходит , только если сильно пройдёт время и то не уверен

[Cramac]

1 минуту назад, dee сказал:

у меня заглушка больше не выходит , только если сильно пройдёт время и то не уверен

я правда не знаю какая у меня версия. качал с гита на той неделе.

1 по урл блок

2 по домену норм

3 по урл пропуск (вышестоящий выдал заглушку)

4 по урл блок

вот по такой схеме сейчас проверил.

[dee]

хз я всё обновил по вчерашнему изменению , вроде не смог больше найти урлы которые повторно откроются (но реально они были , я рандомно их искал в списке) , но урл выше всё же не хочет блокироваться (мож закешировался как то) хз

[epollia]

Я обычно проверяю из режима инкогнито, там отсутсвует кеш и все такое.

[Davion]

в режиме моста работает шикарно)

[Cramac]

4 минуты назад, Davion сказал:

в режиме моста работает шикарно)

А если сервак умрет? Все?

[Davion]

4 минуты назад, Cramac сказал:

А если сервак умрет? Все?

для всех в зеркало, для злобных буратин дополнительно в бридж)))

[epollia]

2 часа назад, Davion сказал:

для всех в зеркало, для злобных буратин дополнительно в бридж)))

Поидеи есть спец сетевые карты с байпасом. 

[max1976]

2 часа назад, Cramac сказал:

А если сервак умрет? Все?

Поставьте 2 сервака. 2 сразу не умрут. 

 

7 часов назад, dee сказал:

интересно , а кто лично проверял как работает блокировка .

вот есть урл (любой) 

  Показать содержимое

www.emarijuanaclones.com/buy-marijuana-clones-for-sale.htm

 

пробуем его в браузере открыть и благополучно видим заглушку .

ок теперь открываем первоисточник 

  Показать содержимое

www.emarijuanaclones.com

как не странно всё нормально открывается 

пс (всё пробую в хромиуме в пределах одной вкладки) .

ок теперь ещё раз открываем 

  Показать содержимое

www.emarijuanaclones.com/buy-marijuana-clones-for-sale.htm

ууупс - всё открывается .

 

помниццо уже была такая байда и её даже исправляли , после того времени воды утекло уйма (пс версия фильтра - extFilter version 0.99a ) скрипты тоже новые , хоть они к этому и не имеют отношения. Опять получается система онли для ревизора т.к блуждая по сайту - напоровшись на блочную ссылку она откроется и получается какой толк во всём этом ... 

или я что не так делаю ? (я не стал сразу поднимать эту тему я проверил с десяток таких урлов и всё как под копирку)

Без дампа трафика сложно понять что происходит. Вчера я опубликовал изменения, которые исправляют похожее поведение, которое возможно при определённых обстоятельствах. 

[Cramac]

9 минут назад, max1976 сказал:

Поставьте 2 сервака. 2 сразу не умрут. 

 

Без дампа трафика сложно понять что происходит. Вчера я опубликовал изменения, которые исправляют похожее поведение, которое возможно при определённых обстоятельствах. 

Могу сделать дамп своего. У меня его не много :) ну или доступ организовать

[max1976]

1 час назад, Cramac сказал:

Могу сделать дамп своего. У меня его не много :) ну или доступ организовать

Сначала обновите фильтр, затем попробуйте выполнить те же действия. 

[Cramac]

29 минут назад, max1976 сказал:

Сначала обновите фильтр, затем попробуйте выполнить те же действия. 

обновил, по этой ссылке теперь срабатывает всегда.

[max1976]

1 час назад, Cramac сказал:

обновил, по этой ссылке теперь срабатывает всегда.

Можете попробовать на любых ссылках из реестра, будет блокироваться всегда.

[Morphus]

Скачал снова фильтр. На команде make ошибка:

[root@localhost extfilter]# make
Making all in src
make[1]: Вход в каталог `/root/extfilter/src'
g++ -DHAVE_CONFIG_H -I. -I../include  -I/root/dpdk-stable-17.05.2///root/dpdk-stable-17.05.2/x86_64-native-linuxapp-gcc//include -I.././peafowl/src -I.././marisa/include -march=native -mtune=native  -std=c++11 -O3 -Wall -fno-stack-protector -pthread -march=native -mtune=native -mpopcnt -msse4 -MT main.o -MD -MP -MF .deps/main.Tpo -c -o main.o main.cpp
main.cpp:10:24: фатальная ошибка: rte_config.h: Нет такого файла или каталога
 #include <rte_config.h>
                        ^
компиляция прервана.
make[1]: *** [main.o] Ошибка 1
make[1]: Выход из каталога `/root/extfilter/src'
make: *** [all-recursive] Ошибка 1

Мой косяк, исправил.

На всякий случай: не забывайте про установку переменных окружения:

export RTE_SDK=$HOME/DPDK 
export RTE_TARGET=x86_64-native-linuxapp-gcc

 

Изменено 25 октября, 2018 пользователем Morphus
дополнение

[max1976]

2 часа назад, Morphus сказал:

Мой косяк, исправил.

На всякий случай: не забывайте про установку переменных окружения:

У вас некорректно заданы параметры dpdk: 

/root/dpdk-stable-17.05.2///root/dpdk-stable-17.05.2/x86_64-native-linuxapp-gcc//include

[Morphus]

Пробую сделать запуск по systemd. igb_uio_module.service и dpdk-devbind.service отрабатывают, нужные сетевые в dpdk видно.

А сам фильтр не запускается. extfilter.service такой

Скрытый текст

Unit]
Description=extFilter is a daemon for filtering traffic using DPDK
Requires=network.target
After=igb_uio_module.service dpdk-devbind.service

[Service]
Type=forking
ExecStart=/usr/local/bin/extFilter --daemon --pidfile=/var/run/extFilter.pid --config-file /root/extfilter/extfilter.ini
PIDFile=/var/run/extFilter.pid
ExecReload=/bin/kill -HUP $MAINPID
Nice=-5

[Install]
WantedBy=multi-user.target
 

[root@localhost ~]# journalctl -u extfilter.service -b

Скрытый текст

-- Logs begin at Чт 2018-10-25 19:44:16 +08, end at Чт 2018-10-25 11:50:12 +08. --
окт 25 11:44:19 localhost.localdomain systemd[1]: Starting extFilter is a daemon for filtering traffic using DPDK...
окт 25 11:44:19 localhost.localdomain systemd[1]: PID file /var/run/extFilter.pid not readable (yet?) after start.
окт 25 11:44:19 localhost.localdomain systemd[1]: Started extFilter is a daemon for filtering traffic using DPDK.
окт 25 11:44:19 localhost.localdomain extFilter[769]: EAL: Probing VFIO support...
окт 25 11:44:23 localhost.localdomain extFilter[769]: EAL: PCI device 0000:05:00.0 on NUMA socket -1
окт 25 11:44:23 localhost.localdomain extFilter[769]: EAL:   probe driver: 8086:10fb net_ixgbe
окт 25 11:44:23 localhost.localdomain extFilter[769]: EAL: PCI device 0000:05:00.1 on NUMA socket -1
окт 25 11:44:23 localhost.localdomain extFilter[769]: EAL:   probe driver: 8086:10fb net_ixgbe
окт 25 11:44:23 localhost.localdomain extFilter[769]: EAL: PCI device 0000:06:00.0 on NUMA socket -1
окт 25 11:44:23 localhost.localdomain extFilter[769]: EAL:   probe driver: 8086:10c9 net_e1000_igb
окт 25 11:44:23 localhost.localdomain extFilter[769]: EAL: PCI device 0000:06:00.1 on NUMA socket -1
окт 25 11:44:23 localhost.localdomain extFilter[769]: EAL:   probe driver: 8086:10c9 net_e1000_igb
окт 25 11:44:23 localhost.localdomain systemd[1]: extfilter.service: main process exited, code=exited, status=70/n/a
окт 25 11:44:23 localhost.localdomain systemd[1]: Unit extfilter.service entered failed state.
окт 25 11:44:23 localhost.localdomain systemd[1]: extfilter.service failed.

Если заглянуть в nano /var/log/extFilter.log
 

Скрытый текст

2018-10-25 11:44:19.775 [769] Debug Application - DPDK command line: extFilter
2018-10-25 11:44:19.776 [769] Debug Application - DPDK command line: -n
2018-10-25 11:44:19.776 [769] Debug Application - DPDK command line: 3
2018-10-25 11:44:19.776 [769] Debug Application - DPDK command line: -c
2018-10-25 11:44:19.776 [769] Debug Application - DPDK command line: 0x1f
2018-10-25 11:44:19.776 [769] Debug Application - DPDK command line: --master-lcore
2018-10-25 11:44:19.776 [769] Debug Application - DPDK command line: 0
2018-10-25 11:44:23.617 [769] Fatal Application - No ethernet ports detected
 

Если из загруженной системы сделать

systemcelt start extfilter.service

то запускается нормально. 

В чём может быть проблема ?

[Cramac]

@Morphus не переводит сетевую в dpdk?

[epollia]

У тебя эти сервисы должны стартовать в нужном порядке и вообще должны стартавать.

Пробуй по порядку каждый сервис стартовать и смотри кто да как.

 

Из лога ясно видно, что не биндятся сетевые, значит первые два сервиса не работают.

После запуска  igb_uio_module.service и dpdk-devbind.service  должно быть видно, что сетевые интерфейсы забиндены за dpdk. Копай в эту сторону.

и вопрос: модуль в modprod прописал?

[Morphus]

@Cramac сетевые в dpdk переходят. В самой системе после загрузки всё как надо:

[root@localhost extfilter]# dpdk-devbind -s

Network devices using DPDK-compatible driver
============================================
0000:05:00.1 '82599ES 10-Gigabit SFI/SFP+ Network Connection 10fb' drv=igb_uio unused=
0000:06:00.1 '82576 Gigabit Network Connection 10c9' drv=igb_uio unused=

Порядок загрузки правильный в systemd. Хотя в логах да, есть

2018-10-25 11:44:23.617 [769] Fatal Application - No ethernet ports detected

Не знаю почему так.

[epollia]

Цитата

Unit] 

вот тут ошибся или не все скопировал?

 

Изменено 25 октября, 2018 пользователем epollia