Jump to content
Калькуляторы
Блокировка веб ресурса  

531 members have voted

  1. 1. Для блокировка используем



Блокировка сайтов провайдерами маневры с DNS

Да почему этот сайт у меня не блокируется никак :( Думал замена сервера поможет. Что такого сделать... ? 

Скрытый текст

ERROR: https://ru.big-torrent.com/films/81544/ CERT_HAS_EXPIRED certificate has expired
ERROR: https://ru.big-torrent.com/films/82937/ CERT_HAS_EXPIRED certificate has expired
MISSED: https://rus.big-torrent.com/films/25798/ 200 OK
MISSED: https://rus.big-torrent.com/serials/236769/ 200 OK
MISSED: https://rus.big-torrent.com/serials/357087/ 200 OK
MISSED: https://rus.big-torrent.com/serials/22522/ 200 OK
MISSED: https://rus.big-torrent.com/serials/233707/ 200 OK
MISSED: https://rus.big-torrent.com/serials/234378/ 200 OK
MISSED: https://rus.big-torrent.com/serials/234468/ 200 OK
MISSED: https://rus.big-torrent.com/serials/246703/ 200 OK
MISSED: https://rus.big-torrent.com/serials/246784/ 200 OK
MISSED: https://rus.big-torrent.com/serials/246787/ 200 OK
MISSED: https://rus.big-torrent.com/serials/247417/ 200 OK
MISSED: https://rus.big-torrent.com/serials/247420/ 200 OK
MISSED: https://rus.big-torrent.com/serials/246472/ 200 OK
MISSED: https://rus.big-torrent.com/serials/247738/ 200 OK
MISSED: https://rus.big-torrent.com/serials/248470/ 200 OK
MISSED: https://rus.big-torrent.com/serials/249193/ 200 OK
MISSED: https://rus.big-torrent.com/serials/249478/ 200 OK
MISSED: https://rus.big-torrent.com/serials/248008/ 200 OK
MISSED: https://rus.big-torrent.com/serials/249199/ 200 OK
MISSED: https://rus.big-torrent.com/serials/245691/ 200 OK
MISSED: https://rus.big-torrent.com/serials/247111/ 200 OK
MISSED: https://rus.big-torrent.com/serials/246232/ 200 OK
MISSED: https://rus.big-torrent.com/serials/245502/ 200 OK
MISSED: https://rus.big-torrent.com/serials/246511/ 200 OK

MISSED: https://rus.big-torrent.com/films/319664/ 200 OK

 

Share this post


Link to post
Share on other sites

 у меня блочится, смотрите дамп внимательно. проверьте попадает ли исходящий трафик на сервер. Там вроде Максим сделал проверку попадания ресурса через консоль, проверьте отработает ли фильтр.

 

У меня была такая беда с одним из ресурсов, оказалось трафик через пиринг идет и на фильтр не попадает, пришлось шаманить.

Share this post


Link to post
Share on other sites

Не знаю как это работает, но если ставлю

fragmentation_ipv4_state = true
fragmentation_ipv4_table_size = 512

то летят пропуски.. не всё подряд, но есть. 3% заработал. Убрал фрагментацию - стал блокировать.
1) Или это и могло быть то самое "переполнение" ? А после перезапуска просто очистился и нормально заработал ?

 

2) Если добавить ип сайта в файл своих блокировок, это должно помочь ?

https://rus.big-torrent.com/
serials/248008/, 91.237.164.29,
GET

 

Edited by Morphus

Share this post


Link to post
Share on other sites
9 минут назад, Morphus сказал:

Не знаю как это работает, но если ставлю


fragmentation_ipv4_state = true
fragmentation_ipv4_table_size = 512

то летят пропуски.. не всё подряд, но есть. 3% заработал. Убрал фрагментацию - стал блокировать.
Или это и могло быть то самое "переполнение" ? А после перезапуска просто очистился и нормально заработал ?

 

3% по отчету ревизора? или по статистики самого фильтра?

 

17 минут назад, Morphus сказал:

Не знаю как это работает, но если ставлю


fragmentation_ipv4_state = true
fragmentation_ipv4_table_size = 512

то летят пропуски.. не всё подряд, но есть. 3% заработал. Убрал фрагментацию - стал блокировать.
1) Или это и могло быть то самое "переполнение" ? А после перезапуска просто очистился и нормально заработал ?

 

2) Если добавить ип сайта в файл своих блокировок, это должно помочь ?


https://rus.big-torrent.com/
serials/248008/, 91.237.164.29,
GET

 

 

3% по отчетам ревизора, или по статистики фильтра?

Есть ли какие-нибдуь сообщения в логах фильтра?

Занятость памяти на фильтре?

Пропуски постоянно или в какой-то определенный момент? (в отчете должно быть хорошо видно)

 

Добавление должно помочь, только блокирвоание по ip идет через маршрутизацию, а не на самом фильтре.

Share this post


Link to post
Share on other sites
9 минут назад, epollia сказал:

3% по отчету ревизора? или по статистики самого фильтра?

По отчёту. Написал им, сказали пропуски продожаются. Прислали результаты ежечасовой задачи. По этим пунктам сверялся. И из отчёта. Всё блокироваться стало из того до чего рука дотянулась проверить

Статистика фильтар такая:

Скрытый текст

2019-05-14 10:49:31.493 [26862] Information Application - Port 0 input packets 649416402, input errors: 0, mbuf errors: 0, missed packets: 0
2019-05-14 10:49:31.493 [26862] Information Application - Port 1 input packets 29, input errors: 0, mbuf errors: 0, missed packets: 0
2019-05-14 10:49:31.493 [26862] Information Application - Worker thread on core 1 statistics:
2019-05-14 10:49:31.493 [26862] Information Application - Thread seen packets: 208642445, IP packets: 208631563 (IPv4 packets: 208631563, IPv6 packets: 0), seen bytes: 27158430119, Average packet size: 130 bytes, Traffic throughput: 143.8$
2019-05-14 10:49:31.493 [26862] Information Application - Thread IPv4 fragments: 1151, IPv6 fragments: 0, IPv4 short packets: 0
2019-05-14 10:49:31.493 [26862] Information Application - Thread matched by ip/port: 10, ssl SNI: 18217, ssl/ip: 0, http IPv4: 2672, http IPv6: 0
2019-05-14 10:49:31.493 [26862] Information Application - Thread redirected blocked http IPv4: 2672, redirected http IPv6: 0, sended forbidden IPv4: 0, sended forbidden IPv6: 0, rst sended IPv4: 39270, rst sended IPv6: 0
2019-05-14 10:49:31.493 [26862] Information Application - Thread packets latency all packets: 719 cycles (205 ns), unblocked packets: 718 cycles (205 ns), blocked packets: 6499 (1855 ns)
2019-05-14 10:49:31.493 [26862] Information Application - Worker thread on core 2 statistics:
2019-05-14 10:49:31.493 [26862] Information Application - Thread seen packets: 224495035, IP packets: 224495035 (IPv4 packets: 224495035, IPv6 packets: 0), seen bytes: 49977703346, Average packet size: 222 bytes, Traffic throughput: 157.3$
2019-05-14 10:49:31.493 [26862] Information Application - Thread IPv4 fragments: 11064, IPv6 fragments: 0, IPv4 short packets: 0
2019-05-14 10:49:31.493 [26862] Information Application - Thread matched by ip/port: 18, ssl SNI: 13991, ssl/ip: 0, http IPv4: 1789, http IPv6: 0
2019-05-14 10:49:31.493 [26862] Information Application - Thread redirected blocked http IPv4: 1789, redirected http IPv6: 0, sended forbidden IPv4: 0, sended forbidden IPv6: 0, rst sended IPv4: 29873, rst sended IPv6: 0
2019-05-14 10:49:31.493 [26862] Information Application - Thread packets latency all packets: 726 cycles (207 ns), unblocked packets: 726 cycles (207 ns), blocked packets: 6180 (1764 ns)
2019-05-14 10:49:31.493 [26862] Information Application - Worker thread on core 3 statistics:
2019-05-14 10:49:31.493 [26862] Information Application - Thread seen packets: 216280829, IP packets: 216280829 (IPv4 packets: 216280829, IPv6 packets: 0), seen bytes: 40529443898, Average packet size: 187 bytes, Traffic throughput: 153.7$
2019-05-14 10:49:31.493 [26862] Information Application - Thread IPv4 fragments: 63218, IPv6 fragments: 0, IPv4 short packets: 0
2019-05-14 10:49:31.493 [26862] Information Application - Thread matched by ip/port: 20, ssl SNI: 5904, ssl/ip: 0, http IPv4: 2351, http IPv6: 0
2019-05-14 10:49:31.493 [26862] Information Application - Thread redirected blocked http IPv4: 2351, redirected http IPv6: 0, sended forbidden IPv4: 0, sended forbidden IPv6: 0, rst sended IPv4: 14173, rst sended IPv6: 0
2019-05-14 10:49:31.493 [26862] Information Application - Thread packets latency all packets: 730 cycles (208 ns), unblocked packets: 730 cycles (208 ns), blocked packets: 8254 (2356 ns)
2019-05-14 10:49:31.493 [26862] Information Application - All worker threads seen packets: 649418309, IP packets: 649407427 (IPv4 packets: 649407427, IPv6 packets: 0), seen bytes: 117665577363, traffic throughtput: 454.96 K pps
2019-05-14 10:49:31.493 [26862] Information Application - All worker IPv4 fragments: 75433, IPv6 fragments: 0, IPv4 short packets: 0
2019-05-14 10:49:31.493 [26862] Information Application - All worker threads matched by ip/port: 48, matched by ssl SNI: 38112, matched by ssl/ip: 0, matched by HTTP: 6812
2019-05-14 10:49:31.493 [26862] Information Application - All worker threads redirected blocked http: 6812, sended forbidden IPv4: 0, sended forbidden IPv6: 0, rst sended IPv4: 83316, rst sended IPv6: 0
 

 

 

Статистика фильтра:

Скрытый текст

2019-05-14 10:49:31.493 [26862] Information Application - Port 0 input packets 649416402, input errors: 0, mbuf errors: 0, missed packets: 0
2019-05-14 10:49:31.493 [26862] Information Application - Port 1 input packets 29, input errors: 0, mbuf errors: 0, missed packets: 0
2019-05-14 10:49:31.493 [26862] Information Application - Worker thread on core 1 statistics:
2019-05-14 10:49:31.493 [26862] Information Application - Thread seen packets: 208642445, IP packets: 208631563 (IPv4 packets: 208631563, IPv6 packets: 0), seen bytes: 27158430119, Average packet size: 130 bytes, Traffic throughput: 143.8$
2019-05-14 10:49:31.493 [26862] Information Application - Thread IPv4 fragments: 1151, IPv6 fragments: 0, IPv4 short packets: 0
2019-05-14 10:49:31.493 [26862] Information Application - Thread matched by ip/port: 10, ssl SNI: 18217, ssl/ip: 0, http IPv4: 2672, http IPv6: 0
2019-05-14 10:49:31.493 [26862] Information Application - Thread redirected blocked http IPv4: 2672, redirected http IPv6: 0, sended forbidden IPv4: 0, sended forbidden IPv6: 0, rst sended IPv4: 39270, rst sended IPv6: 0
2019-05-14 10:49:31.493 [26862] Information Application - Thread packets latency all packets: 719 cycles (205 ns), unblocked packets: 718 cycles (205 ns), blocked packets: 6499 (1855 ns)
2019-05-14 10:49:31.493 [26862] Information Application - Worker thread on core 2 statistics:
2019-05-14 10:49:31.493 [26862] Information Application - Thread seen packets: 224495035, IP packets: 224495035 (IPv4 packets: 224495035, IPv6 packets: 0), seen bytes: 49977703346, Average packet size: 222 bytes, Traffic throughput: 157.3$
2019-05-14 10:49:31.493 [26862] Information Application - Thread IPv4 fragments: 11064, IPv6 fragments: 0, IPv4 short packets: 0
2019-05-14 10:49:31.493 [26862] Information Application - Thread matched by ip/port: 18, ssl SNI: 13991, ssl/ip: 0, http IPv4: 1789, http IPv6: 0
2019-05-14 10:49:31.493 [26862] Information Application - Thread redirected blocked http IPv4: 1789, redirected http IPv6: 0, sended forbidden IPv4: 0, sended forbidden IPv6: 0, rst sended IPv4: 29873, rst sended IPv6: 0
2019-05-14 10:49:31.493 [26862] Information Application - Thread packets latency all packets: 726 cycles (207 ns), unblocked packets: 726 cycles (207 ns), blocked packets: 6180 (1764 ns)
2019-05-14 10:49:31.493 [26862] Information Application - Worker thread on core 3 statistics:
2019-05-14 10:49:31.493 [26862] Information Application - Thread seen packets: 216280829, IP packets: 216280829 (IPv4 packets: 216280829, IPv6 packets: 0), seen bytes: 40529443898, Average packet size: 187 bytes, Traffic throughput: 153.7$
2019-05-14 10:49:31.493 [26862] Information Application - Thread IPv4 fragments: 63218, IPv6 fragments: 0, IPv4 short packets: 0
2019-05-14 10:49:31.493 [26862] Information Application - Thread matched by ip/port: 20, ssl SNI: 5904, ssl/ip: 0, http IPv4: 2351, http IPv6: 0
2019-05-14 10:49:31.493 [26862] Information Application - Thread redirected blocked http IPv4: 2351, redirected http IPv6: 0, sended forbidden IPv4: 0, sended forbidden IPv6: 0, rst sended IPv4: 14173, rst sended IPv6: 0
2019-05-14 10:49:31.493 [26862] Information Application - Thread packets latency all packets: 730 cycles (208 ns), unblocked packets: 730 cycles (208 ns), blocked packets: 8254 (2356 ns)
2019-05-14 10:49:31.493 [26862] Information Application - All worker threads seen packets: 649418309, IP packets: 649407427 (IPv4 packets: 649407427, IPv6 packets: 0), seen bytes: 117665577363, traffic throughtput: 454.96 K pps
2019-05-14 10:49:31.493 [26862] Information Application - All worker IPv4 fragments: 75433, IPv6 fragments: 0, IPv4 short packets: 0
2019-05-14 10:49:31.493 [26862] Information Application - All worker threads matched by ip/port: 48, matched by ssl SNI: 38112, matched by ssl/ip: 0, matched by HTTP: 6812
2019-05-14 10:49:31.493 [26862] Information Application - All worker threads redirected blocked http: 6812, sended forbidden IPv4: 0, sended forbidden IPv6: 0, rst sended IPv4: 83316, rst sended IPv6: 0
 

 

Edited by Morphus

Share this post


Link to post
Share on other sites
14 минут назад, epollia сказал:

Есть ли какие-нибдуь сообщения в логах фильтра?

В логах ничего аномального не нашёл. Дебаг не включал.

16 минут назад, epollia сказал:

Занятость памяти на фильтре?

25 Гб на hugepage. Всего 32 Гб.

dmesg | grep memory
 

Скрытый текст

[    0.000000] Base memory trampoline at [ffff960d00092000] 92000 size 24576
[    0.000000] Reserving 162MB of memory at 688MB for crashkernel (System RAM: 32353MB)
[    0.000000] Early memory node ranges
[    0.000000] PM: Registered nosave memory: [mem 0x00098000-0x00098fff]
[    0.000000] PM: Registered nosave memory: [mem 0x00099000-0x0009ffff]
[    0.000000] PM: Registered nosave memory: [mem 0x000a0000-0x000dffff]
[    0.000000] PM: Registered nosave memory: [mem 0x000e0000-0x000fffff]
[    0.000000] PM: Registered nosave memory: [mem 0x801e4000-0x801e4fff]
[    0.000000] PM: Registered nosave memory: [mem 0x801e5000-0x8020efff]
[    0.000000] PM: Registered nosave memory: [mem 0x80281000-0x81ebffff]
[    0.000000] PM: Registered nosave memory: [mem 0x81ec0000-0x81f99fff]
[    0.000000] PM: Registered nosave memory: [mem 0x81f9a000-0x81ffefff]
[    0.000000] PM: Registered nosave memory: [mem 0x82000000-0x83ffffff]
[    0.000000] PM: Registered nosave memory: [mem 0x84000000-0x87ffffff]
[    0.000000] PM: Registered nosave memory: [mem 0x88000000-0x8dffffff]
[    0.000000] PM: Registered nosave memory: [mem 0x8e000000-0x8fffffff]
[    0.000000] PM: Registered nosave memory: [mem 0x90000000-0x99ffffff]
[    0.000000] PM: Registered nosave memory: [mem 0x9a000000-0xdfffffff]
[    0.000000] PM: Registered nosave memory: [mem 0xe0000000-0xefffffff]
[    0.000000] PM: Registered nosave memory: [mem 0xf0000000-0xfcffffff]
[    0.000000] PM: Registered nosave memory: [mem 0xfd000000-0xfe7fffff]
[    0.000000] PM: Registered nosave memory: [mem 0xfe800000-0xfebfffff]
[    0.000000] PM: Registered nosave memory: [mem 0xfec00000-0xfec00fff]
[    0.000000] PM: Registered nosave memory: [mem 0xfec01000-0xfecfffff]
[    0.000000] PM: Registered nosave memory: [mem 0xfed00000-0xfed00fff]
[    0.000000] PM: Registered nosave memory: [mem 0xfed01000-0xfed0ffff]
[    0.000000] PM: Registered nosave memory: [mem 0xfed10000-0xfed19fff]
[    0.000000] PM: Registered nosave memory: [mem 0xfed1a000-0xfed83fff]
[    0.000000] PM: Registered nosave memory: [mem 0xfed84000-0xfed84fff]
[    0.000000] PM: Registered nosave memory: [mem 0xfed85000-0xfedfffff]
[    0.000000] PM: Registered nosave memory: [mem 0xfee00000-0xfee00fff]
[    0.000000] PM: Registered nosave memory: [mem 0xfee01000-0xff3fffff]
[    0.000000] PM: Registered nosave memory: [mem 0xff400000-0xffffffff]
[    0.000000] please try 'cgroup_disable=memory' option if you don't want memory cgroups
[    0.007258] Initializing cgroup subsys memory
[    0.432443] Freeing initrd memory: 18768k freed
[    0.557248] Non-volatile memory driver v1.3
[    0.557329] crash memory driver: version 1.1
[    1.652221] Freeing unused kernel memory: 1876k freed
[    1.653381] Freeing unused kernel memory: 516k freed
[    1.654461] Freeing unused kernel memory: 600k freed
[    3.145729] [TTM] Zone  kernel: Available graphics memory: 16180390 kiB
[    3.145731] [TTM] Zone   dma32: Available graphics memory: 2097152 kiB

 

24 минуты назад, epollia сказал:

Пропуски постоянно или в какой-то определенный момент? (в отчете должно быть хорошо видно)

Как вчера включил. Так и пошло. Стабильно ровно.

 

27 минут назад, epollia сказал:

Добавление должно помочь, только блокирвоание по ip идет через маршрутизацию, а не на самом фильтре.

Т.е. в режиме зеркала он не блочит only_ip которые.

У меня ип блокируются отдельной приблудой, туда ip из бд сгружаются в redis. специалный nginx через lua script проверяет вхождение и ресетит если нашёл.

memory.png

Share this post


Link to post
Share on other sites

в режиме заркала не блочит.

Пропуски на самом фильтре есть? 

cat /var/run/extFilter_stat | grep missed_packets

 

Share this post


Link to post
Share on other sites
10 минут назад, epollia сказал:

Пропуски на самом фильтре есть? 

[root@localhost extfilter]# cat /var/run/extFilter_stat | grep missed_packets
allports.missed_packets=0

Ни пропусков ни ошибок.
 

Share this post


Link to post
Share on other sites

ну тогда как вариант надо посмотреть dump со включенной сборкой фрагментов, возможно при этих опциях пакет от фильтра приходит позже чем от реального сервера.

Share this post


Link to post
Share on other sites

Добрый день.

 

Возможно пропустил, но найти не смог.

Каким обрабом можно отсылать ответы на 2 МАС адреса? (Для резервирования на второй шлюз).

 

Пробовал указать 2 МАС в одной секции - шлет на последний.

2 sender порта не дает задать.

Share this post


Link to post
Share on other sites
1 hour ago, Hawk128 said:

Каким обрабом можно отсылать ответы на 2 МАС адреса? (Для резервирования на второй шлюз).

Пробовал указать 2 МАС в одной секции - шлет на последний.

2 sender порта не дает задать.

Проще обойти аппаратно - сделайте 2 хоста с одинаковыми MAC и отключенным mac-learning в vlan для RST от extfilter

Share this post


Link to post
Share on other sites

Хотелось бы что-то покрасивее.

Думал можно 2 интерфейса назначить, но не дает...

Share this post


Link to post
Share on other sites

Еще заметил что ответ серверу возможно выполняется с неправильными портами:

 

02:12:11.588503 90:e2:ba:50:44:95 > 90:e2:ba:33:18:d9, ethertype IPv4 (0x0800), length 158: 37.1.222.194.80 > xxx.xxx.164.21.52855: Flags [P.], seq 1:105, ack 398, win 1024, length 104: HTTP: HTTP/1.1 302 Moved Temporarily
02:12:11.588509 90:e2:ba:50:44:95 > 90:e2:ba:33:18:d9, ethertype IPv4 (0x0800), length 158: 37.1.222.194.80 > xxx.xxx.164.21.52855: Flags [P.], seq 1:105, ack 398, win 1024, length 104: HTTP: HTTP/1.1 302 Moved Temporarily
02:12:11.588512 90:e2:ba:50:44:95 > 90:e2:ba:33:18:d9, ethertype IPv4 (0x0800), length 158: 37.1.222.194.80 > xxx.xxx.164.21.52855: Flags [P.], seq 1:105, ack 398, win 1024, length 104: HTTP: HTTP/1.1 302 Moved Temporarily
02:12:11.588516 90:e2:ba:50:44:95 > 90:e2:ba:33:18:d9, ethertype IPv4 (0x0800), length 60: xxx.xxx.164.21.80 > 37.1.222.194.52855: Flags [R], seq 2729616527, win 0, length 0

 

Сейчас обновил сервер и пытаюсь настроить отправку по МАС. но работает как-то странно, часть фильтрует, часть нет. Причем деление по тому кто запрос послал. Порты зеркалирования одни и те же, порт на бордер, те.е весь трафик должен проходить. Не могу понять почему.

Share this post


Link to post
Share on other sites

C Windows 10 - блокирует.

 

tcpdump -ni p262p2.2 -e host xxx.xxx.164.21 | grep 37.1.222.194
tcpdump: verbose output suppressed, use -v or -vv for full protocol decode
listening on p262p2.2, link-type EN10MB (Ethernet), capture size 262144 bytes

02:29:32.866722 92:04:39:ba:08:6f > 90:e2:ba:33:18:d9, ethertype IPv4 (0x0800), length 60: xxx.xxx.164.21.52993 > 37.1.222.194.80: Flags [F.], seq 1708007007, ack 3149046515, win 1023, length 0
02:29:36.670411 92:04:39:ba:08:6f > 90:e2:ba:33:18:d9, ethertype IPv4 (0x0800), length 66: xxx.xxx.164.21.53005 > 37.1.222.194.80: Flags [S], seq 1041593426, win 65535, options [mss 1460,nop,wscale 8,nop,nop,sackOK], length 0
02:29:36.712298 90:e2:ba:33:18:d9 > b8:69:f4:e6:3e:ef, ethertype IPv4 (0x0800), length 66: 37.1.222.194.80 > xxx.xxx.164.21.53005: Flags [S.], seq 4086993654, ack 1041593427, win 29200, options [mss 1460,nop,nop,sackOK,nop,wscale 7], length 0
02:29:36.713638 92:04:39:ba:08:6f > 90:e2:ba:33:18:d9, ethertype IPv4 (0x0800), length 60: xxx.xxx.164.21.53005 > 37.1.222.194.80: Flags [.], ack 1, win 1024, length 0
02:29:36.714150 92:04:39:ba:08:6f > 90:e2:ba:33:18:d9, ethertype IPv4 (0x0800), length 451: xxx.xxx.164.21.53005 > 37.1.222.194.80: Flags [P.], seq 1:398, ack 1, win 1024, length 397: HTTP: GET /torrent/687679/ HTTP/1.1
02:29:36.714161 90:e2:ba:50:44:95 > 90:e2:ba:33:18:d9, ethertype IPv4 (0x0800), length 158: 37.1.222.194.80 > xxx.xxx.164.21.53005: Flags [P.], seq 1:105, ack 398, win 1024, length 104: HTTP: HTTP/1.1 302 Moved Temporarily
02:29:36.714169 90:e2:ba:33:18:d9 > b8:69:f4:e6:3e:ef, ethertype IPv4 (0x0800), length 158: 37.1.222.194.80 > xxx.xxx.164.21.53005: Flags [P.], seq 1:105, ack 398, win 1024, length 104: HTTP: HTTP/1.1 302 Moved Temporarily
02:29:36.714170 90:e2:ba:50:44:95 > 90:e2:ba:33:18:d9, ethertype IPv4 (0x0800), length 60: xxx.xxx.164.21.80 > 37.1.222.194.53005: Flags [R], seq 1041593824, win 0, length 0
02:29:36.714171 90:e2:ba:50:44:95 > 90:e2:ba:33:18:d9, ethertype IPv4 (0x0800), length 158: 37.1.222.194.80 > xxx.xxx.164.21.53005: Flags [P.], seq 1:105, ack 398, win 1024, length 104: HTTP: HTTP/1.1 302 Moved Temporarily
02:29:36.714175 90:e2:ba:33:18:d9 > b8:69:f4:e6:3e:ef, ethertype IPv4 (0x0800), length 158: 37.1.222.194.80 > xxx.xxx.164.21.53005: Flags [P.], seq 1:105, ack 398, win 1024, length 104: HTTP: HTTP/1.1 302 Moved Temporarily
02:29:36.714177 90:e2:ba:50:44:95 > 90:e2:ba:33:18:d9, ethertype IPv4 (0x0800), length 158: 37.1.222.194.80 > xxx.xxx.164.21.53005: Flags [P.], seq 1:105, ack 398, win 1024, length 104: HTTP: HTTP/1.1 302 Moved Temporarily
02:29:36.714180 90:e2:ba:33:18:d9 > b8:69:f4:e6:3e:ef, ethertype IPv4 (0x0800), length 158: 37.1.222.194.80 > xxx.xxx.164.21.53005: Flags [P.], seq 1:105, ack 398, win 1024, length 104: HTTP: HTTP/1.1 302 Moved Temporarily
02:29:36.716601 92:04:39:ba:08:6f > 90:e2:ba:33:18:d9, ethertype IPv4 (0x0800), length 66: xxx.xxx.164.21.53005 > 37.1.222.194.80: Flags [.], ack 105, win 1023, options [nop,nop,sack 1 {1:105}], length 0
02:29:36.716648 92:04:39:ba:08:6f > 90:e2:ba:33:18:d9, ethertype IPv4 (0x0800), length 66: xxx.xxx.164.21.53005 > 37.1.222.194.80: Flags [.], ack 105, win 1023, options [nop,nop,sack 1 {1:105}], length 0
02:29:36.719435 92:04:39:ba:08:6f > 90:e2:ba:33:18:d9, ethertype IPv4 (0x0800), length 60: xxx.xxx.164.21.53005 > 37.1.222.194.80: Flags [F.], seq 398, ack 105, win 1023, length 0
02:29:37.018873 92:04:39:ba:08:6f > 90:e2:ba:33:18:d9, ethertype IPv4 (0x0800), length 60: xxx.xxx.164.21.53005 > 37.1.222.194.80: Flags [F.], seq 398, ack 105, win 1023, length 0
02:29:37.619812 92:04:39:ba:08:6f > 90:e2:ba:33:18:d9, ethertype IPv4 (0x0800), length 60: xxx.xxx.164.21.53005 > 37.1.222.194.80: Flags [F.], seq 398, ack 105, win 1023, length 0
^C190 packets captured
381 packets received by filter
59 packets dropped by kernel

 

С Ubuntu через curl - нет.

 

tcpdump -ni p262p2.2 -e host xxx.xxx.164.15 | grep 37.1.222.194
tcpdump: verbose output suppressed, use -v or -vv for full protocol decode
listening on p262p2.2, link-type EN10MB (Ethernet), capture size 262144 bytes

02:31:12.095127 5a:48:c2:1d:07:f1 > 90:e2:ba:33:18:d9, ethertype IPv4 (0x0800), length 74: xxx.xxx.164.15.37648 > 37.1.222.194.80: Flags [S], seq 2556383305, win 29200, options [mss 1460,sackOK,TS val 2424188363 ecr 0,nop,wscale 7], length 0
02:31:12.134928 90:e2:ba:33:18:d9 > 5a:48:c2:1d:07:f1, ethertype IPv4 (0x0800), length 74: 37.1.222.194.80 > xxx.xxx.164.15.37648: Flags [S.], seq 2481242476, ack 2556383306, win 28960, options [mss 1460,sackOK,TS val 3075527526 ecr 2424188363,nop,wscale 7], length 0
02:31:12.135025 5a:48:c2:1d:07:f1 > 90:e2:ba:33:18:d9, ethertype IPv4 (0x0800), length 66: xxx.xxx.164.15.37648 > 37.1.222.194.80: Flags [.], ack 1, win 229, options [nop,nop,TS val 2424188403 ecr 3075527526], length 0
02:31:12.135159 5a:48:c2:1d:07:f1 > 90:e2:ba:33:18:d9, ethertype IPv4 (0x0800), length 158: xxx.xxx.164.15.37648 > 37.1.222.194.80: Flags [P.], seq 1:93, ack 1, win 229, options [nop,nop,TS val 2424188403 ecr 3075527526], length 92: HTTP: HEAD /torrent/687679/ HTTP/1.1
02:31:12.174827 90:e2:ba:33:18:d9 > 5a:48:c2:1d:07:f1, ethertype IPv4 (0x0800), length 66: 37.1.222.194.80 > xxx.xxx.164.15.37648: Flags [.], ack 93, win 227, options [nop,nop,TS val 3075527566 ecr 2424188403], length 0
02:31:12.214764 90:e2:ba:33:18:d9 > 5a:48:c2:1d:07:f1, ethertype IPv4 (0x0800), length 307: 37.1.222.194.80 > xxx.xxx.164.15.37648: Flags [P.], seq 1:242, ack 93, win 227, options [nop,nop,TS val 3075527606 ecr 2424188403], length 241: HTTP: HTTP/1.1 200 OK
02:31:12.214840 5a:48:c2:1d:07:f1 > 90:e2:ba:33:18:d9, ethertype IPv4 (0x0800), length 66: xxx.xxx.164.15.37648 > 37.1.222.194.80: Flags [.], ack 242, win 237, options [nop,nop,TS val 2424188483 ecr 3075527606], length 0
02:31:12.215117 5a:48:c2:1d:07:f1 > 90:e2:ba:33:18:d9, ethertype IPv4 (0x0800), length 66: xxx.xxx.164.15.37648 > 37.1.222.194.80: Flags [F.], seq 93, ack 242, win 237, options [nop,nop,TS val 2424188483 ecr 3075527606], length 0
02:31:12.254745 90:e2:ba:33:18:d9 > 5a:48:c2:1d:07:f1, ethertype IPv4 (0x0800), length 66: 37.1.222.194.80 > xxx.xxx.164.15.37648: Flags [F.], seq 242, ack 94, win 227, options [nop,nop,TS val 3075527646 ecr 2424188483], length 0
02:31:12.254810 5a:48:c2:1d:07:f1 > 90:e2:ba:33:18:d9, ethertype IPv4 (0x0800), length 66: xxx.xxx.164.15.37648 > 37.1.222.194.80: Flags [.], ack 243, win 237, options [nop,nop,TS val 2424188523 ecr 3075527646], length 0
^C62296 packets captured
62568 packets received by filter
110 packets dropped by kernel

 

Та же подсеть, те же интерфейсы, тот же ресурс.

До обновления работало. Но тогда отправлялось через обычный интерфейс, не DPDK sender.

Что можно подкрутить?

 

Текущие настройки:

 

cat /usr/local/etc/extfilter.ini
; Переводить имя хоста в прописные буквы. Если url_normalization установлен в true, то не имеет значения.
;lower_host = false

domainlist = /usr/local/etc/extfilter/domains
urllist = /usr/local/etc/extfilter/urls
ssllist = /usr/local/etc/extfilter/ssl_host

; файл с ip:port для блокировки
hostlist = /usr/local/etc/extfilter/hosts

; Список ip адресов/сетей для блокировки ssl если нет server_name в ssl hello пакете. Загружается если block_undetected_ssl = true.
sslips = /usr/local/etc/extfilter/ssl_ips

; если false, то будет послан ответ от сервера 403 Forbidden вместо редиректа. Default: false
http_redirect = true

# если в конце url будет указан символ ? иди &, то после этого символа будет добавлен блокированный url: redirect_url[?|&]uri=http://...
redirect_url = http://xxx.xxx.164.17

; посылать tcp rst в сторону сервера от имени клиента. Default: false
rst_to_server = true

; Default: 0 - disable
statistic_interval = 300

; Блокировать ssl по ip из файла с ip адресами в случае отсутствия SNI. Default: false
block_ssl_no_sni = false

; Какие ядра использовать. Default: все ядра, кроме management.
core_mask = 7

; файл статистики (для extfilter-cacti)
statisticsfile = /var/run/extFilter_stat

; mtu на интерфейсе для отправки пакетов в сторону абонентов. Default: 1500
out_mtu = 1500


; CLI для управления или сбора статистики extfilter
cli_port = 9999
cli_address = 127.0.0.1

; Количество каналов памяти (для DPDK)
memory_channels = 2

; Количество повторных пакетов в сторону клиента (от 1 до 3)
answer_duplication = 2

; Режим работы фильтра. Может быть зеркало (mirror) или мост (inline)
operation_mode = mirror

; Использовать jumbo frames
jumbo_frames = true

; Максимальная длина ethernet фрейма при включенном jumbo_frames
max_pkt_len = 9600

; здесь задаются порты, с которых необходимо снимать трафик
; формат:
; [port n]
; queues = a,b; a1,b1...
; n - номер порта dpdk
; a - номер очереди
; b - ядро, обрабатывающее очередь a
; Пример:
;[port 0]
;queues = 0,1; 1,2
[port 0]
queues = 0,1

[port 1]
queues = 0,2

; Порт для отправки уведомлений через dpdk
[port 2]
type = sender
; На какой mac адрес отправлять пакеты
; mac = 90:e2:ba:50:46:cc
; mac = 90:e2:ba:4d:7f:88
mac = 90:e2:ba:33:18:d9

;[port 3]
;type = sender
; На какой mac адрес отправлять пакеты
; mac = 90:e2:ba:50:46:cc
;mac = 90:e2:ba:4d:7f:88

[dpi]
; Масштабирование количества обрабатываемых потоков 1..10
scale = 3

; Собирать и анализировать фрагментированные пакеты
; fragmentation_ipv6_state = true
fragmentation_ipv4_state = true
fragmentation_ipv4_table_size = 512
; fragmentation_ipv6_table_size = 512

; Собирать и анализировать tcp потоки с неправильными порядком
tcp_reordering = true

[logging]
loggers.root.level = information
; loggers.root.level = debug
loggers.root.channel = fileChannel
channels.fileChannel.class = FileChannel
channels.fileChannel.path = /var/log/extFilter.log
channels.fileChannel.rotation = 1 M
channels.fileChannel.purgeCount = 4
channels.fileChannel.archive = timestamp
channels.fileChannel.formatter.class = PatternFormatter
channels.fileChannel.formatter.pattern = %Y-%m-%d %H:%M:%S.%i [%P] %p %s - %t
channels.fileChannel.formatter.times = local

 

Share this post


Link to post
Share on other sites

Покажите:

cat /proc/cmdline

И у вас в настройках 3 порта указано, вроде бы можно только 2. 0 на прим и 1 на отправку. В нулевом указывает 2 ядра на две очереди, а настройки с порта 2 переносите в 1. 2 удалите. 

[port 0]
queues = 0,1; 1,2

[port 1]
type = sender
mac = 90:e2:ba:33:18:d9

Попробуйте убрать tcp_reordering и fragmentation и jumbo_frames. Посмотрите как будет.

Процессор какой? HT выключите если включено. 

Share this post


Link to post
Share on other sites

port 0 и port 1 - это порты принимающие трафик пользователей с двух разных свитчей.

port 2 - порт отправки сообщений пользователям.

 

cat /proc/cmdline
BOOT_IMAGE=/boot/vmlinuz-4.15.0-48-lowlatency root=UUID=7e1ec8ed-dd50-4418-aa7d-da4c2fd5ed62 ro cmdline=isolcpus=1,2,3 default_hugepagesz=1G hugepagesz=1G hugepages=4

 

Но hugepagesу меня по 2МБ (на 6 ГБ). Проц не поддерживает 1ГБ таблицы.

 

lscpu 
Архитектура:         x86_64
CPU op-mode(s):      32-bit, 64-bit
Порядок байт:        Little Endian
CPU(s):              4
On-line CPU(s) list: 0-3
Потоков на ядро:     1
Ядер на сокет:       4
Сокетов:             1
NUMA node(s):        1
ID прроизводителя:   GenuineIntel
Семейство ЦПУ:       6
Модель:              42
Имя модели:          Intel(R) Xeon(R) CPU E31270 @ 3.40GHz
Степпинг:            7
CPU МГц:             3521.268
CPU max MHz:         3800,0000
CPU min MHz:         1600,0000
BogoMIPS:            6784.32
Виртуализация:       VT-x
L1d cache:           32K
L1i cache:           32K
L2 cache:            256K
L3 cache:            8192K
NUMA node0 CPU(s):   0-3
Флаги:               fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush dts acpi mmx fxsr sse sse2 ss ht tm pbe syscall nx rdtscp lm constant_tsc arch_perfmon pebs bts rep_good nopl xtopology nonstop_tsc cpuid aperfmperf pni pclmulqdq dtes64 monitor ds_cpl vmx smx est tm2 ssse3 cx16 xtpr pdcm pcid sse4_1 sse4_2 x2apic popcnt tsc_deadline_timer aes xsave avx lahf_lm pti ssbd ibrs ibpb stibp tpr_shadow vnmi flexpriority ept vpid xsaveopt dtherm ida arat pln pts flush_l1d

 

4 часа назад, Morphus сказал:

HT выключите если включено. 

Выключен.

 

4 часа назад, Morphus сказал:

Попробуйте убрать tcp_reordering и fragmentation и jumbo_frames. Посмотрите как будет.

Попробую чуть позже.

 

4 часа назад, Morphus сказал:

Попробуйте убрать tcp_reordering и fragmentation и jumbo_frames. Посмотрите как будет.

Ни как не влияет.

Share this post


Link to post
Share on other sites

Неужели только у меня такой конфиг?

 

У всех curl блочится нормально?

Share this post


Link to post
Share on other sites

А покажите:

dpdk-devbind.py -s

 

Share this post


Link to post
Share on other sites
dpdk-stable-17.05.1/usertools/dpdk-devbind.py -s

Network devices using DPDK-compatible driver
============================================
0000:01:00.0 '82599ES 10-Gigabit SFI/SFP+ Network Connection 10fb' drv=igb_uio unused=
0000:01:00.1 '82599ES 10-Gigabit SFI/SFP+ Network Connection 10fb' drv=igb_uio unused=
0000:03:00.0 '82576 Gigabit Network Connection 10c9' drv=igb_uio unused=
0000:03:00.1 '82576 Gigabit Network Connection 10c9' drv=igb_uio unused=

Network devices using kernel driver
===================================
0000:00:19.0 '82579LM Gigabit Network Connection (Lewisville) 1502' if=rename6 drv=e1000e unused=igb_uio 
0000:06:00.0 '82574L Gigabit Network Connection 10d3' if=enp6s0 drv=e1000e unused=igb_uio *Active*

Other Network devices
=====================
<none>

Crypto devices using DPDK-compatible driver
===========================================
<none>

Crypto devices using kernel driver
==================================
<none>

Other Crypto devices
====================
<none>

Eventdev devices using DPDK-compatible driver
=============================================
<none>

Eventdev devices using kernel driver
====================================
<none>

Other Eventdev devices
======================
<none>

Mempool devices using DPDK-compatible driver
============================================
<none>

Mempool devices using kernel driver
===================================
<none>

Other Mempool devices
=====================
<none>

 

Share this post


Link to post
Share on other sites
В 15.05.2019 в 21:17, Hawk128 сказал:

Каким обрабом можно отсылать ответы на 2 МАС адреса? (Для резервирования на второй шлюз).

Точно нет никакой возможности слать на два МАС адреса? Хотелось бы зарезервировать нормально, на два роутера слать ответы...

Share this post


Link to post
Share on other sites

в принципе исходники открыты. Можно попробовать поправить.

Как вариант hsrp и виртуальный мак. 

Share this post


Link to post
Share on other sites

Добрый день.

Подскажите, пожалуйста, по поводу блокировки ip адресов. Стоит ExtFilter и quagga, http и https блокируются фильтром нормально, ip загоняются в квагу скриптом, который был в комплекте с фильтром, на бордере маршруты появляются, пакеты до блоченных ip заворачиваются на сервер с фильтром, там уже маршруты в blackhole, тут всё нормально, но из-за того, что пакеты просто убиваются без отправления RST - ревизор очень долго осуществляет проверку этих ip, пока не отвалится по таймауту, и проверка занимает больше суток. Дайте совет, что можно предпринять в этой ситуации?

Share this post


Link to post
Share on other sites
59 минут назад, evgen.v сказал:

Добрый день. 

Подскажите, пожалуйста, по поводу блокировки ip адресов. Стоит ExtFilter и quagga, http и https блокируются фильтром нормально, ip загоняются в квагу скриптом, который был в комплекте с фильтром, на бордере маршруты появляются, пакеты до блоченных ip заворачиваются на сервер с фильтром, там уже маршруты в blackhole, тут всё нормально, но из-за того, что пакеты просто убиваются без отправления RST - ревизор очень долго осуществляет проверку этих ip, пока не отвалится по таймауту, и проверка занимает больше суток. Дайте совет, что можно предпринять в этой ситуации? 

Как вариант, на машине с quagga FORWART accept и -A FORWARD -j REJECT --reject-with icmp-host-prohibited.

Share this post


Link to post
Share on other sites
36 минут назад, max1976 сказал:

Как вариант, на машине с quagga FORWART accept и -A FORWARD -j REJECT --reject-with icmp-host-prohibited.

Не прокатывает. Маршрутизация в blackhole отрабатывает еще до цепочки Forward. А как в кваге сделать, чтоб она не создавала маршруты в blackhole - я пока не понял.

Share this post


Link to post
Share on other sites
4 минуты назад, evgen.v сказал:

Не прокатывает. Маршрутизация в blackhole отрабатывает еще до цепочки Forward. А как в кваге сделать, чтоб она не создавала маршруты в blackhole - я пока не понял. 

Поставьте в конфиге скрипта в секции [BGP]:

 

Цитата

route_to_null = false

 

Share this post


Link to post
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!

Register a new account

Sign in

Already have an account? Sign in here.

Sign In Now