gorbunkul2 Опубликовано 18 августа, 2016 · Жалоба День добрый, коллеги! Мы небольшой оператор связи (ADSL), абонентов у нас мало (онлайн 1000), канал еле-еле загружается на 0.3Gbit/s. Не так давно РКН всем нам (ну, тем кому повезло) расставила свои коробочки проверки фильтрации "Ревизор" на основе TP-Link MR3020. С этого момента началась такая вот аномалия в загрузке 7206-NPE-G2, начинается в 3 ночи, длится час, иногда чуть дольше, но - каждый день: сразу приведу sh proc cpu sort при такой нагрузке ============== sh proc cpu sort ================== CPU utilization for five seconds: 67%/65%; one minute: 71%; five minutes: 69% PID Runtime(ms) Invoked uSecs 5Sec 1Min 5Min TTY Process 5 52690924 2847362 18505 0.95% 0.62% 0.83% 0 Check heaps 298 10529044 57740459 182 0.15% 0.14% 0.15% 0 BGP Router 89 6920864 83013990 83 0.15% 0.12% 0.12% 0 IP Input 297 6348324 22088730 287 0.07% 0.19% 0.17% 0 OSPF-10 Router 285 1819180 24132166 75 0.07% 0.02% 0.00% 0 BGP Task 143 7298464 15822126 461 0.07% 0.12% 0.11% 0 IP RIB Update 276 104008 4288390 24 0.07% 0.07% 0.07% 0 Per-Second Jobs 245 20900 262678806 0 0.07% 0.05% 0.06% 0 ISG MIB jobs Man 215 2780 4282822 0 0.07% 0.00% 0.00% 0 Crypto IKEv2 200 2337940 43190380 54 0.07% 0.03% 0.02% 0 BGP I/O 172 713720 8537281 83 0.07% 0.01% 0.00% 0 IPv6 RIB Event H 156 33944 35943794 0 0.07% 0.05% 0.05% 0 TCP Timer 151 17624 5827089 3 0.07% 0.01% 0.00% 0 CEF: IPv4 proces 281 490032 7619702 64 0.07% 0.01% 0.00% 0 IPv6 Input 59 1700 1276261 1 0.07% 0.00% 0.00% 0 HC Counter Timer или CPU utilization for five seconds: 71%/70%; one minute: 72%; five minutes: 70% PID Runtime(ms) Invoked uSecs 5Sec 1Min 5Min TTY Process 297 6082620 21124797 287 0.15% 0.13% 0.15% 0 OSPF-10 Router 285 1777528 23390857 75 0.07% 0.03% 0.02% 0 BGP Task 298 10251460 55914903 183 0.07% 0.18% 0.19% 0 BGP Router 276 100572 4115592 24 0.07% 0.07% 0.07% 0 Per-Second Jobs 172 687544 8227457 83 0.07% 0.01% 0.00% 0 IPv6 RIB Event H 118 11360 125327007 0 0.07% 0.02% 0.01% 0 IPAM Manager 88 30548 125327106 0 0.07% 0.04% 0.05% 0 IP ARP Retry Age 22 76 822642 0 0.07% 0.00% 0.00% 0 IPC Event Notifi 89 6644224 79884221 83 0.07% 0.11% 0.12% 0 IP Input 245 20304 252091551 0 0.07% 0.05% 0.06% 0 ISG MIB jobs Man 11 8352 4282243 1 0.00% 0.00% 0.00% 0 ARP Background 10 391508 2990763 130 0.00% 0.00% 0.00% 0 ARP Input или CPU utilization for five seconds: 84%/77%; one minute: 73%; five minutes: 70% PID Runtime(ms) Invoked uSecs 5Sec 1Min 5Min TTY Process 5 53786484 2906330 18506 5.11% 1.29% 0.99% 0 Check heaps 298 10711984 58762051 182 0.31% 0.18% 0.19% 0 BGP Router 143 7443700 16100258 462 0.15% 0.11% 0.12% 0 IP RIB Update 89 7077188 84658454 83 0.15% 0.11% 0.10% 0 IP Input 156 34672 36640557 0 0.15% 0.06% 0.07% 0 TCP Timer 297 6493436 22555095 287 0.07% 0.16% 0.16% 0 OSPF-10 Router 151 18020 5944525 3 0.07% 0.02% 0.00% 0 CEF: IPv4 proces 276 106660 4374799 24 0.07% 0.07% 0.07% 0 Per-Second Jobs 283 5484 17477314 0 0.07% 0.00% 0.00% 0 MLD 285 1850656 24555989 75 0.07% 0.02% 0.01% 0 BGP Task 245 21328 267964627 0 0.07% 0.05% 0.07% 0 ISG MIB jobs Man 200 2382160 43940336 54 0.07% 0.03% 0.04% 0 BGP I/O Немного о схеме сети. Напишу текстом, если будет непонятно, нарисую. От коробочки РКН до 7206 всё выглядит вот так: (коробочка 192.168.0.x) - (FreeBSD 1.1.1.11 quagga/NAT) - [коммутатор 3750g-serv] (FreeBSD 1.1.1.13 squid/quagga) - [коммутатор 3750g-serv] [коммутатор 3750g-serv] - [коммутатор 6506] - (7206 1.1.1.15 BGP) [коммутатор 6506] - (BGP UPLINK) Схема фильтрации обычная, 1.1.1.13 качает реестр, парсит, фильтруемые IP вносит в локальную BGP AS, в которой участвует 1.1.1.11 (и клиентские NAS), URL-ы вносятся в squid. Что происходит на портах? А на портах происходит странное. Вот порт FreeBSD 1.1.1.11: В районе 3х часов - практически тишина. А вот на порту сервера фильтрации FreeBSD 1.1.1.13 squid начинается интересное: Пик формы ровно такой же, как и у графика процессора 7206. И у самого 7206 на основном аплинке картина примерно такая же: Еще у 7206 есть интерфейс Gi0_2.249, через этот интерфейс между 7206 и другими марщшрутизаторами работает OSPF, и у 1.1.1.13 default gw находится в VLAN249. Вот что на нём: Теперь текстовая часть. Что мы имеем в логах: Возьмем сайт из реестра fonbetsport.com (там разные URL, в том числе https) с адресом 104.27.153.119 и другими, в логах squid такая запись: 1471135460.071 360 1.1.1.11 TCP_MEM_HIT_ABORTED/200 4188 GET http://fonbetsport.com/ru/ - HIER_NONE/- text/html дальше в netflow с 7206 видим: Sif SrcIPaddress Dif DstIPaddress Pr SrcP DstP Pkts Octets 000a 1.1.1.13 000b 104.27.153.119 06 faf5 1bb 3153 126120 000a 1.1.1.13 000b 104.27.153.119 06 3e15 1bb 1431 57240 000a 1.1.1.13 000b 104.27.153.119 06 faf5 1bb 3258 130320 000a 1.1.1.13 000b 104.27.153.119 06 fbe4 1bb 3424 136960 000a 1.1.1.13 000b 104.27.153.119 06 fb9e 1bb 2013 80520 Здесь интерфейс 0a = Gi0/2.249, интерфейс 0b = Gi0/2.1827, а порт, как мы видим, 443. На фильтрующем сервере для фильтрации https squid собран и работает с ssl_crtd - это что, от него такой исходящий трафик? Но почему этот исходящий трафик даёт такую загрузку процессора 7206? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Atlant Опубликовано 18 августа, 2016 · Жалоба Если бы 7200 у вас натила тогда бы ещё понятно было, что много новых сессий в секунду её нагибают. В любом случае порежьте коробочке скорость 1, 2 или 10 мбит/с Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
mikezzzz Опубликовано 19 августа, 2016 (изменено) · Жалоба по мбпс понятно, а пакетов много валится в это время? show ip cef switching statistics show cef drop show cef not-cef-switched Изменено 19 августа, 2016 пользователем mikezzzz Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
gorbunkul2 Опубликовано 19 августа, 2016 · Жалоба по мбпс понятно, а пакетов много валится в это время? пакетов что-то очень много, судя по netflow. тысячи на каждый адрес. show ip cef switching statisticsshow cef drop show cef not-cef-switched завтра покажу, что в этих командах ночью происходит. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
mikezzzz Опубликовано 19 августа, 2016 · Жалоба пакетов что-то очень много, судя по netflow. тысячи на каждый адрес. нарисуйте график по pps на соответствующих интерфейсах, я конечно сомневаюсь, но вдруг там полка по pps )) Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
gorbunkul2 Опубликовано 20 августа, 2016 · Жалоба По графикам pps полки нет, максимум на общем интерфейсе Gi0/2 120k pps, на субинтерфейсе к аплинку максимум 60k pps. в 1 ночи: ============== show ip cef switching statistics ================== Path Reason Drop Punt Punt2Host RP LES Packet destined for us 0 26137644 0 RP LES IP redirects 0 0 2 RP LES Neighbor resolution req 4 95 0 RP LES Total 4 26137739 2 RP PAS Packet destined for us 0 26137644 61 RP PAS No adjacency 17998 0 0 RP PAS Incomplete adjacency 15613568 0 0 RP PAS TTL expired 0 0 57846066 RP PAS IP options set 0 0 6348 RP PAS Routed to Null0 133794493 0 19286708 RP PAS Features 116436 0 6682 RP PAS IP redirects 0 0 15364 RP PAS Unclassified reason 561 0 0 RP PAS Neighbor resolution req 1016694 0 0 RP PAS Total 150559750 26137644 77161229 All Total 150559754 52275383 77161231 ============== show cef drop ================== % Command accepted but obsolete, see 'show (ip|ipv6) cef switching statistics [feature]' IPv4 CEF Drop Statistics Slot Encap_fail Unresolved Unsupported No_route No_adj ChkSum_Err RP 0 0 57874558 0 17998 0 IPv6 CEF Drop Statistics Slot Encap_fail Unresolved Unsupported No_route No_adj RP 0 0 0 0 0 ============== show cef not-cef-switched ================== % Command accepted but obsolete, see 'show (ip|ipv6) cef switching statistics [feature]' IPv4 CEF Packets passed on to next switching layer Slot No_adj No_encap Unsupp'ted Redirect Receive Options Access Frag RP 0 0 57874569 15366 52275519 6348 6682 0 IPv6 CEF Packets passed on to next switching layer Slot No_adj No_encap Unsupp'ted Redirect Receive Options Access MTU RP 0 0 8177895 0 164617 0 0 0 в 3 ночи: ============== show ip cef switching statistics ================== Path Reason Drop Punt Punt2Host RP LES Packet destined for us 0 26166468 0 RP LES IP redirects 0 0 2 RP LES Neighbor resolution req 4 95 0 RP LES Total 4 26166563 2 RP PAS Packet destined for us 0 26166468 61 RP PAS No adjacency 18021 0 0 RP PAS Incomplete adjacency 15629312 0 0 RP PAS TTL expired 0 0 57926135 RP PAS IP options set 0 0 6348 RP PAS Routed to Null0 134258274 0 19318014 RP PAS Features 116497 0 6688 RP PAS IP redirects 0 0 15365 RP PAS Unclassified reason 561 0 0 RP PAS Neighbor resolution req 1018381 0 0 RP PAS Total 151041046 26166468 77272611 All Total 151041050 52333031 77272613 ============== show cef drop ================== % Command accepted but obsolete, see 'show (ip|ipv6) cef switching statistics [feature]' IPv4 CEF Drop Statistics Slot Encap_fail Unresolved Unsupported No_route No_adj ChkSum_Err RP 0 0 57954646 0 18021 0 IPv6 CEF Drop Statistics Slot Encap_fail Unresolved Unsupported No_route No_adj RP 0 0 0 0 0 ============== show cef not-cef-switched ================== % Command accepted but obsolete, see 'show (ip|ipv6) cef switching statistics [feature]' IPv4 CEF Packets passed on to next switching layer Slot No_adj No_encap Unsupp'ted Redirect Receive Options Access Frag RP 0 0 57954686 15367 52333161 6348 6688 0 IPv6 CEF Packets passed on to next switching layer Slot No_adj No_encap Unsupp'ted Redirect Receive Options Access MTU RP 0 0 8191681 0 164873 0 0 0 А размер этих тысяч пакетов там 40 и 52 байт: # Pkt Size flows octets packets # 40 1850 651505445 16280775 52 1646 517856543 9955750 51 5 722828 13907 41 23 399213 9631 что со своей стороны подтверждает tcpdump, показывая много пакетов нулевой длины: 03:07:07.750247 IP 104.18.63.16.https > filter2.22223: Flags [F.], seq 0, ack 1, win 1026, length 0 03:07:07.750258 IP filter2.22223 > 104.18.63.16.https: Flags [F.], seq 1, ack 1, win 1026, length 0 03:07:07.750262 IP 104.28.12.39.https > filter2.46610: Flags [F.], seq 0, ack 1, win 1026, length 0 03:07:07.750273 IP filter2.46610 > 104.28.12.39.https: Flags [F.], seq 1, ack 1, win 1026, length 0 03:07:07.750277 IP 104.28.12.39.https > filter2.46610: Flags [F.], seq 0, ack 1, win 1026, length 0 03:07:07.750288 IP filter2.46610 > 104.28.12.39.https: Flags [F.], seq 1, ack 1, win 1026, length 0 03:07:07.750291 IP 104.20.37.25.https > filter2.47625: Flags [F.], seq 0, ack 1, win 1026, length 0 03:07:07.750303 IP filter2.47625 > 104.20.37.25.https: Flags [F.], seq 1, ack 1, win 1026, length 0 Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
YuryD Опубликовано 20 августа, 2016 · Жалоба Что-то не там ищете. Моя коробочка лежит в нашей офисной локалке, никакого аномального трафика от неё не замечено. Она понятно за натом, куда-то лазит, но никаких траблем с трафиком я не заметил. По https куда-то лазит, к нашему dns, куда-то более может быть, не напрягает. Может вы ей реальник дали, и его трахают извне ? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
gorbunkul2 Опубликовано 20 августа, 2016 · Жалоба пакеты не от коробочки, а от squid'а c ssl_crtd. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Butch3r Опубликовано 22 августа, 2016 · Жалоба Что-то не там ищете. Моя коробочка лежит в нашей офисной локалке, никакого аномального трафика от неё не замечено. Она понятно за натом, куда-то лазит, но никаких траблем с трафиком я не заметил. По https куда-то лазит, к нашему dns, куда-то более может быть, не напрягает. Может вы ей реальник дали, и его трахают извне ? а мы ей на порту 10ку линк включили, как в ТЗ написано :) Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
vurd Опубликовано 23 августа, 2016 · Жалоба Нам вот не дают коробочку, предлагают образ виртуалки. Не то что бы она была мне очень сильно нужна.. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
snvoronkov Опубликовано 23 августа, 2016 · Жалоба Нам вот не дают коробочку, предлагают образ виртуалки. Не то что бы она была мне очень сильно нужна.. Дык, пишите, что не имеете технической возможности поставить образ. Дадут коробочку. Нам с третьего письма таки дали. :-) Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Antares Опубликовано 23 августа, 2016 · Жалоба Нам вот не дают коробочку, предлагают образ виртуалки. Не то что бы она была мне очень сильно нужна.. Дык, пишите, что не имеете технической возможности поставить образ. Дадут коробочку. Нам с третьего письма таки дали. :-) А нам не дали коробочку, сказали кончились ))) Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
snvoronkov Опубликовано 23 августа, 2016 · Жалоба А нам не дали коробочку, сказали кончились ))) Там у них написано, что должны коробочку дать, которая тестировать будет. Про софт в виртуалку вообще нигде ничего нет. На то и напирайте. Раз кончились, два кончились... А потом или шах сдохнет или ишак. То-есть, или коробочки таки появятся, или их уже совсем не надо будет. :) Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Antares Опубликовано 23 августа, 2016 · Жалоба А нам не дали коробочку, сказали кончились ))) Там у них написано, что должны коробочку дать, которая тестировать будет. Про софт в виртуалку вообще нигде ничего нет. На то и напирайте. Раз кончились, два кончились... А потом или шах сдохнет или ишак. То-есть, или коробочки таки появятся, или их уже совсем не надо будет. :) А зачем напирать? Ну нет и нет... Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
gorbunkul2 Опубликовано 23 августа, 2016 · Жалоба по теме: перевел фильтрацию на другой сервер, явление множества пакетов и загрузки маршрутизатора ушло. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
myth Опубликовано 24 августа, 2016 · Жалоба 53 порт закрыт извне? И для коробки, и для сервера? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
gorbunkul2 Опубликовано 24 августа, 2016 · Жалоба 53 порт закрыт извне? И для коробки, и для сервера? коробка за NAT-ом, на сервере никто 53 порт не слушает. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
myth Опубликовано 25 августа, 2016 · Жалоба Число соединений может ей порезать? С conntrack как? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
gorbunkul2 Опубликовано 26 августа, 2016 · Жалоба Число соединений может ей порезать? С conntrack как? пишу же, что проблема ушла с переводом фильтрации на новый сервер. не знаю, то ли squid так работал, то ли что. в скором времени попробую старый снова ввести в строй, обновить там всё и посмотреть, как что будет. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
stalker86 Опубликовано 27 августа, 2016 · Жалоба ради интереса пособирайте трафик, вылетающий со сквида трафик и посмотрите в том же wireshark что там внутри Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
