fox_m Опубликовано 22 октября, 2019 · Жалоба Всем привет. Есть файл с 1.5 млн ip адресов (выгрузка для Ревизора). Может кто поделится скриптом (желательно на perl), как их можно агрегировать в /24 префиксы? А то слишком много маршрутов приходится ставить. 100.20.0.40 100.20.1.140 100.20.1.149 100.20.1.171 100.20.1.202 100.20.1.215 100.20.1.237 100.20.1.27 100.20.1.31 100.20.1.64 100.20.10.131 100.20.10.147 100.20.10.178 100.20.10.182 100.20.10.187 100.20.10.226 100.20.10.254 100.20.10.28 100.20.10.78 100.20.100.114 100.20.100.122 100.20.100.129 100.20.100.149 100.20.100.176 100.20.100.219 100.20.100.219 100.20.100.233 100.20.100.238 100.20.100.240 100.20.100.244 100.20.100.247 100.20.100.248 100.20.100.44 100.20.100.44 100.20.100.48 100.20.100.50 100.20.100.55 100.20.100.77 100.20.102.102 100.20.102.105 100.20.102.108 100.20.102.109 100.20.102.13 100.20.102.150 Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
alibek Опубликовано 22 октября, 2019 · Жалоба А что нужно получить? Можно делать точную суммаризацию сетей — некоторые списки схлопнутся до /24, но в среднем экономия будет небольшой. Можно делать округленную суммаризацию сетей (агрегировать до /24, если в подсети больше 128 хостов), экономия будет большой, но будут ложные блокировки. Можно комбинировать include/exclude (агрегировать до крупных блоков, а затем исключать из них небольшие блоки и отдельные хосты), это было бы оптимальным, но система блокировки должна понимать такие ACL. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
fox_m Опубликовано 22 октября, 2019 · Жалоба 18 минут назад, alibek сказал: А что нужно получить? Можно делать точную суммаризацию сетей — некоторые списки схлопнутся до /24, но в среднем экономия будет небольшой. Можно делать округленную суммаризацию сетей (агрегировать до /24, если в подсети больше 128 хостов), экономия будет большой, но будут ложные блокировки. Можно комбинировать include/exclude (агрегировать до крупных блоков, а затем исключать из них небольшие блоки и отдельные хосты), это было бы оптимальным, но система блокировки должна понимать такие ACL. Ну пока хотелось бы агрегировать по /24 префиксам. Например, в списке есть ряд ip у которых первые три октета одинаковые их можно агрегировать в /24. Короче пока так сделал. В исходном списке у каждого ip удалил последний октет. Затем сортировка полученного списка по уникальным записям (sort -u). В итоге, вместо 1.5 млн стало 111 тыс. Многова-то конечно тоже Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
alibek Опубликовано 22 октября, 2019 · Жалоба Вопрос именно в том, как агрегировать. Если в блока есть 256 адресов, то тут и вопросов нет, этот блок без проблем сожмется до /24. А если в блоке не 256 адресов, а 200 (и вразброс)? Если менять его на /24, то 54 адреса будут заблокированы без оснований. Если в блоке есть хотя бы один адрес и его сжимать до /24, тогда экономия конечно будет большая. Но тогда и будет куча необоснованно заблокированных адресов. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
vlad11 Опубликовано 22 октября, 2019 · Жалоба Под FreeBSD есть такое net-mgmt/aggregate. И есть упоминание о Perl скрипте. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
alibek Опубликовано 22 октября, 2019 · Жалоба Например вот текущая статистика по IP-адресам из реестра. Список полностью "заполненных" подсетей (то есть в реестре для этой подсети указано 256 разных хостов): Скрытый текст 196.54.204.xxx 196.54.203.xxx 196.54.202.xxx 196.54.201.xxx 196.52.117.xxx 104.250.220.xxx 104.249.9.xxx 104.249.8.xxx 104.249.63.xxx 104.249.61.xxx 104.249.60.xxx 104.249.59.xxx 104.249.58.xxx 104.249.56.xxx 104.249.34.xxx 104.249.33.xxx 104.249.32.xxx 104.249.31.xxx 104.249.30.xxx 104.249.29.xxx 104.249.28.xxx 104.249.27.xxx 104.249.26.xxx 104.249.25.xxx 104.249.20.xxx 104.249.19.xxx 104.249.18.xxx 104.249.15.xxx 104.249.14.xxx 104.249.13.xxx 104.249.12.xxx 104.249.11.xxx 104.249.10.xxx 104.239.98.xxx 104.239.97.xxx 104.239.96.xxx 104.239.95.xxx 104.239.94.xxx 104.239.93.xxx 104.239.92.xxx 104.239.91.xxx 104.239.90.xxx 104.239.9.xxx 104.239.88.xxx 104.239.86.xxx 104.239.85.xxx 104.239.84.xxx 104.239.82.xxx 104.239.81.xxx 104.239.80.xxx 104.239.8.xxx 104.239.75.xxx 104.239.73.xxx 104.239.71.xxx 104.239.70.xxx 104.239.69.xxx 104.239.68.xxx 104.239.47.xxx 104.239.44.xxx 104.239.43.xxx 104.239.42.xxx 104.239.41.xxx 104.239.40.xxx 104.239.39.xxx 104.239.38.xxx 104.239.37.xxx 104.239.36.xxx 104.239.35.xxx 104.239.34.xxx 104.239.33.xxx 104.239.32.xxx 104.239.31.xxx 104.239.30.xxx 104.239.28.xxx 104.239.27.xxx 104.239.26.xxx 104.239.25.xxx 104.239.24.xxx 104.239.23.xxx 104.239.22.xxx 104.239.20.xxx 104.239.19.xxx 104.239.18.xxx 104.239.17.xxx 104.239.16.xxx 104.239.13.xxx 104.239.123.xxx 104.239.122.xxx 104.239.121.xxx 104.239.120.xxx 104.239.111.xxx 104.239.11.xxx 104.239.108.xxx 104.239.107.xxx 104.239.106.xxx 104.239.105.xxx 104.239.104.xxx 104.239.101.xxx 104.239.10.xxx 104.238.9.xxx 104.238.8.xxx 104.238.7.xxx 104.238.5.xxx 104.238.4.xxx 104.238.20.xxx 104.238.19.xxx 104.222.191.xxx 104.222.190.xxx 104.143.224.xxx Сводка по "наполнению" подсетей (количество хостов в подсети /24): Скрытый текст Хосты Подсети 256 109 255 47 254 34 253 25 252 13 251 6 250 5 249 5 248 5 247 5 246 3 245 4 244 3 243 3 242 1 241 6 240 3 239 2 238 3 237 4 236 3 235 2 234 3 232 1 231 4 230 5 229 1 228 3 225 4 224 2 223 1 221 2 220 1 219 2 214 2 213 2 210 1 207 1 206 1 205 1 203 2 201 1 200 4 199 3 198 5 197 9 196 3 195 4 194 3 193 3 192 7 191 2 190 3 189 5 188 4 187 6 186 2 185 4 184 5 183 1 182 2 181 2 180 1 179 3 178 4 177 5 176 5 175 2 174 3 173 2 172 2 171 2 170 1 169 4 168 1 167 3 166 3 165 3 164 3 163 2 161 2 160 3 158 3 157 4 156 3 155 8 154 3 153 2 152 2 151 4 150 3 149 3 148 5 147 8 146 3 145 3 144 7 143 7 142 9 141 9 140 9 139 5 138 10 137 19 136 13 135 16 134 20 133 25 132 24 131 29 130 27 129 27 128 31 127 35 126 40 125 25 124 29 123 27 122 28 121 24 120 25 119 23 118 21 117 18 116 17 115 20 114 15 113 20 112 25 111 17 110 15 109 12 108 18 107 19 106 18 105 18 104 15 103 18 102 21 101 30 100 24 99 34 98 28 97 34 96 25 95 30 94 36 93 35 92 36 91 42 90 24 89 36 88 29 87 33 86 41 85 36 84 38 83 27 82 41 81 36 80 28 79 34 78 35 77 28 76 24 75 47 74 29 73 34 72 23 71 27 70 37 69 36 68 46 67 28 66 32 65 35 64 43 63 44 62 35 61 40 60 50 59 50 58 58 57 69 56 74 55 80 54 103 53 108 52 130 51 150 50 155 49 164 48 174 47 213 46 210 45 219 44 213 43 263 42 233 41 243 40 262 39 269 38 288 37 310 36 342 35 350 34 397 33 435 32 468 31 458 30 500 29 612 28 602 27 580 26 679 25 752 24 810 23 916 22 953 21 1144 20 1209 19 1312 18 1445 17 1628 16 1816 15 2075 14 2266 13 2500 12 3028 11 3517 10 4013 9 4452 8 4894 7 5268 6 5528 5 5872 4 6510 3 7704 2 10887 1 18319 Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
fox_m Опубликовано 22 октября, 2019 · Жалоба 30 минут назад, alibek сказал: Вопрос именно в том, как агрегировать. Если в блока есть 256 адресов, то тут и вопросов нет, этот блок без проблем сожмется до /24. А если в блоке не 256 адресов, а 200 (и вразброс)? Если менять его на /24, то 54 адреса будут заблокированы без оснований. Если в блоке есть хотя бы один адрес и его сжимать до /24, тогда экономия конечно будет большая. Но тогда и будет куча необоснованно заблокированных адресов. Да, это в случае если по ip блочить. Мне то нужно маршруты добавить, что бы пакеты на релиректор приходили. Изначально маршурты были на /32 префиксы. Но щас их очень много стало. Поэтому решил по /24 агрегировать. Так на порядок меньше получается. 22 минуты назад, alibek сказал: Например вот текущая статистика по IP-адресам из реестра. Список полностью "заполненных" подсетей (то есть в реестре для этой подсети указано 256 разных хостов): Показать содержимое 196.54.204.xxx 196.54.203.xxx 196.54.202.xxx 196.54.201.xxx 196.52.117.xxx 104.250.220.xxx 104.249.9.xxx 104.249.8.xxx 104.249.63.xxx 104.249.61.xxx 104.249.60.xxx 104.249.59.xxx 104.249.58.xxx 104.249.56.xxx 104.249.34.xxx 104.249.33.xxx 104.249.32.xxx 104.249.31.xxx 104.249.30.xxx 104.249.29.xxx 104.249.28.xxx 104.249.27.xxx 104.249.26.xxx 104.249.25.xxx 104.249.20.xxx 104.249.19.xxx 104.249.18.xxx 104.249.15.xxx 104.249.14.xxx 104.249.13.xxx 104.249.12.xxx 104.249.11.xxx 104.249.10.xxx 104.239.98.xxx 104.239.97.xxx 104.239.96.xxx 104.239.95.xxx 104.239.94.xxx 104.239.93.xxx 104.239.92.xxx 104.239.91.xxx 104.239.90.xxx 104.239.9.xxx 104.239.88.xxx 104.239.86.xxx 104.239.85.xxx 104.239.84.xxx 104.239.82.xxx 104.239.81.xxx 104.239.80.xxx 104.239.8.xxx 104.239.75.xxx 104.239.73.xxx 104.239.71.xxx 104.239.70.xxx 104.239.69.xxx 104.239.68.xxx 104.239.47.xxx 104.239.44.xxx 104.239.43.xxx 104.239.42.xxx 104.239.41.xxx 104.239.40.xxx 104.239.39.xxx 104.239.38.xxx 104.239.37.xxx 104.239.36.xxx 104.239.35.xxx 104.239.34.xxx 104.239.33.xxx 104.239.32.xxx 104.239.31.xxx 104.239.30.xxx 104.239.28.xxx 104.239.27.xxx 104.239.26.xxx 104.239.25.xxx 104.239.24.xxx 104.239.23.xxx 104.239.22.xxx 104.239.20.xxx 104.239.19.xxx 104.239.18.xxx 104.239.17.xxx 104.239.16.xxx 104.239.13.xxx 104.239.123.xxx 104.239.122.xxx 104.239.121.xxx 104.239.120.xxx 104.239.111.xxx 104.239.11.xxx 104.239.108.xxx 104.239.107.xxx 104.239.106.xxx 104.239.105.xxx 104.239.104.xxx 104.239.101.xxx 104.239.10.xxx 104.238.9.xxx 104.238.8.xxx 104.238.7.xxx 104.238.5.xxx 104.238.4.xxx 104.238.20.xxx 104.238.19.xxx 104.222.191.xxx 104.222.190.xxx 104.143.224.xxx Сводка по "наполнению" подсетей (количество хостов в подсети /24): Показать содержимое Хосты Подсети 256 109 255 47 254 34 253 25 252 13 251 6 250 5 249 5 248 5 247 5 246 3 245 4 244 3 243 3 242 1 241 6 240 3 239 2 238 3 237 4 236 3 235 2 234 3 232 1 231 4 230 5 229 1 228 3 225 4 224 2 223 1 221 2 220 1 219 2 214 2 213 2 210 1 207 1 206 1 205 1 203 2 201 1 200 4 199 3 198 5 197 9 196 3 195 4 194 3 193 3 192 7 191 2 190 3 189 5 188 4 187 6 186 2 185 4 184 5 183 1 182 2 181 2 180 1 179 3 178 4 177 5 176 5 175 2 174 3 173 2 172 2 171 2 170 1 169 4 168 1 167 3 166 3 165 3 164 3 163 2 161 2 160 3 158 3 157 4 156 3 155 8 154 3 153 2 152 2 151 4 150 3 149 3 148 5 147 8 146 3 145 3 144 7 143 7 142 9 141 9 140 9 139 5 138 10 137 19 136 13 135 16 134 20 133 25 132 24 131 29 130 27 129 27 128 31 127 35 126 40 125 25 124 29 123 27 122 28 121 24 120 25 119 23 118 21 117 18 116 17 115 20 114 15 113 20 112 25 111 17 110 15 109 12 108 18 107 19 106 18 105 18 104 15 103 18 102 21 101 30 100 24 99 34 98 28 97 34 96 25 95 30 94 36 93 35 92 36 91 42 90 24 89 36 88 29 87 33 86 41 85 36 84 38 83 27 82 41 81 36 80 28 79 34 78 35 77 28 76 24 75 47 74 29 73 34 72 23 71 27 70 37 69 36 68 46 67 28 66 32 65 35 64 43 63 44 62 35 61 40 60 50 59 50 58 58 57 69 56 74 55 80 54 103 53 108 52 130 51 150 50 155 49 164 48 174 47 213 46 210 45 219 44 213 43 263 42 233 41 243 40 262 39 269 38 288 37 310 36 342 35 350 34 397 33 435 32 468 31 458 30 500 29 612 28 602 27 580 26 679 25 752 24 810 23 916 22 953 21 1144 20 1209 19 1312 18 1445 17 1628 16 1816 15 2075 14 2266 13 2500 12 3028 11 3517 10 4013 9 4452 8 4894 7 5268 6 5528 5 5872 4 6510 3 7704 2 10887 1 18319 А откуда статистика? Сами собирали? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
alibek Опубликовано 22 октября, 2019 · Жалоба 5 минут назад, fox_m сказал: Мне то нужно маршруты добавить, что бы пакеты на релиректор приходили. Понял. Тогда да, таким образом уменьшать число префиксов можно, только это неправильно будет называть агрегацией. 6 минут назад, fox_m сказал: А откуда статистика? Сами собирали? Да, после загрузки реестра я собираю из дампа различную статистику. Получить из дампа список IP-адресов: xmlstarlet select -T -t -m "/reg:register/content[@blockType='ip' and ip]" \ -v "ip" -n "dump.xml" \ | sort -V -u \ > list-ip.txt Из полученного списка IP-адресов получить подсети C-класса: cut -d'.' -f1-3 list-ip.txt | sort -V | uniq -c | sort -nr Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
st_re Опубликовано 22 октября, 2019 · Жалоба use Net::Netmask; @blocks = cidrs2cidrs(@blocks_with_dups) но память нужна, Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
alibek Опубликовано 22 октября, 2019 · Жалоба Это избыточно, как мне кажется. Для данной задачи не нужна агрегация, нужно просто взять первые три октета и убрать дубликаты. Кстати, давно не смотрел статистику по дампу. Дамп: /srv/erdi/dump/dump_last.xml (2019-10-22T10:13:00+03:00, байт 161552432, строк 3416504) Формируются списки из дампа... - список адресов (list-url.txt) - список доменов (list-domain.txt) - список доменов с маской (list-mask.txt) - список IP-адресов (list-ip.txt) - список IP-подсетей (list-net.txt) - список IPv6-адресов (list-ip6.txt) Статистика по дампу Сводка по URL: - всего записей: 131518 - наиболее длинный URL: 892 - протокол HTTP: всего 90778; порты 80 81 888 8001 8080 8081 - протокол HTTPS: всего 40728; порты 16869 16873 - другие протоколы: всего 12; newcamd525 - top-5 доменов: igra-prestoloff.cx (x 5282) new-rutor.org (x 3229) vidoevo.com (x 1565) rutor.info (x 1217) xrutor.org (x 1057) Сводка по доменам: - всего доменов: 116660 - из них с маской: 9836 - top-5 доменов без маски: linode.com (x 2230) sl.pt (x 1432) prava-online.org (x 355) googleusercontent.com (x 270) upcloud.com (x 183) - top-5 доменов с маской: olimp98b4.top (x 33) olimp161f.top (x 33) olimp6753.top (x 32) olimp4859.top (x 32) olimp27fe.top (x 32) Сводка по IP-адресам: - всего адресов: 1393170 - top-5 для адресов: 196.54.204.xxx (x 256) 196.54.203.xxx (x 256) 196.54.202.xxx (x 256) 196.54.201.xxx (x 256) 196.52.117.xxx (x 256) - всего подсетей: 39 блок /16: 8 x 65536 = 524288 блок /17: 5 x 32768 = 163840 блок /19: 2 x 8192 = 16384 блок /20: 3 x 4096 = 12288 блок /21: 2 x 2048 = 4096 блок /22: 11 x 1024 = 11264 блок /23: 4 x 512 = 2048 блок /24: 4 x 256 = 1024 итого: 735232 - top-5 для подсетей: 128.199.0.0/16 159.203.0.0/16 159.65.0.0/16 159.89.0.0/16 165.227.0.0/16 Сводка по IPv6-адресам: - всего адресов: 50 Информация по подсетям - загрузка сводки в list-whois.txt... - подсчет совпадений... - расчеты выполнены AS 16509: AMAZON-02 - Amazon.com, Inc., US хосты: 829179 AS 14061: DIGITALOCEAN-ASN - DigitalOcean, LLC, US подсеть 46.101.128.0/17 подсеть 159.65.0.0/16 подсеть 159.89.0.0/16 подсеть 159.203.0.0/16 подсеть 165.227.0.0/16 подсеть 167.99.0.0/16 подсеть 174.138.0.0/17 подсеть 188.166.0.0/17 подсеть 206.189.0.0/16 хосты: 37167 итого: 528,687 AS 14618: AMAZON-AES - Amazon.com, Inc., US хосты: 345439 AS 24940: HETZNER-AS, DE подсеть 178.63.0.0/16 хосты: 14598 итого: 80,134 AS 6762: SEABONE-NET TELECOM ITALIA SPARKLE S.p.A., IT хосты: 47861 AS 13886: CLOUD-SOUTH - Cloud South, US подсеть 64.137.0.0/17 хосты: 14871 итого: 47,639 AS 12876: Online SAS, FR подсеть 195.154.0.0/17 хосты: 3044 итого: 35,812 AS 18705: RIMBLACKBERRY - BlackBerry Limited, CA подсеть 68.171.224.0/19 подсеть 74.82.64.0/19 подсеть 103.246.200.0/22 подсеть 178.239.88.0/21 хосты: 12 итого: 19,468 AS 63949: LINODE-AP Linode, LLC, US хосты: 13815 AS 35554: AS-8KCLOUD, GB хосты: 11281 AS 62041: TELEGRAM, GB подсеть 91.108.4.0/22 подсеть 91.108.8.0/22 подсеть 149.154.160.0/20 подсеть 149.154.164.0/22 хосты: 599 итого: 7,767 AS 38631: LINE LINE Corporation, JP подсеть 203.104.128.0/20 подсеть 203.104.144.0/21 подсеть 203.104.152.0/22 хосты: 4 итого: 7,172 AS 1273: CW Vodafone Group PLC, GB хосты: 7135 AS 42946: AS-DR-CLOUD, NL хосты: 6697 AS 32780: HOSTINGSERVICES-INC - Hosting Services, Inc., US подсеть 98.158.176.0/20 хосты: 283 итого: 4,379 AS 20473: AS-CHOOPA - Choopa, LLC, US хосты: 4296 AS 26464: JOYENT-INC-US - Joyent, Inc., US хосты: 4039 AS 202053: UPCLOUD, FI хосты: 3557 AS 62014: TELEGRAM, NL подсеть 91.108.16.0/22 подсеть 91.108.56.0/22 подсеть 149.154.168.0/22 хосты: 59 итого: 3,131 AS 19994: RACKSPACE - Rackspace Hosting, US хосты: 3107 AS 27357: RACKSPACE - Rackspace Hosting, US хосты: 2347 AS 33070: RMH-14 - Rackspace Hosting, US хосты: 2334 AS 202492: SGHL1-AS, NL хосты: 2281 AS 13335: CLOUDFLARENET - Cloudflare, Inc., US хосты: 2237 AS 59930: TELEGRAM_MESSENGER, GB подсеть 91.108.12.0/22 подсеть 149.154.172.0/22 хосты: 71 итого: 2,119 AS 13213: UK2NET-AS, GB подсеть 176.67.169.0/24 хосты: 1802 итого: 2,058 AS 35913: DEDIPATH-LLC - DediPath, US хосты: 1851 AS 16276: OVH, FR хосты: 1744 AS 209249: ANYCLOUD-AS, GB хосты: 1697 AS 202242: ARUBA-CLOUD, IT хосты: 1473 AS 25697: UPCLOUDUSA - UpCloud USA Inc, US хосты: 1305 AS 34702: WAVECOM-AS, EE хосты: 1251 AS 15395: RACKSPACE-LON, GB хосты: 1078 AS 7979: SERVERS - Servers.com, Inc., US хосты: 838 AS 42065: ETELECOM-AS, RU подсеть 91.108.24.0/23 подсеть 91.108.33.0/24 итого: 768 AS 24806: INTERNET-CZ Ktis 2, 384 03 Ktis, CZ хосты: 690 AS 31034: ARUBA-ASN, IT хосты: 663 AS 204170: AWASR, OM хосты: 624 AS 205727: ARUBA, PL хосты: 585 AS 9009: M247, GB хосты: 580 AS 200185: XANDMAIL-ASN, DE хосты: 548 AS 49635: CLOUDING, ES подсеть 185.166.212.0/23 итого: 512 AS 45187: RACKSPACE-AP Rackspace IT Hosting AS IT Hosting Provider Hong Kong, HK хосты: 456 AS 199653: ARUBAFR-AS, FR хосты: 407 AS 58683: RACKSPACE-AS Rackspace.com Sydney, HK хосты: 363 AS 199883: ARUBACLOUDLTD-ASN, GB хосты: 351 AS 395800: GBTCLOUD - Greybeard Technology LLC, US хосты: 289 AS 15169: GOOGLE - Google LLC, US хосты: 289 AS 20860: IOMART-AS, GB хосты: 264 AS 41436: CLOUDWEBMANAGE-EU, GB подсеть 185.229.227.0/24 хосты: 6 итого: 262 AS 31500: GLOBALNET-AS, RU подсеть 109.239.140.0/24 хосты: 2 итого: 258 AS 16125: CHERRYSERVERS1-AS, LT хосты: 242 AS 59642: CHERRYSERVERS2-AS, LT хосты: 222 AS 39798: MIVOCLOUD, MD хосты: 214 AS 56630: MELBICOM-EU-AS Melbikomas UAB, NL хосты: 199 AS 202468: ABRARVAN-AS AbrArvan CDN and IaaS, IR хосты: 198 AS 39572: ADVANCEDHOSTERS-AS, NL хосты: 187 AS 32181: ASN-GIGENET - GigeNET, US хосты: 162 AS 36351: SOFTLAYER - SoftLayer Technologies Inc., US хосты: 157 AS 28753: LEASEWEB-DE-FRA-10, DE хосты: 133 AS 43350: NFORCE, NL хосты: 123 AS 47285: PTP, IR хосты: 122 AS 46475: LIMESTONENETWORKS - Limestone Networks, Inc., US хосты: 112 AS 26496: AS-26496-GO-DADDY-COM-LLC - GoDaddy.com, LLC, US хосты: 112 AS 35415: WEBZILLA, NL хосты: 107 AS 201213: DA-RZ_AS, DE хосты: 107 AS 62282: RACKRAY UAB Rakrejus, LT хосты: 104 AS 12025: IO-DATA-CENTERS - IO Capital Princess, LLC, US хосты: 102 AS 36445: COEXTRO-01 - Coextro, CA хосты: 96 AS 45916: GTPL-AS-AP Gujarat Telelink Pvt Ltd, IN хосты: 81 AS 50673: SERVERIUS-AS, NL хосты: 74 AS 36352: AS-COLOCROSSING - ColoCrossing, US хосты: 60 AS 8075: MICROSOFT-CORP-MSN-AS-BLOCK - Microsoft Corporation, US хосты: 58 AS 207154: PROMINKOM, RU хосты: 58 AS 45102: CNNIC-ALIBABA-US-NET-AP Alibaba (US) Technology Co., Ltd., CN хосты: 53 AS 43754: ASIATECH, IR хосты: 52 AS 29791: VOXEL-DOT-NET - Internap Corporation, US хосты: 51 AS 25369: BANDWIDTH-AS, GB хосты: 51 AS 136620: VMHAUSLIMITED-AS-AP VMHaus Limited, GB хосты: 45 AS 60781: LEASEWEB-NL-AMS-01 Netherlands, NL хосты: 44 AS 40676: AS40676 - Psychz Networks, US хосты: 43 AS 49505: SELECTEL, RU хосты: 40 AS 48282: VDSINA-AS, RU хосты: 40 AS 42831: UKSERVERS-AS UK Dedicated Servers, Hosting and Co-Location, GB хосты: 40 AS 204601: ON-LINE-DATA Server location - Netherlands, Dronten, UA хосты: 40 AS 44285: SEFROYEKPARDAZENG-AS AS6736 - IRANET-IPM, IR хосты: 38 AS 23576: NHN-AS-KR NBP, KR хосты: 38 AS 201057: MULTIM, FI хосты: 37 AS 197988: SOLARCOM, CH хосты: 36 AS 3462: HINET Data Communication Business Group, TW хосты: 34 AS 24961: MYLOC-AS, DE хосты: 33 AS 61317: ASDETUK http://www.heficed.com, GB хосты: 31 AS 6: BULL-HN - Bull HN Information Systems Inc., US хосты: 31 AS 5577: ROOT, LU хосты: 31 AS 200406: BERBIDSERVER, IR хосты: 31 AS 49981: WORLDSTREAM, NL хосты: 30 AS 43338: RATIONAL-AS, GB хосты: 29 AS 262448: DIALHOST INTERNET LTDA., BR хосты: 26 AS 196752: TILAA, NL хосты: 26 AS 51167: CONTABO, DE хосты: 25 AS 202448: MVPS https://www.mvps.net, EU хосты: 25 AS 6327: SHAW - Shaw Communications Inc., CA хосты: 22 AS 22773: ASN-CXA-ALL-CCI-22773-RDC - Cox Communications Inc., US хосты: 22 AS 59729: ITL-, BG хосты: 19 AS 31898: ORACLE-BMC-31898 - Oracle Corporation, US хосты: 19 AS 209836: NHCO, IR хосты: 19 AS 42331: FREEHOST, UA хосты: 18 AS 33438: HIGHWINDS2 - Highwinds Network Group, Inc., US хосты: 18 AS 15626: ITLAS, UA хосты: 18 AS 12989: HWNG, NL хосты: 18 AS 46606: UNIFIEDLAYER-AS-1 - Unified Layer, US хосты: 17 AS 44066: DE-FIRSTCOLO www.first-colo.net, DE хосты: 17 AS 31549: RASANA, IR хосты: 17 AS 21100: ITLDC-NL, UA хосты: 17 AS 21409: IKOULA, FR хосты: 16 AS 60087: ASSUPERNOVA, IT хосты: 15 AS 35916: MULTA-ASN1 - MULTACOM CORPORATION, US хосты: 15 AS 209279: POSHTVAR-AS, IR хосты: 15 AS 19905: NEUSTAR-AS6 - NeuStar, Inc., US хосты: 15 AS 60117: HS, AE хосты: 14 AS 209741: TSAN, IR хосты: 14 AS 62731: 247RACK-COM - 247RACK.com, US хосты: 13 AS 62088: SINARO-ASN, NL хосты: 13 AS 44901: BELCLOUD, BG хосты: 13 AS 49392: ASBAXETN, RU хосты: 12 AS 48666: AS-MAROSNET Moscow, Russia, RU хосты: 12 AS 48536: FILCO-AS, IM хосты: 12 AS 32475: SINGLEHOP-LLC - SingleHop LLC, US хосты: 12 AS 26277: PREMIANET - Las Vegas NV Datacenter, US хосты: 12 AS 20278: NEXEON - Nexeon Technologies, Inc., US хосты: 12 AS 174: COGENT-174 - Cogent Communications, US хосты: 12 AS 50340: SELECTEL-MSK, RU хосты: 11 AS 48347: MTW-AS, RU хосты: 11 AS 43927: HOSTERION, RO хосты: 11 AS 42610: NCNET-AS, RU хосты: 11 AS 198849: VISL-UK Used in Telecity, GI хосты: 11 AS 8560: ONEANDONE-AS Brauerstrasse 48, DE хосты: 10 AS 55286: SERVER-MANIA - B2 Net Solutions Inc., CA хосты: 10 AS 54829: NYITX - NYITX, US хосты: 10 AS 50113: SUPERSERVERSDATACENTER, RU хосты: 10 AS 47447: TTM, DE хосты: 10 AS 44050: PIN-AS, RU хосты: 10 AS 200740: FIRSTBYTE-EU-AS, RU хосты: 10 Неидентифицированные AS подсеть 91.108.20.0/22 подсеть 91.108.36.0/23 подсеть 91.108.38.0/23 подсеть 128.199.0.0/16 хосты: 11763 итого: 79,347 Похоже что одиночных IP-адресов уже больше, чем адресов в подсетях. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
st_re Опубликовано 22 октября, 2019 · Жалоба 6 минут назад, alibek сказал: Это избыточно, как мне кажется. Для данной задачи не нужна агрегация, нужно просто взять первые три октета и убрать дубликаты. ну смотря зачем список, если загнать в /dev/null полностью заблокированных, то агрегация по /24 - "слегка" перебор.. если загнать в анализатор (DPI) всех причастных к dump.xml, чтобы УРЛы блокировать, то там список явно короче, я бы разделил, сначала отрезал бы блокированных по IP в /dev/null по длинному списку, а потом бы уже фильтровал по в разы более короткому списку домены и урлы (там кстати еще надо тогда и ресолв делать, а то список ip с урлами далек от реальной жизни, пропусков будет много, их и с ресолвом будет хватать). Но тут надо смотреть куда мы включаемся и какие там возможности. пока результат агрегации списка к полной блокировке у меня такой количество - длина cidr 2 - 19 3 - 20 5 - 17 6 - 21 8 - 16 14 - 22 17 - 23 31 - 24 55 - 25 238 - 26 364 - 27 656 - 28 1415 - 29 7987 - 30 83994 - 31 1108815 - 32 Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
swsn Опубликовано 22 октября, 2019 · Жалоба https://github.com/max197616/extfilter/tree/master/scripts/extfilter-quagga Вроде есть агрегация опционально в конфиге Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
fox_m Опубликовано 22 октября, 2019 · Жалоба 2 часа назад, swsn сказал: https://github.com/max197616/extfilter/tree/master/scripts/extfilter-quagga Вроде есть агрегация опционально в конфиге Спасибо. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
VolanD666 Опубликовано 23 октября, 2019 · Жалоба Пробовали запаковать эту портянку ИПов в сети побольше. На самом деле получилось сэкономить примерно 10% подсетей. Т.е. эффект по сути нулевой ИМХО. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
