Jump to content
Калькуляторы

Агрегация ip адресов

Всем привет.

 

Есть файл с 1.5 млн ip адресов (выгрузка для Ревизора). Может кто поделится скриптом (желательно на perl), как их можно агрегировать в /24 префиксы? А то слишком много маршрутов приходится ставить.

 

100.20.0.40
100.20.1.140
100.20.1.149
100.20.1.171
100.20.1.202
100.20.1.215
100.20.1.237
100.20.1.27
100.20.1.31
100.20.1.64
100.20.10.131
100.20.10.147
100.20.10.178
100.20.10.182
100.20.10.187
100.20.10.226
100.20.10.254
100.20.10.28
100.20.10.78
100.20.100.114
100.20.100.122
100.20.100.129
100.20.100.149
100.20.100.176
100.20.100.219
100.20.100.219
100.20.100.233
100.20.100.238
100.20.100.240
100.20.100.244
100.20.100.247
100.20.100.248
100.20.100.44
100.20.100.44
100.20.100.48
100.20.100.50
100.20.100.55
100.20.100.77
100.20.102.102
100.20.102.105
100.20.102.108
100.20.102.109
100.20.102.13
100.20.102.150
 

Share this post


Link to post
Share on other sites

А что нужно получить?

Можно делать точную суммаризацию сетей — некоторые списки схлопнутся до /24, но в среднем экономия будет небольшой.

Можно делать округленную суммаризацию сетей (агрегировать до /24, если в подсети больше 128 хостов), экономия будет большой, но будут ложные блокировки.

Можно комбинировать include/exclude (агрегировать до крупных блоков, а затем исключать из них небольшие блоки и отдельные хосты), это было бы оптимальным, но система блокировки должна понимать такие ACL.

Share this post


Link to post
Share on other sites
18 минут назад, alibek сказал:

А что нужно получить?

Можно делать точную суммаризацию сетей — некоторые списки схлопнутся до /24, но в среднем экономия будет небольшой.

Можно делать округленную суммаризацию сетей (агрегировать до /24, если в подсети больше 128 хостов), экономия будет большой, но будут ложные блокировки.

Можно комбинировать include/exclude (агрегировать до крупных блоков, а затем исключать из них небольшие блоки и отдельные хосты), это было бы оптимальным, но система блокировки должна понимать такие ACL.

Ну пока хотелось бы агрегировать по /24 префиксам. Например, в списке есть ряд ip у которых первые три октета одинаковые их можно агрегировать в /24. Короче пока так сделал. В исходном списке у каждого ip удалил последний октет. Затем сортировка полученного списка по уникальным записям (sort -u). В итоге, вместо 1.5 млн стало 111 тыс. Многова-то конечно тоже

Share this post


Link to post
Share on other sites

Вопрос именно в том, как агрегировать.

Если в блока есть 256 адресов, то тут и вопросов нет, этот блок без проблем сожмется до /24.

А если в блоке не 256 адресов, а 200 (и вразброс)? Если менять его на /24, то 54 адреса будут заблокированы без оснований.

Если в блоке есть хотя бы один адрес и его сжимать до /24, тогда экономия конечно будет большая. Но тогда и будет куча необоснованно заблокированных адресов.

Share this post


Link to post
Share on other sites

Например вот текущая статистика по IP-адресам из реестра.

Список полностью "заполненных" подсетей (то есть в реестре для этой подсети указано 256 разных хостов):

Скрытый текст

196.54.204.xxx
196.54.203.xxx
196.54.202.xxx
196.54.201.xxx
196.52.117.xxx
104.250.220.xxx
104.249.9.xxx
104.249.8.xxx
104.249.63.xxx
104.249.61.xxx
104.249.60.xxx
104.249.59.xxx
104.249.58.xxx
104.249.56.xxx
104.249.34.xxx
104.249.33.xxx
104.249.32.xxx
104.249.31.xxx
104.249.30.xxx
104.249.29.xxx
104.249.28.xxx
104.249.27.xxx
104.249.26.xxx
104.249.25.xxx
104.249.20.xxx
104.249.19.xxx
104.249.18.xxx
104.249.15.xxx
104.249.14.xxx
104.249.13.xxx
104.249.12.xxx
104.249.11.xxx
104.249.10.xxx
104.239.98.xxx
104.239.97.xxx
104.239.96.xxx
104.239.95.xxx
104.239.94.xxx
104.239.93.xxx
104.239.92.xxx
104.239.91.xxx
104.239.90.xxx
104.239.9.xxx
104.239.88.xxx
104.239.86.xxx
104.239.85.xxx
104.239.84.xxx
104.239.82.xxx
104.239.81.xxx
104.239.80.xxx
104.239.8.xxx
104.239.75.xxx
104.239.73.xxx
104.239.71.xxx
104.239.70.xxx
104.239.69.xxx
104.239.68.xxx
104.239.47.xxx
104.239.44.xxx
104.239.43.xxx
104.239.42.xxx
104.239.41.xxx
104.239.40.xxx
104.239.39.xxx
104.239.38.xxx
104.239.37.xxx
104.239.36.xxx
104.239.35.xxx
104.239.34.xxx
104.239.33.xxx
104.239.32.xxx
104.239.31.xxx
104.239.30.xxx
104.239.28.xxx
104.239.27.xxx
104.239.26.xxx
104.239.25.xxx
104.239.24.xxx
104.239.23.xxx
104.239.22.xxx
104.239.20.xxx
104.239.19.xxx
104.239.18.xxx
104.239.17.xxx
104.239.16.xxx
104.239.13.xxx
104.239.123.xxx
104.239.122.xxx
104.239.121.xxx
104.239.120.xxx
104.239.111.xxx
104.239.11.xxx
104.239.108.xxx
104.239.107.xxx
104.239.106.xxx
104.239.105.xxx
104.239.104.xxx
104.239.101.xxx
104.239.10.xxx
104.238.9.xxx
104.238.8.xxx
104.238.7.xxx
104.238.5.xxx
104.238.4.xxx
104.238.20.xxx
104.238.19.xxx
104.222.191.xxx
104.222.190.xxx
104.143.224.xxx

 

Сводка по "наполнению" подсетей (количество хостов в подсети /24):

Скрытый текст

Хосты    Подсети
  256    109
  255    47
  254    34
  253    25
  252    13
  251    6
  250    5
  249    5
  248    5
  247    5
  246    3
  245    4
  244    3
  243    3
  242    1
  241    6
  240    3
  239    2
  238    3
  237    4
  236    3
  235    2
  234    3
  232    1
  231    4
  230    5
  229    1
  228    3
  225    4
  224    2
  223    1
  221    2
  220    1
  219    2
  214    2
  213    2
  210    1
  207    1
  206    1
  205    1
  203    2
  201    1
  200    4
  199    3
  198    5
  197    9
  196    3
  195    4
  194    3
  193    3
  192    7
  191    2
  190    3
  189    5
  188    4
  187    6
  186    2
  185    4
  184    5
  183    1
  182    2
  181    2
  180    1
  179    3
  178    4
  177    5
  176    5
  175    2
  174    3
  173    2
  172    2
  171    2
  170    1
  169    4
  168    1
  167    3
  166    3
  165    3
  164    3
  163    2
  161    2
  160    3
  158    3
  157    4
  156    3
  155    8
  154    3
  153    2
  152    2
  151    4
  150    3
  149    3
  148    5
  147    8
  146    3
  145    3
  144    7
  143    7
  142    9
  141    9
  140    9
  139    5
  138    10
  137    19
  136    13
  135    16
  134    20
  133    25
  132    24
  131    29
  130    27
  129    27
  128    31
  127    35
  126    40
  125    25
  124    29
  123    27
  122    28
  121    24
  120    25
  119    23
  118    21
  117    18
  116    17
  115    20
  114    15
  113    20
  112    25
  111    17
  110    15
  109    12
  108    18
  107    19
  106    18
  105    18
  104    15
  103    18
  102    21
  101    30
  100    24
   99    34
   98    28
   97    34
   96    25
   95    30
   94    36
   93    35
   92    36
   91    42
   90    24
   89    36
   88    29
   87    33
   86    41
   85    36
   84    38
   83    27
   82    41
   81    36
   80    28
   79    34
   78    35
   77    28
   76    24
   75    47
   74    29
   73    34
   72    23
   71    27
   70    37
   69    36
   68    46
   67    28
   66    32
   65    35
   64    43
   63    44
   62    35
   61    40
   60    50
   59    50
   58    58
   57    69
   56    74
   55    80
   54    103
   53    108
   52    130
   51    150
   50    155
   49    164
   48    174
   47    213
   46    210
   45    219
   44    213
   43    263
   42    233
   41    243
   40    262
   39    269
   38    288
   37    310
   36    342
   35    350
   34    397
   33    435
   32    468
   31    458
   30    500
   29    612
   28    602
   27    580
   26    679
   25    752
   24    810
   23    916
   22    953
   21    1144
   20    1209
   19    1312
   18    1445
   17    1628
   16    1816
   15    2075
   14    2266
   13    2500
   12    3028
   11    3517
   10    4013
    9    4452
    8    4894
    7    5268
    6    5528
    5    5872
    4    6510
    3    7704
    2    10887
    1    18319

 

 

Share this post


Link to post
Share on other sites
30 минут назад, alibek сказал:

Вопрос именно в том, как агрегировать.

Если в блока есть 256 адресов, то тут и вопросов нет, этот блок без проблем сожмется до /24.

А если в блоке не 256 адресов, а 200 (и вразброс)? Если менять его на /24, то 54 адреса будут заблокированы без оснований.

Если в блоке есть хотя бы один адрес и его сжимать до /24, тогда экономия конечно будет большая. Но тогда и будет куча необоснованно заблокированных адресов.

Да, это в случае если по ip блочить. Мне то нужно маршруты добавить, что бы пакеты на релиректор приходили. Изначально маршурты были на /32 префиксы. Но щас их очень много стало. Поэтому решил по /24 агрегировать. Так на порядок меньше получается. 

 

22 минуты назад, alibek сказал:

Например вот текущая статистика по IP-адресам из реестра.

Список полностью "заполненных" подсетей (то есть в реестре для этой подсети указано 256 разных хостов):

  Показать содержимое


196.54.204.xxx
196.54.203.xxx
196.54.202.xxx
196.54.201.xxx
196.52.117.xxx
104.250.220.xxx
104.249.9.xxx
104.249.8.xxx
104.249.63.xxx
104.249.61.xxx
104.249.60.xxx
104.249.59.xxx
104.249.58.xxx
104.249.56.xxx
104.249.34.xxx
104.249.33.xxx
104.249.32.xxx
104.249.31.xxx
104.249.30.xxx
104.249.29.xxx
104.249.28.xxx
104.249.27.xxx
104.249.26.xxx
104.249.25.xxx
104.249.20.xxx
104.249.19.xxx
104.249.18.xxx
104.249.15.xxx
104.249.14.xxx
104.249.13.xxx
104.249.12.xxx
104.249.11.xxx
104.249.10.xxx
104.239.98.xxx
104.239.97.xxx
104.239.96.xxx
104.239.95.xxx
104.239.94.xxx
104.239.93.xxx
104.239.92.xxx
104.239.91.xxx
104.239.90.xxx
104.239.9.xxx
104.239.88.xxx
104.239.86.xxx
104.239.85.xxx
104.239.84.xxx
104.239.82.xxx
104.239.81.xxx
104.239.80.xxx
104.239.8.xxx
104.239.75.xxx
104.239.73.xxx
104.239.71.xxx
104.239.70.xxx
104.239.69.xxx
104.239.68.xxx
104.239.47.xxx
104.239.44.xxx
104.239.43.xxx
104.239.42.xxx
104.239.41.xxx
104.239.40.xxx
104.239.39.xxx
104.239.38.xxx
104.239.37.xxx
104.239.36.xxx
104.239.35.xxx
104.239.34.xxx
104.239.33.xxx
104.239.32.xxx
104.239.31.xxx
104.239.30.xxx
104.239.28.xxx
104.239.27.xxx
104.239.26.xxx
104.239.25.xxx
104.239.24.xxx
104.239.23.xxx
104.239.22.xxx
104.239.20.xxx
104.239.19.xxx
104.239.18.xxx
104.239.17.xxx
104.239.16.xxx
104.239.13.xxx
104.239.123.xxx
104.239.122.xxx
104.239.121.xxx
104.239.120.xxx
104.239.111.xxx
104.239.11.xxx
104.239.108.xxx
104.239.107.xxx
104.239.106.xxx
104.239.105.xxx
104.239.104.xxx
104.239.101.xxx
104.239.10.xxx
104.238.9.xxx
104.238.8.xxx
104.238.7.xxx
104.238.5.xxx
104.238.4.xxx
104.238.20.xxx
104.238.19.xxx
104.222.191.xxx
104.222.190.xxx
104.143.224.xxx

 

Сводка по "наполнению" подсетей (количество хостов в подсети /24):

  Показать содержимое


Хосты    Подсети
  256    109
  255    47
  254    34
  253    25
  252    13
  251    6
  250    5
  249    5
  248    5
  247    5
  246    3
  245    4
  244    3
  243    3
  242    1
  241    6
  240    3
  239    2
  238    3
  237    4
  236    3
  235    2
  234    3
  232    1
  231    4
  230    5
  229    1
  228    3
  225    4
  224    2
  223    1
  221    2
  220    1
  219    2
  214    2
  213    2
  210    1
  207    1
  206    1
  205    1
  203    2
  201    1
  200    4
  199    3
  198    5
  197    9
  196    3
  195    4
  194    3
  193    3
  192    7
  191    2
  190    3
  189    5
  188    4
  187    6
  186    2
  185    4
  184    5
  183    1
  182    2
  181    2
  180    1
  179    3
  178    4
  177    5
  176    5
  175    2
  174    3
  173    2
  172    2
  171    2
  170    1
  169    4
  168    1
  167    3
  166    3
  165    3
  164    3
  163    2
  161    2
  160    3
  158    3
  157    4
  156    3
  155    8
  154    3
  153    2
  152    2
  151    4
  150    3
  149    3
  148    5
  147    8
  146    3
  145    3
  144    7
  143    7
  142    9
  141    9
  140    9
  139    5
  138    10
  137    19
  136    13
  135    16
  134    20
  133    25
  132    24
  131    29
  130    27
  129    27
  128    31
  127    35
  126    40
  125    25
  124    29
  123    27
  122    28
  121    24
  120    25
  119    23
  118    21
  117    18
  116    17
  115    20
  114    15
  113    20
  112    25
  111    17
  110    15
  109    12
  108    18
  107    19
  106    18
  105    18
  104    15
  103    18
  102    21
  101    30
  100    24
   99    34
   98    28
   97    34
   96    25
   95    30
   94    36
   93    35
   92    36
   91    42
   90    24
   89    36
   88    29
   87    33
   86    41
   85    36
   84    38
   83    27
   82    41
   81    36
   80    28
   79    34
   78    35
   77    28
   76    24
   75    47
   74    29
   73    34
   72    23
   71    27
   70    37
   69    36
   68    46
   67    28
   66    32
   65    35
   64    43
   63    44
   62    35
   61    40
   60    50
   59    50
   58    58
   57    69
   56    74
   55    80
   54    103
   53    108
   52    130
   51    150
   50    155
   49    164
   48    174
   47    213
   46    210
   45    219
   44    213
   43    263
   42    233
   41    243
   40    262
   39    269
   38    288
   37    310
   36    342
   35    350
   34    397
   33    435
   32    468
   31    458
   30    500
   29    612
   28    602
   27    580
   26    679
   25    752
   24    810
   23    916
   22    953
   21    1144
   20    1209
   19    1312
   18    1445
   17    1628
   16    1816
   15    2075
   14    2266
   13    2500
   12    3028
   11    3517
   10    4013
    9    4452
    8    4894
    7    5268
    6    5528
    5    5872
    4    6510
    3    7704
    2    10887
    1    18319

 

 

А откуда статистика? Сами собирали?

Share this post


Link to post
Share on other sites
5 минут назад, fox_m сказал:

Мне то нужно маршруты добавить, что бы пакеты на релиректор приходили.

Понял. Тогда да, таким образом уменьшать число префиксов можно, только это неправильно будет называть агрегацией.

6 минут назад, fox_m сказал:

А откуда статистика? Сами собирали?

Да, после загрузки реестра я собираю из дампа различную статистику.

Получить из дампа список IP-адресов:

xmlstarlet select -T -t -m "/reg:register/content[@blockType='ip' and ip]" \
 -v "ip" -n "dump.xml" \
 | sort -V -u \
 > list-ip.txt

Из полученного списка IP-адресов получить подсети C-класса:

cut -d'.' -f1-3 list-ip.txt | sort -V | uniq -c | sort -nr

 

Share this post


Link to post
Share on other sites

        use Net::Netmask;
        @blocks = cidrs2cidrs(@blocks_with_dups)
 

 

но память нужна, 

Share this post


Link to post
Share on other sites

Это избыточно, как мне кажется.

Для данной задачи не нужна агрегация, нужно просто взять первые три октета и убрать дубликаты.

 

Кстати, давно не смотрел статистику по дампу.

Дамп: /srv/erdi/dump/dump_last.xml (2019-10-22T10:13:00+03:00, байт 161552432, строк 3416504)
Формируются списки из дампа...
- список адресов (list-url.txt)
- список доменов (list-domain.txt)
- список доменов с маской (list-mask.txt)
- список IP-адресов (list-ip.txt)
- список IP-подсетей (list-net.txt)
- список IPv6-адресов (list-ip6.txt)
Статистика по дампу
  Сводка по URL: 
  - всего записей: 131518
  - наиболее длинный URL: 892
  - протокол HTTP: всего 90778; порты 80 81 888 8001 8080 8081 
  - протокол HTTPS: всего 40728; порты 16869 16873 
  - другие протоколы: всего 12; newcamd525 
  - top-5 доменов: 
      igra-prestoloff.cx (x 5282)
      new-rutor.org (x 3229)
      vidoevo.com (x 1565)
      rutor.info (x 1217)
      xrutor.org (x 1057)
  Сводка по доменам: 
  - всего доменов: 116660
  - из них с маской: 9836
  - top-5 доменов без маски: 
      linode.com (x 2230)
      sl.pt (x 1432)
      prava-online.org (x 355)
      googleusercontent.com (x 270)
      upcloud.com (x 183)
  - top-5 доменов с маской: 
      olimp98b4.top (x 33)
      olimp161f.top (x 33)
      olimp6753.top (x 32)
      olimp4859.top (x 32)
      olimp27fe.top (x 32)
  Сводка по IP-адресам: 
  - всего адресов: 1393170
  - top-5 для адресов: 
      196.54.204.xxx (x 256)
      196.54.203.xxx (x 256)
      196.54.202.xxx (x 256)
      196.54.201.xxx (x 256)
      196.52.117.xxx (x 256)
  - всего подсетей: 39
      блок /16: 8 x 65536 = 524288
      блок /17: 5 x 32768 = 163840
      блок /19: 2 x 8192 = 16384
      блок /20: 3 x 4096 = 12288
      блок /21: 2 x 2048 = 4096
      блок /22: 11 x 1024 = 11264
      блок /23: 4 x 512 = 2048
      блок /24: 4 x 256 = 1024
      итого: 735232
  - top-5 для подсетей: 
      128.199.0.0/16
      159.203.0.0/16
      159.65.0.0/16
      159.89.0.0/16
      165.227.0.0/16
  Сводка по IPv6-адресам: 
  - всего адресов: 50
Информация по подсетям
  - загрузка сводки в list-whois.txt...
  - подсчет совпадений...
  - расчеты выполнены
  AS 16509: AMAZON-02 - Amazon.com, Inc., US
    хосты: 829179
  AS 14061: DIGITALOCEAN-ASN - DigitalOcean, LLC, US
    подсеть 46.101.128.0/17
    подсеть 159.65.0.0/16
    подсеть 159.89.0.0/16
    подсеть 159.203.0.0/16
    подсеть 165.227.0.0/16
    подсеть 167.99.0.0/16
    подсеть 174.138.0.0/17
    подсеть 188.166.0.0/17
    подсеть 206.189.0.0/16
    хосты: 37167
    итого: 528,687
  AS 14618: AMAZON-AES - Amazon.com, Inc., US
    хосты: 345439
  AS 24940: HETZNER-AS, DE
    подсеть 178.63.0.0/16
    хосты: 14598
    итого: 80,134
  AS 6762: SEABONE-NET TELECOM ITALIA SPARKLE S.p.A., IT
    хосты: 47861
  AS 13886: CLOUD-SOUTH - Cloud South, US
    подсеть 64.137.0.0/17
    хосты: 14871
    итого: 47,639
  AS 12876: Online SAS, FR
    подсеть 195.154.0.0/17
    хосты: 3044
    итого: 35,812
  AS 18705: RIMBLACKBERRY - BlackBerry Limited, CA
    подсеть 68.171.224.0/19
    подсеть 74.82.64.0/19
    подсеть 103.246.200.0/22
    подсеть 178.239.88.0/21
    хосты: 12
    итого: 19,468
  AS 63949: LINODE-AP Linode, LLC, US
    хосты: 13815
  AS 35554: AS-8KCLOUD, GB
    хосты: 11281
  AS 62041: TELEGRAM, GB
    подсеть 91.108.4.0/22
    подсеть 91.108.8.0/22
    подсеть 149.154.160.0/20
    подсеть 149.154.164.0/22
    хосты: 599
    итого: 7,767
  AS 38631: LINE LINE Corporation, JP
    подсеть 203.104.128.0/20
    подсеть 203.104.144.0/21
    подсеть 203.104.152.0/22
    хосты: 4
    итого: 7,172
  AS 1273: CW Vodafone Group PLC, GB
    хосты: 7135
  AS 42946: AS-DR-CLOUD, NL
    хосты: 6697
  AS 32780: HOSTINGSERVICES-INC - Hosting Services, Inc., US
    подсеть 98.158.176.0/20
    хосты: 283
    итого: 4,379
  AS 20473: AS-CHOOPA - Choopa, LLC, US
    хосты: 4296
  AS 26464: JOYENT-INC-US - Joyent, Inc., US
    хосты: 4039
  AS 202053: UPCLOUD, FI
    хосты: 3557
  AS 62014: TELEGRAM, NL
    подсеть 91.108.16.0/22
    подсеть 91.108.56.0/22
    подсеть 149.154.168.0/22
    хосты: 59
    итого: 3,131
  AS 19994: RACKSPACE - Rackspace Hosting, US
    хосты: 3107
  AS 27357: RACKSPACE - Rackspace Hosting, US
    хосты: 2347
  AS 33070: RMH-14 - Rackspace Hosting, US
    хосты: 2334
  AS 202492: SGHL1-AS, NL
    хосты: 2281
  AS 13335: CLOUDFLARENET - Cloudflare, Inc., US
    хосты: 2237
  AS 59930: TELEGRAM_MESSENGER, GB
    подсеть 91.108.12.0/22
    подсеть 149.154.172.0/22
    хосты: 71
    итого: 2,119
  AS 13213: UK2NET-AS, GB
    подсеть 176.67.169.0/24
    хосты: 1802
    итого: 2,058
  AS 35913: DEDIPATH-LLC - DediPath, US
    хосты: 1851
  AS 16276: OVH, FR
    хосты: 1744
  AS 209249: ANYCLOUD-AS, GB
    хосты: 1697
  AS 202242: ARUBA-CLOUD, IT
    хосты: 1473
  AS 25697: UPCLOUDUSA - UpCloud USA Inc, US
    хосты: 1305
  AS 34702: WAVECOM-AS, EE
    хосты: 1251
  AS 15395: RACKSPACE-LON, GB
    хосты: 1078
  AS 7979: SERVERS - Servers.com, Inc., US
    хосты: 838
  AS 42065: ETELECOM-AS, RU
    подсеть 91.108.24.0/23
    подсеть 91.108.33.0/24
    итого: 768
  AS 24806: INTERNET-CZ Ktis 2, 384 03 Ktis, CZ
    хосты: 690
  AS 31034: ARUBA-ASN, IT
    хосты: 663
  AS 204170: AWASR, OM
    хосты: 624
  AS 205727: ARUBA, PL
    хосты: 585
  AS 9009: M247, GB
    хосты: 580
  AS 200185: XANDMAIL-ASN, DE
    хосты: 548
  AS 49635: CLOUDING, ES
    подсеть 185.166.212.0/23
    итого: 512
  AS 45187: RACKSPACE-AP Rackspace IT Hosting AS IT Hosting Provider Hong Kong, HK
    хосты: 456
  AS 199653: ARUBAFR-AS, FR
    хосты: 407
  AS 58683: RACKSPACE-AS Rackspace.com Sydney, HK
    хосты: 363
  AS 199883: ARUBACLOUDLTD-ASN, GB
    хосты: 351
  AS 395800: GBTCLOUD - Greybeard Technology LLC, US
    хосты: 289
  AS 15169: GOOGLE - Google LLC, US
    хосты: 289
  AS 20860: IOMART-AS, GB
    хосты: 264
  AS 41436: CLOUDWEBMANAGE-EU, GB
    подсеть 185.229.227.0/24
    хосты: 6
    итого: 262
  AS 31500: GLOBALNET-AS, RU
    подсеть 109.239.140.0/24
    хосты: 2
    итого: 258
  AS 16125: CHERRYSERVERS1-AS, LT
    хосты: 242
  AS 59642: CHERRYSERVERS2-AS, LT
    хосты: 222
  AS 39798: MIVOCLOUD, MD
    хосты: 214
  AS 56630: MELBICOM-EU-AS Melbikomas UAB, NL
    хосты: 199
  AS 202468: ABRARVAN-AS AbrArvan CDN and IaaS, IR
    хосты: 198
  AS 39572: ADVANCEDHOSTERS-AS, NL
    хосты: 187
  AS 32181: ASN-GIGENET - GigeNET, US
    хосты: 162
  AS 36351: SOFTLAYER - SoftLayer Technologies Inc., US
    хосты: 157
  AS 28753: LEASEWEB-DE-FRA-10, DE
    хосты: 133
  AS 43350: NFORCE, NL
    хосты: 123
  AS 47285: PTP, IR
    хосты: 122
  AS 46475: LIMESTONENETWORKS - Limestone Networks, Inc., US
    хосты: 112
  AS 26496: AS-26496-GO-DADDY-COM-LLC - GoDaddy.com, LLC, US
    хосты: 112
  AS 35415: WEBZILLA, NL
    хосты: 107
  AS 201213: DA-RZ_AS, DE
    хосты: 107
  AS 62282: RACKRAY UAB Rakrejus, LT
    хосты: 104
  AS 12025: IO-DATA-CENTERS - IO Capital Princess, LLC, US
    хосты: 102
  AS 36445: COEXTRO-01 - Coextro, CA
    хосты: 96
  AS 45916: GTPL-AS-AP Gujarat Telelink Pvt Ltd, IN
    хосты: 81
  AS 50673: SERVERIUS-AS, NL
    хосты: 74
  AS 36352: AS-COLOCROSSING - ColoCrossing, US
    хосты: 60
  AS 8075: MICROSOFT-CORP-MSN-AS-BLOCK - Microsoft Corporation, US
    хосты: 58
  AS 207154: PROMINKOM, RU
    хосты: 58
  AS 45102: CNNIC-ALIBABA-US-NET-AP Alibaba (US) Technology Co., Ltd., CN
    хосты: 53
  AS 43754: ASIATECH, IR
    хосты: 52
  AS 29791: VOXEL-DOT-NET - Internap Corporation, US
    хосты: 51
  AS 25369: BANDWIDTH-AS, GB
    хосты: 51
  AS 136620: VMHAUSLIMITED-AS-AP VMHaus Limited, GB
    хосты: 45
  AS 60781: LEASEWEB-NL-AMS-01 Netherlands, NL
    хосты: 44
  AS 40676: AS40676 - Psychz Networks, US
    хосты: 43
  AS 49505: SELECTEL, RU
    хосты: 40
  AS 48282: VDSINA-AS, RU
    хосты: 40
  AS 42831: UKSERVERS-AS UK Dedicated Servers, Hosting and Co-Location, GB
    хосты: 40
  AS 204601: ON-LINE-DATA Server location - Netherlands, Dronten, UA
    хосты: 40
  AS 44285: SEFROYEKPARDAZENG-AS AS6736 - IRANET-IPM, IR
    хосты: 38
  AS 23576: NHN-AS-KR NBP, KR
    хосты: 38
  AS 201057: MULTIM, FI
    хосты: 37
  AS 197988: SOLARCOM, CH
    хосты: 36
  AS 3462: HINET Data Communication Business Group, TW
    хосты: 34
  AS 24961: MYLOC-AS, DE
    хосты: 33
  AS 61317: ASDETUK http://www.heficed.com, GB
    хосты: 31
  AS 6: BULL-HN - Bull HN Information Systems Inc., US
    хосты: 31
  AS 5577: ROOT, LU
    хосты: 31
  AS 200406: BERBIDSERVER, IR
    хосты: 31
  AS 49981: WORLDSTREAM, NL
    хосты: 30
  AS 43338: RATIONAL-AS, GB
    хосты: 29
  AS 262448: DIALHOST INTERNET LTDA., BR
    хосты: 26
  AS 196752: TILAA, NL
    хосты: 26
  AS 51167: CONTABO, DE
    хосты: 25
  AS 202448: MVPS https://www.mvps.net, EU
    хосты: 25
  AS 6327: SHAW - Shaw Communications Inc., CA
    хосты: 22
  AS 22773: ASN-CXA-ALL-CCI-22773-RDC - Cox Communications Inc., US
    хосты: 22
  AS 59729: ITL-, BG
    хосты: 19
  AS 31898: ORACLE-BMC-31898 - Oracle Corporation, US
    хосты: 19
  AS 209836: NHCO, IR
    хосты: 19
  AS 42331: FREEHOST, UA
    хосты: 18
  AS 33438: HIGHWINDS2 - Highwinds Network Group, Inc., US
    хосты: 18
  AS 15626: ITLAS, UA
    хосты: 18
  AS 12989: HWNG, NL
    хосты: 18
  AS 46606: UNIFIEDLAYER-AS-1 - Unified Layer, US
    хосты: 17
  AS 44066: DE-FIRSTCOLO www.first-colo.net, DE
    хосты: 17
  AS 31549: RASANA, IR
    хосты: 17
  AS 21100: ITLDC-NL, UA
    хосты: 17
  AS 21409: IKOULA, FR
    хосты: 16
  AS 60087: ASSUPERNOVA, IT
    хосты: 15
  AS 35916: MULTA-ASN1 - MULTACOM CORPORATION, US
    хосты: 15
  AS 209279: POSHTVAR-AS, IR
    хосты: 15
  AS 19905: NEUSTAR-AS6 - NeuStar, Inc., US
    хосты: 15
  AS 60117: HS, AE
    хосты: 14
  AS 209741: TSAN, IR
    хосты: 14
  AS 62731: 247RACK-COM - 247RACK.com, US
    хосты: 13
  AS 62088: SINARO-ASN, NL
    хосты: 13
  AS 44901: BELCLOUD, BG
    хосты: 13
  AS 49392: ASBAXETN, RU
    хосты: 12
  AS 48666: AS-MAROSNET Moscow, Russia, RU
    хосты: 12
  AS 48536: FILCO-AS, IM
    хосты: 12
  AS 32475: SINGLEHOP-LLC - SingleHop LLC, US
    хосты: 12
  AS 26277: PREMIANET - Las Vegas NV Datacenter, US
    хосты: 12
  AS 20278: NEXEON - Nexeon Technologies, Inc., US
    хосты: 12
  AS 174: COGENT-174 - Cogent Communications, US
    хосты: 12
  AS 50340: SELECTEL-MSK, RU
    хосты: 11
  AS 48347: MTW-AS, RU
    хосты: 11
  AS 43927: HOSTERION, RO
    хосты: 11
  AS 42610: NCNET-AS, RU
    хосты: 11
  AS 198849: VISL-UK Used in Telecity, GI
    хосты: 11
  AS 8560: ONEANDONE-AS Brauerstrasse 48, DE
    хосты: 10
  AS 55286: SERVER-MANIA - B2 Net Solutions Inc., CA
    хосты: 10
  AS 54829: NYITX - NYITX, US
    хосты: 10
  AS 50113: SUPERSERVERSDATACENTER, RU
    хосты: 10
  AS 47447: TTM, DE
    хосты: 10
  AS 44050: PIN-AS, RU
    хосты: 10
  AS 200740: FIRSTBYTE-EU-AS, RU
    хосты: 10
  Неидентифицированные AS
    подсеть 91.108.20.0/22
    подсеть 91.108.36.0/23
    подсеть 91.108.38.0/23
    подсеть 128.199.0.0/16
    хосты: 11763
    итого: 79,347

Похоже что одиночных IP-адресов уже больше, чем адресов в подсетях.

Share this post


Link to post
Share on other sites
6 минут назад, alibek сказал:

Это избыточно, как мне кажется.

Для данной задачи не нужна агрегация, нужно просто взять первые три октета и убрать дубликаты.

 

 

ну смотря зачем список, если загнать в /dev/null полностью заблокированных, то агрегация по /24 - "слегка" перебор.. если загнать в анализатор (DPI) всех причастных к dump.xml, чтобы УРЛы блокировать, то там список явно короче, я бы разделил, сначала отрезал бы блокированных по IP в /dev/null по длинному списку, а потом бы уже фильтровал по в разы более короткому списку домены и урлы (там кстати еще надо тогда и ресолв делать, а то список ip с урлами далек от реальной жизни, пропусков будет много, их и с ресолвом будет хватать). Но тут надо смотреть куда мы включаемся и какие там возможности.

 

 

пока результат агрегации списка к полной блокировке у меня такой


количество - длина cidr

      2  - 19
      3  - 20
      5  - 17
      6  - 21
      8  - 16
     14  - 22
     17  - 23
     31  - 24
     55  - 25
    238  - 26
    364  - 27
    656  - 28
   1415  - 29
   7987  - 30
  83994  - 31
1108815  - 32

Share this post


Link to post
Share on other sites

Пробовали запаковать эту портянку ИПов в сети побольше. На самом деле получилось сэкономить примерно 10% подсетей. Т.е. эффект по сути нулевой ИМХО.

Share this post


Link to post
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!

Register a new account

Sign in

Already have an account? Sign in here.

Sign In Now
Sign in to follow this