krovozhadina Опубликовано 17 февраля, 2016 (изменено) · Жалоба Здравствуйте, коллеги. До недавних пор у нас был один пул адресов /22 сети, а теперь стало два по /22. Пытаюсь пустить клиентов в интернет, выдавая адреса из второго пула, но трафик не идет. Трассировка показывает, что трасса кончается на бордере. Вот конфиг бордера (лишнее вырезал) interface GigabitEthernet0/0/0.3 description vlan3 encapsulation dot1Q 3 ip address 92.63.204.1 255.255.252.0 secondary ip address 46.243.224.1 255.255.252.0 ! router bgp 56648 bgp log-neighbor-changes bgp deterministic-med network 46.243.224.0 mask 255.255.252.0 network 92.63.204.0 mask 255.255.252.0 neighbor 37.29.20.109 remote-as 31133 neighbor 37.29.20.109 version 4 neighbor 37.29.20.109 send-community neighbor 37.29.20.109 soft-reconfiguration inbound distance bgp 180 200 200 ! ip route 0.0.0.0 0.0.0.0 37.29.20.109 ip route 46.243.224.0 255.255.252.0 Null0 254 ip route 92.63.204.0 255.255.252.0 Null0 254 Клиенты ходят в инет через VPN-PPTP(mpd5). Биллинг выдает адреса из пулов динамически. Интересный момент... на сервере дефолтный шлюз такой # uname -v FreeBSD 9.2-RELEASE #0 r261772M: Tue Feb 11 19:38:03 MSK 2014 root@FreeVPN:/usr/src/sys/i386/compile/mykernel # ifconfig -a em0: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 1500 options=4219b<RXCSUM,TXCSUM,VLAN_MTU,VLAN_HWTAGGING,VLAN_HWCSUM,TSO4,WOL_MAGIC,VLAN_HWTSO> inet 92.63.204.16 netmask 0xfffffc00 broadcast 92.63.207.255 inet 46.243.224.16 netmask 0xfffffc00 broadcast 46.243.227.255 # netstat -rln | more Routing tables Internet: Destination Gateway Flags Refs Use Mtu Netif Expire default 92.63.204.1 UGS 0 116393 1500 em0 10.0.0.0/24 link#1 U 0 345170 1500 igb0 => А вот трассировка идет через другой шлюз # traceroute -dn 77.88.8.8 traceroute to 77.88.8.8 (77.88.8.8), 64 hops max, 40 byte packets 1 46.243.224.1 0.172 ms 0.279 ms 0.143 ms <<<----- 2 37.29.20.109 28.533 ms 5.138 ms 3.290 ms 3 10.222.18.105 21.628 ms 21.972 ms 22.189 ms 4 10.222.43.17 22.264 ms 22.404 ms 22.403 ms *****обрезал лишнее Подтолкните пожалуйста в нужном направлении. Изменено 17 февраля, 2016 пользователем krovozhadina Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
g3fox Опубликовано 17 февраля, 2016 · Жалоба Интерфейс em0 это а-ля ppp в linux? У вас proxy-arp работает на FreeBSD или как бордер понимает, куда девать трафик? У вас один брас? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
krovozhadina Опубликовано 17 февраля, 2016 (изменено) · Жалоба На каждом сервере у меня по два фейса: 1 - смотрит в локалку, 2 - смотрит в сторону бордера. em0 смотрит в сторону бордера. Сервер понимает куда гнать трафик, т.к. у него указан шлюз по дефолту, на него все и валит. # ifconfig -a | less igb0: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 1500 options=401bb<RXCSUM,TXCSUM,VLAN_MTU,VLAN_HWTAGGING,JUMBO_MTU,VLAN_HWCSUM,TSO4,VLAN_HWTSO> inet 10.0.0.16 netmask 0xffffff00 broadcast 10.0.0.255 em0: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 1500 options=4219b<RXCSUM,TXCSUM,VLAN_MTU,VLAN_HWTAGGING,VLAN_HWCSUM,TSO4,WOL_MAGIC,VLAN_HWTSO> inet 92.63.204.16 netmask 0xfffffc00 broadcast 92.63.207.255 inet 46.243.224.16 netmask 0xfffffc00 broadcast 46.243.227.255 На серверах поднят rip, как и на агрегирующих коммутаторах. Вся сетка поделена на вланы. С коммутаторов весь трафик сыпется на сервера, а оттуда уже на бордер. BRAS у нас один, серверов NAS два. Изменено 17 февраля, 2016 пользователем krovozhadina Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
vurd Опубликовано 17 февраля, 2016 · Жалоба Заходишь в тему о циске, а там фряха)) Пояему у вас висят два ип с охрененно широкой маской? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
krovozhadina Опубликовано 17 февраля, 2016 (изменено) · Жалоба Заходишь в тему о циске, а там фряха)) Пояему у вас висят два ип с охрененно широкой маской? Ну где же? 10.0.0.16/24 локалка 92.63.204.16/22 IPv4 PA белые адреса для клиентов 46.243.224.16/22 IPv4 PA белые адреса для клиентов Да тут даже дело не во фряхе. Трассировка то кончается на бордере. Вот трасса с клиента, который получил адрес из блока 92.63.204.0/22 >tracert -dn yandex.ru Трассировка маршрута к yandex.ru [5.255.255.55] с максимальным числом прыжков 30: 1 2 ms 1 ms 1 ms 192.168.0.1 роутер 2 2 ms 2 ms 3 ms 172.16.1.16 виртуальный фейс mpd 3 4 ms 2 ms 2 ms 46.243.224.1 бордер 4 * * * Превышен интервал ожидания для запроса. ну и т.д. Изменено 17 февраля, 2016 пользователем krovozhadina Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
dmvy Опубликовано 17 февраля, 2016 · Жалоба у бордера на интерфейсе 2 ip-адреса. Он отвечает на пакеты с ttl expire тем ip-адресом, который primary на интерфейсе, а это явно не тот который secondary. Так что с трейсом все нормально. Вы уверены, что аплинк принял ваш второй преыикс? Есть route-object в RIPE BD? Как аплинк строит фильтры? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
vurd Опубликовано 17 февраля, 2016 · Жалоба Я просто заодно interface GigabitEthernet0/0/0.3 description vlan3 encapsulation dot1Q 3 ip address 92.63.204.1 255.255.252.0 secondary ip address 46.243.224.1 255.255.252.0 ! вот про это спросил. Нафиг два ip в /22. Как-то странно выглядит. Это не причина проблемы. Это просто заодно. По проблеме. Анонсы видны, роут-объекты прописаны. Из интеренета пингуются и 92.63.204.16 и 46.243.224.16. Тут что-то простое. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
dmvy Опубликовано 17 февраля, 2016 · Жалоба Смотрите, вдруг поможет: # mtr -rc10 92.63.204.16 HOST: aaa.ustu.ru Loss% Snt Last Avg Best Wrst StDev 1. vpn.ustu.ru 0.0% 10 0.5 0.7 0.4 1.2 0.3 2. 212.193.87.46 0.0% 10 5.4 5.6 3.7 10.1 2.1 3. 10.255.15.6 0.0% 10 5.8 4.4 2.8 5.8 1.0 4. 195.239.186.161 0.0% 10 6.4 6.3 4.8 8.3 1.1 5. mx01.Stockholm.gldn.net 0.0% 10 52.9 57.3 51.5 82.8 9.6 6. xe-1-3-0-xcr1.skt.cw.net 0.0% 10 50.3 49.4 47.8 50.9 1.0 7. ae10-xcr1.amt.cw.net 0.0% 10 81.6 77.2 74.1 81.6 2.3 8. be3037.rcr21.ams05.atlas.cog 0.0% 10 78.3 78.2 76.3 80.0 1.2 9. be2039.ccr42.ams03.atlas.cog 0.0% 10 82.4 81.3 79.4 82.7 1.1 10. be2816.ccr42.ham01.atlas.cog 0.0% 10 78.5 77.5 75.7 78.5 0.9 11. be2282.ccr22.sto03.atlas.cog 0.0% 10 79.7 77.4 74.6 79.7 1.4 12. be2397.ccr21.sto01.atlas.cog 0.0% 10 78.4 78.9 77.7 79.9 0.6 13. 149.6.168.42 0.0% 10 83.1 80.7 76.9 88.1 3.2 14. 83.169.204.77 0.0% 10 99.6 99.9 97.1 102.8 1.9 15. ??? 100.0 10 0.0 0.0 0.0 0.0 0.0 16. 10.222.52.50 0.0% 10 95.4 99.4 95.4 105.1 2.5 17. 10.222.43.10 0.0% 10 92.9 97.0 92.9 99.8 2.0 18. e8c6d.ilfaredateeletronico.c 10.0% 10 102.2 100.2 98.3 102.2 1.2 # mtr -rc10 46.243.224.16 HOST: aaa.ustu.ru Loss% Snt Last Avg Best Wrst StDev 1. vpn.ustu.ru 0.0% 10 0.6 0.6 0.5 0.8 0.1 2. 212.193.87.46 0.0% 10 5.7 1.7 1.1 5.7 1.4 3. 10.255.15.6 0.0% 10 1.3 2.2 1.0 10.7 3.0 4. 195.239.186.161 0.0% 10 4.3 3.6 2.2 9.1 2.0 5. mx01.Stockholm.gldn.net 0.0% 10 48.4 49.2 48.4 51.3 1.1 6. xe-11-0-0-xcr1.skt.cw.net 0.0% 10 45.6 47.8 45.6 61.9 5.0 7. ae10-xcr1.amt.cw.net 0.0% 10 73.6 72.6 71.8 73.6 0.6 8. be3037.rcr21.ams05.atlas.cog 0.0% 10 74.9 74.5 73.8 75.4 0.5 9. be2039.ccr42.ams03.atlas.cog 0.0% 10 78.3 77.8 77.3 78.3 0.4 10. be2816.ccr42.ham01.atlas.cog 0.0% 10 74.1 74.2 73.7 75.0 0.4 11. be2282.ccr22.sto03.atlas.cog 0.0% 10 74.4 74.2 73.8 74.5 0.3 12. be2397.ccr21.sto01.atlas.cog 0.0% 10 75.1 79.2 74.6 118.2 13.7 13. 149.6.168.42 0.0% 10 74.0 76.2 74.0 81.9 2.8 14. 83.169.204.81 0.0% 10 99.7 133.6 95.3 456.3 113.4 15. ??? 100.0 10 0.0 0.0 0.0 0.0 0.0 16. ??? 100.0 10 0.0 0.0 0.0 0.0 0.0 17. 10.222.43.14 0.0% 10 96.5 98.1 95.8 112.7 5.2 18. 10.222.18.102 0.0% 10 101.2 97.7 95.8 101.2 1.6 19. 37.29.20.110 0.0% 10 96.1 97.3 96.1 100.3 1.2 20. 46.243.224.16.leadertelecom. 10.0% 10 94.6 94.2 93.5 94.7 0.4 Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
g3fox Опубликовано 18 февраля, 2016 · Жалоба BRAS у нас один, серверов NAS два Что-то у меня это в голове не укладывается... Чем вы отличаете NAS от BRAS? Но это не по теме. Запросите у аплинка проверить наличие аклов в вашу сторону. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
krovozhadina Опубликовано 18 февраля, 2016 (изменено) · Жалоба у бордера на интерфейсе 2 ip-адреса. Он отвечает на пакеты с ttl expire тем ip-адресом, который primary на интерфейсе, а это явно не тот который secondary. Так что с трейсом все нормально. Вы уверены, что аплинк принял ваш второй преыикс? Есть route-object в RIPE BD? Как аплинк строит фильтры? А как тогда иметь несколько блоков PA? Неужели мне одному такое "счастье"... кто-то ведь до меня это уже реализовал. vurd, не объявлять же адреса в /32 на фейсе. он тогда не будет видеть участников блока адресов. Что-то у меня это в голове не укладывается... Чем вы отличаете NAS от BRAS? Но это не по теме. Запросите у аплинка проверить наличие аклов в вашу сторону. Почему-то я всегда считал, что NAS это сервер доступа )) почитал на вики и офигел... мда уж! А BRAS это именно маршрутизатор, бордер. Аплинк говорит, что видит наши блоки >dis bgp routing-table peer 37.29.20.110 received-routes BGP Local router ID is 10.222.254.118 Status codes: * - valid, > - best, d - damped, h - history, i - internal, s - suppressed, S - Stale Origin : i - IGP, e - EGP, ? - incomplete Total Number of Routes: 2 Network NextHop MED LocPrf PrefVal Path/Ogn *> 46.243.224.0/22 37.29.20.110 0 300 0 56648i *> 92.63.204.0/22 37.29.20.110 0 300 0 56648i Изменено 18 февраля, 2016 пользователем krovozhadina Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
g3fox Опубликовано 18 февраля, 2016 · Жалоба Аплинк говорит, что видит наши блоки Я имел ввиду не фильтры BGP, а фильтры на интерфейсах. Если у вас два BRAS (NAS) то как бордер понимает куда ему слать трафик? У вас proxy-arp? Или у вас просто /22 поделена напополам по /23 и вы на разных брасах её раздаёте? ip address 92.63.204.1 255.255.252.0 secondary ip address 46.243.224.1 255.255.252.0 Вот это без proxy-arp вообще не должно работать. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
krovozhadina Опубликовано 18 февраля, 2016 · Жалоба g3fox, нет не поделена. В том то и дело, что подсети на бордере заведено две. Одна из них работает, та что 46..., а 92... не работает. Хотя до самих серверов трафик ходит отлично. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
NikAlexAn Опубликовано 18 февраля, 2016 · Жалоба g3fox, нет не поделена. В том то и дело, что подсети на бордере заведено две. Одна из них работает, та что 46..., а 92... не работает. Хотя до самих серверов трафик ходит отлично. А покажите трэйс с бордера на абонента из 92-й сетки с параметром (-source внешний_ip_бордера). Подозреваю что не пройдёт. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
krovozhadina Опубликовано 18 февраля, 2016 (изменено) · Жалоба g3fox, а бордер знает куда слать пакеты от того, что поднят rip на нем самом, а также на каждом из BRASов (quagga) router rip version 2 no validate-update-source passive-interface GigabitEthernet0/0/3 network 46.0.0.0 network 92.0.0.0 neighbor 92.63.204.16 neighbor 46.243.224.16 neighbor 46.243.224.14 no auto-summary #sh ip route rip Gateway of last resort is 37.29.20.109 to network 0.0.0.0 46.0.0.0/8 is variably subnetted, 6068 subnets, 13 masks R 46.243.224.31/32 [120/1] via 46.243.224.14, 00:00:02, GigabitEthernet0/0/0.3 R 46.243.224.32/32 [120/1] via 46.243.224.14, 00:00:02, GigabitEthernet0/0/0.3 R 46.243.224.33/32 [120/1] via 46.243.224.14, 00:00:02, GigabitEthernet0/0/0.3 ну и т.д. NikAlexAn, не прошел. В чем смысл? Это я подключился через второй сервер на который назначен блок 92... Сам бордер меня видит #sh ip route rip | in 92.63. R 92.63.207.254/32 [120/1] via 92.63.204.16, 00:00:08, GigabitEthernet0/0/0.3 #ping 92.63.207.254 Type escape sequence to abort. Sending 5, 100-byte ICMP Echos to 92.63.207.254, timeout is 2 seconds: !!!!! Success rate is 100 percent (5/5), round-trip min/avg/max = 1/1/2 ms А вот с клиентской машины я никак не могу выйти за пределы бордера >tracert -dn -w 30 77.88.8.8 Трассировка маршрута к 77.88.8.8 с максимальным числом прыжков 30 1 1 ms 1 ms 1 ms 192.168.0.1 2 2 ms 2 ms 2 ms 172.16.1.16 3 2 ms 2 ms 2 ms 46.243.224.1 4 * * * Превышен интервал ожидания для запроса. Причем не понятно, почему последний хоп совсем из другой подсети, когда на сервере дефолтгейтвей указан 92.63.204.1 # netstat -rln | grep 92.63 default 92.63.204.1 UGS 0 478814 1500 em0 92.63.204.0/22 link#3 U 0 7140 1500 em0 Изменено 18 февраля, 2016 пользователем krovozhadina Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
krovozhadina Опубликовано 18 февраля, 2016 (изменено) · Жалоба Интересная особенность... если я получил адрес к примеру 92.63.207.250, то трафик не идет через бордер. А вот если я получаю адрес из 92.63.204.*/24 , то все отлично гуляет туда и обратно. Что-то в бордере надо подкрутить, но никак не соображу что. Сейчас мой реальный адрес 92.63.204.254. Киньте кто-то трассу от себя. Трафик все равно идет через адрес 46.243.224.1 >tracert -dn -w 30 77.88.8.8 Трассировка маршрута к 77.88.8.8 с максимальным числом прыжков 30 1 2 ms 1 ms 8 ms 192.168.0.1 2 33 ms 3 ms 2 ms 172.16.1.16 3 * 250 ms 10 ms 46.243.224.1 4 * 18 ms 5 ms 37.29.20.109 5 26 ms 25 ms 24 ms 10.222.18.137 6 24 ms 25 ms 26 ms 10.222.43.9 7 * * * Превышен интервал ожидания для запроса. 8 24 ms 26 ms 26 ms 10.222.99.57 9 25 ms 23 ms 23 ms 83.169.204.2 10 * * * Превышен интервал ожидания для запроса. 11 69 ms 69 ms 70 ms 87.250.239.62 12 70 ms 69 ms 70 ms 87.250.239.67 13 69 ms 69 ms * 77.88.8.8 14 70 ms 69 ms 69 ms 77.88.8.8 Трассировка завершена. Изменено 18 февраля, 2016 пользователем krovozhadina Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Stak Опубликовано 18 февраля, 2016 · Жалоба Интересная особенность... если я получил адрес к примеру 92.63.207.250, то трафик не идет через бордер. А вот если я получаю адрес из 92.63.204.*/24 , то все отлично гуляет туда и обратно. Что-то в бордере надо подкрутить, но никак не соображу что. Сейчас мой реальный адрес 92.63.204.254. Киньте кто-то трассу от себя. 4 10.222.52.50 [MPLS: Label 4965 Exp 0] 40 msec 36 msec 10.222.43.1 [MPLS: Label 4965 Exp 0] 40 msec 5 10.222.43.22 [MPLS: Label 5354 Exp 0] 36 msec 40 msec 40 msec 6 10.222.18.142 36 msec * * 7 * * 37.29.20.110 36 msec 8 92.63.204.16 36 msec 40 msec 40 msec 9 * * * 10 * * * 11 * * * 12 * * * 13 * * * 14 * * SPE-OFF-RTR1# PS: SPE-OFF-RTR1#ping 92.63.204.254 Type escape sequence to abort. Sending 5, 100-byte ICMP Echos to 92.63.204.254, timeout is 2 seconds: !!!!! Success rate is 100 percent (5/5), round-trip min/avg/max = 40/40/44 ms SPE-OFF-RTR1# SPE-OFF-RTR1#ping 92.63.207.250 Type escape sequence to abort. Sending 5, 100-byte ICMP Echos to 92.63.207.250, timeout is 2 seconds: !!!!! Success rate is 100 percent (5/5), round-trip min/avg/max = 40/40/40 ms SPE-OFF-RTR1# Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
krovozhadina Опубликовано 18 февраля, 2016 (изменено) · Жалоба А трассу пожалуйста до 92.63.207.250 Вот где собака зарыта! >tracert -w 30 92.63.207.250 Трассировка маршрута к perlapostaeletronicaoggi.com [92.63.207.250] с максимальным числом прыжков 30: 1 2 ms 1 ms 1 ms 192.168.0.1 2 2 ms 2 ms 2 ms 172.16.1.16 3 4 ms 2 ms 2 ms 46.243.224.1.leadertelecom.ru [46.243.224.1] 4 5 ms 5 ms 5 ms 37.29.20.109 5 * 69 ms 68 ms 10.222.18.101 6 * * * Превышен интервал ожидания для запроса. 7 * * * Превышен интервал ожидания для запроса. 8 386 ms 67 ms * 10.222.99.61 9 * 316 ms 67 ms 10.222.36.134 10 66 ms 69 ms * 83.169.204.62 11 68 ms 67 ms 67 ms et-0-0-0-1.fra20.core-backbone.com [80.81.192.187] 12 76 ms * 76 ms ae1-2053.prg10.core-backbone.com [81.95.15.118] 13 76 ms 75 ms 75 ms core-backbone.superhosting.cz [80.255.14.50] 14 * 217 ms 74 ms unn-88-86-96-161.superhosting.cz [88.86.96.161] 15 79 ms * 78 ms rapid-1.superhosting.cz [88.86.103.6] 16 75 ms 75 ms 75 ms perlapostaeletronicaoggi.com [92.63.207.250] Оказывается такой адрес уже есть где-то на просторах интернета! Поэтому на него могут уходить ответы на мои запросы... Только не понятно каким образом такой адрес имеет место быть, в райпе же все прописано. Куда теперь обращаться с этим? Изменено 18 февраля, 2016 пользователем krovozhadina Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
zhenya` Опубликовано 18 февраля, 2016 · Жалоба Туда где брали ипы ) Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
krovozhadina Опубликовано 18 февраля, 2016 (изменено) · Жалоба Уже написал. Всем огромное спасибо за помощь. Особенное и отдельное спасибо Stak случайно попинавшему адрес 92.63.207.250 ))) Я сразу прозрел. Изменено 18 февраля, 2016 пользователем krovozhadina Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
