krovozhadina Posted February 17, 2016 Posted February 17, 2016 (edited) Здравствуйте, коллеги. До недавних пор у нас был один пул адресов /22 сети, а теперь стало два по /22. Пытаюсь пустить клиентов в интернет, выдавая адреса из второго пула, но трафик не идет. Трассировка показывает, что трасса кончается на бордере. Вот конфиг бордера (лишнее вырезал) interface GigabitEthernet0/0/0.3 description vlan3 encapsulation dot1Q 3 ip address 92.63.204.1 255.255.252.0 secondary ip address 46.243.224.1 255.255.252.0 ! router bgp 56648 bgp log-neighbor-changes bgp deterministic-med network 46.243.224.0 mask 255.255.252.0 network 92.63.204.0 mask 255.255.252.0 neighbor 37.29.20.109 remote-as 31133 neighbor 37.29.20.109 version 4 neighbor 37.29.20.109 send-community neighbor 37.29.20.109 soft-reconfiguration inbound distance bgp 180 200 200 ! ip route 0.0.0.0 0.0.0.0 37.29.20.109 ip route 46.243.224.0 255.255.252.0 Null0 254 ip route 92.63.204.0 255.255.252.0 Null0 254 Клиенты ходят в инет через VPN-PPTP(mpd5). Биллинг выдает адреса из пулов динамически. Интересный момент... на сервере дефолтный шлюз такой # uname -v FreeBSD 9.2-RELEASE #0 r261772M: Tue Feb 11 19:38:03 MSK 2014 root@FreeVPN:/usr/src/sys/i386/compile/mykernel # ifconfig -a em0: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 1500 options=4219b<RXCSUM,TXCSUM,VLAN_MTU,VLAN_HWTAGGING,VLAN_HWCSUM,TSO4,WOL_MAGIC,VLAN_HWTSO> inet 92.63.204.16 netmask 0xfffffc00 broadcast 92.63.207.255 inet 46.243.224.16 netmask 0xfffffc00 broadcast 46.243.227.255 # netstat -rln | more Routing tables Internet: Destination Gateway Flags Refs Use Mtu Netif Expire default 92.63.204.1 UGS 0 116393 1500 em0 10.0.0.0/24 link#1 U 0 345170 1500 igb0 => А вот трассировка идет через другой шлюз # traceroute -dn 77.88.8.8 traceroute to 77.88.8.8 (77.88.8.8), 64 hops max, 40 byte packets 1 46.243.224.1 0.172 ms 0.279 ms 0.143 ms <<<----- 2 37.29.20.109 28.533 ms 5.138 ms 3.290 ms 3 10.222.18.105 21.628 ms 21.972 ms 22.189 ms 4 10.222.43.17 22.264 ms 22.404 ms 22.403 ms *****обрезал лишнее Подтолкните пожалуйста в нужном направлении. Edited February 17, 2016 by krovozhadina Вставить ник Quote
g3fox Posted February 17, 2016 Posted February 17, 2016 Интерфейс em0 это а-ля ppp в linux? У вас proxy-arp работает на FreeBSD или как бордер понимает, куда девать трафик? У вас один брас? Вставить ник Quote
krovozhadina Posted February 17, 2016 Author Posted February 17, 2016 (edited) На каждом сервере у меня по два фейса: 1 - смотрит в локалку, 2 - смотрит в сторону бордера. em0 смотрит в сторону бордера. Сервер понимает куда гнать трафик, т.к. у него указан шлюз по дефолту, на него все и валит. # ifconfig -a | less igb0: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 1500 options=401bb<RXCSUM,TXCSUM,VLAN_MTU,VLAN_HWTAGGING,JUMBO_MTU,VLAN_HWCSUM,TSO4,VLAN_HWTSO> inet 10.0.0.16 netmask 0xffffff00 broadcast 10.0.0.255 em0: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 1500 options=4219b<RXCSUM,TXCSUM,VLAN_MTU,VLAN_HWTAGGING,VLAN_HWCSUM,TSO4,WOL_MAGIC,VLAN_HWTSO> inet 92.63.204.16 netmask 0xfffffc00 broadcast 92.63.207.255 inet 46.243.224.16 netmask 0xfffffc00 broadcast 46.243.227.255 На серверах поднят rip, как и на агрегирующих коммутаторах. Вся сетка поделена на вланы. С коммутаторов весь трафик сыпется на сервера, а оттуда уже на бордер. BRAS у нас один, серверов NAS два. Edited February 17, 2016 by krovozhadina Вставить ник Quote
vurd Posted February 17, 2016 Posted February 17, 2016 Заходишь в тему о циске, а там фряха)) Пояему у вас висят два ип с охрененно широкой маской? Вставить ник Quote
krovozhadina Posted February 17, 2016 Author Posted February 17, 2016 (edited) Заходишь в тему о циске, а там фряха)) Пояему у вас висят два ип с охрененно широкой маской? Ну где же? 10.0.0.16/24 локалка 92.63.204.16/22 IPv4 PA белые адреса для клиентов 46.243.224.16/22 IPv4 PA белые адреса для клиентов Да тут даже дело не во фряхе. Трассировка то кончается на бордере. Вот трасса с клиента, который получил адрес из блока 92.63.204.0/22 >tracert -dn yandex.ru Трассировка маршрута к yandex.ru [5.255.255.55] с максимальным числом прыжков 30: 1 2 ms 1 ms 1 ms 192.168.0.1 роутер 2 2 ms 2 ms 3 ms 172.16.1.16 виртуальный фейс mpd 3 4 ms 2 ms 2 ms 46.243.224.1 бордер 4 * * * Превышен интервал ожидания для запроса. ну и т.д. Edited February 17, 2016 by krovozhadina Вставить ник Quote
dmvy Posted February 17, 2016 Posted February 17, 2016 у бордера на интерфейсе 2 ip-адреса. Он отвечает на пакеты с ttl expire тем ip-адресом, который primary на интерфейсе, а это явно не тот который secondary. Так что с трейсом все нормально. Вы уверены, что аплинк принял ваш второй преыикс? Есть route-object в RIPE BD? Как аплинк строит фильтры? Вставить ник Quote
vurd Posted February 17, 2016 Posted February 17, 2016 Я просто заодно interface GigabitEthernet0/0/0.3 description vlan3 encapsulation dot1Q 3 ip address 92.63.204.1 255.255.252.0 secondary ip address 46.243.224.1 255.255.252.0 ! вот про это спросил. Нафиг два ip в /22. Как-то странно выглядит. Это не причина проблемы. Это просто заодно. По проблеме. Анонсы видны, роут-объекты прописаны. Из интеренета пингуются и 92.63.204.16 и 46.243.224.16. Тут что-то простое. Вставить ник Quote
dmvy Posted February 17, 2016 Posted February 17, 2016 Смотрите, вдруг поможет: # mtr -rc10 92.63.204.16 HOST: aaa.ustu.ru Loss% Snt Last Avg Best Wrst StDev 1. vpn.ustu.ru 0.0% 10 0.5 0.7 0.4 1.2 0.3 2. 212.193.87.46 0.0% 10 5.4 5.6 3.7 10.1 2.1 3. 10.255.15.6 0.0% 10 5.8 4.4 2.8 5.8 1.0 4. 195.239.186.161 0.0% 10 6.4 6.3 4.8 8.3 1.1 5. mx01.Stockholm.gldn.net 0.0% 10 52.9 57.3 51.5 82.8 9.6 6. xe-1-3-0-xcr1.skt.cw.net 0.0% 10 50.3 49.4 47.8 50.9 1.0 7. ae10-xcr1.amt.cw.net 0.0% 10 81.6 77.2 74.1 81.6 2.3 8. be3037.rcr21.ams05.atlas.cog 0.0% 10 78.3 78.2 76.3 80.0 1.2 9. be2039.ccr42.ams03.atlas.cog 0.0% 10 82.4 81.3 79.4 82.7 1.1 10. be2816.ccr42.ham01.atlas.cog 0.0% 10 78.5 77.5 75.7 78.5 0.9 11. be2282.ccr22.sto03.atlas.cog 0.0% 10 79.7 77.4 74.6 79.7 1.4 12. be2397.ccr21.sto01.atlas.cog 0.0% 10 78.4 78.9 77.7 79.9 0.6 13. 149.6.168.42 0.0% 10 83.1 80.7 76.9 88.1 3.2 14. 83.169.204.77 0.0% 10 99.6 99.9 97.1 102.8 1.9 15. ??? 100.0 10 0.0 0.0 0.0 0.0 0.0 16. 10.222.52.50 0.0% 10 95.4 99.4 95.4 105.1 2.5 17. 10.222.43.10 0.0% 10 92.9 97.0 92.9 99.8 2.0 18. e8c6d.ilfaredateeletronico.c 10.0% 10 102.2 100.2 98.3 102.2 1.2 # mtr -rc10 46.243.224.16 HOST: aaa.ustu.ru Loss% Snt Last Avg Best Wrst StDev 1. vpn.ustu.ru 0.0% 10 0.6 0.6 0.5 0.8 0.1 2. 212.193.87.46 0.0% 10 5.7 1.7 1.1 5.7 1.4 3. 10.255.15.6 0.0% 10 1.3 2.2 1.0 10.7 3.0 4. 195.239.186.161 0.0% 10 4.3 3.6 2.2 9.1 2.0 5. mx01.Stockholm.gldn.net 0.0% 10 48.4 49.2 48.4 51.3 1.1 6. xe-11-0-0-xcr1.skt.cw.net 0.0% 10 45.6 47.8 45.6 61.9 5.0 7. ae10-xcr1.amt.cw.net 0.0% 10 73.6 72.6 71.8 73.6 0.6 8. be3037.rcr21.ams05.atlas.cog 0.0% 10 74.9 74.5 73.8 75.4 0.5 9. be2039.ccr42.ams03.atlas.cog 0.0% 10 78.3 77.8 77.3 78.3 0.4 10. be2816.ccr42.ham01.atlas.cog 0.0% 10 74.1 74.2 73.7 75.0 0.4 11. be2282.ccr22.sto03.atlas.cog 0.0% 10 74.4 74.2 73.8 74.5 0.3 12. be2397.ccr21.sto01.atlas.cog 0.0% 10 75.1 79.2 74.6 118.2 13.7 13. 149.6.168.42 0.0% 10 74.0 76.2 74.0 81.9 2.8 14. 83.169.204.81 0.0% 10 99.7 133.6 95.3 456.3 113.4 15. ??? 100.0 10 0.0 0.0 0.0 0.0 0.0 16. ??? 100.0 10 0.0 0.0 0.0 0.0 0.0 17. 10.222.43.14 0.0% 10 96.5 98.1 95.8 112.7 5.2 18. 10.222.18.102 0.0% 10 101.2 97.7 95.8 101.2 1.6 19. 37.29.20.110 0.0% 10 96.1 97.3 96.1 100.3 1.2 20. 46.243.224.16.leadertelecom. 10.0% 10 94.6 94.2 93.5 94.7 0.4 Вставить ник Quote
g3fox Posted February 18, 2016 Posted February 18, 2016 BRAS у нас один, серверов NAS два Что-то у меня это в голове не укладывается... Чем вы отличаете NAS от BRAS? Но это не по теме. Запросите у аплинка проверить наличие аклов в вашу сторону. Вставить ник Quote
krovozhadina Posted February 18, 2016 Author Posted February 18, 2016 (edited) у бордера на интерфейсе 2 ip-адреса. Он отвечает на пакеты с ttl expire тем ip-адресом, который primary на интерфейсе, а это явно не тот который secondary. Так что с трейсом все нормально. Вы уверены, что аплинк принял ваш второй преыикс? Есть route-object в RIPE BD? Как аплинк строит фильтры? А как тогда иметь несколько блоков PA? Неужели мне одному такое "счастье"... кто-то ведь до меня это уже реализовал. vurd, не объявлять же адреса в /32 на фейсе. он тогда не будет видеть участников блока адресов. Что-то у меня это в голове не укладывается... Чем вы отличаете NAS от BRAS? Но это не по теме. Запросите у аплинка проверить наличие аклов в вашу сторону. Почему-то я всегда считал, что NAS это сервер доступа )) почитал на вики и офигел... мда уж! А BRAS это именно маршрутизатор, бордер. Аплинк говорит, что видит наши блоки >dis bgp routing-table peer 37.29.20.110 received-routes BGP Local router ID is 10.222.254.118 Status codes: * - valid, > - best, d - damped, h - history, i - internal, s - suppressed, S - Stale Origin : i - IGP, e - EGP, ? - incomplete Total Number of Routes: 2 Network NextHop MED LocPrf PrefVal Path/Ogn *> 46.243.224.0/22 37.29.20.110 0 300 0 56648i *> 92.63.204.0/22 37.29.20.110 0 300 0 56648i Edited February 18, 2016 by krovozhadina Вставить ник Quote
g3fox Posted February 18, 2016 Posted February 18, 2016 Аплинк говорит, что видит наши блоки Я имел ввиду не фильтры BGP, а фильтры на интерфейсах. Если у вас два BRAS (NAS) то как бордер понимает куда ему слать трафик? У вас proxy-arp? Или у вас просто /22 поделена напополам по /23 и вы на разных брасах её раздаёте? ip address 92.63.204.1 255.255.252.0 secondary ip address 46.243.224.1 255.255.252.0 Вот это без proxy-arp вообще не должно работать. Вставить ник Quote
krovozhadina Posted February 18, 2016 Author Posted February 18, 2016 g3fox, нет не поделена. В том то и дело, что подсети на бордере заведено две. Одна из них работает, та что 46..., а 92... не работает. Хотя до самих серверов трафик ходит отлично. Вставить ник Quote
NikAlexAn Posted February 18, 2016 Posted February 18, 2016 g3fox, нет не поделена. В том то и дело, что подсети на бордере заведено две. Одна из них работает, та что 46..., а 92... не работает. Хотя до самих серверов трафик ходит отлично. А покажите трэйс с бордера на абонента из 92-й сетки с параметром (-source внешний_ip_бордера). Подозреваю что не пройдёт. Вставить ник Quote
krovozhadina Posted February 18, 2016 Author Posted February 18, 2016 (edited) g3fox, а бордер знает куда слать пакеты от того, что поднят rip на нем самом, а также на каждом из BRASов (quagga) router rip version 2 no validate-update-source passive-interface GigabitEthernet0/0/3 network 46.0.0.0 network 92.0.0.0 neighbor 92.63.204.16 neighbor 46.243.224.16 neighbor 46.243.224.14 no auto-summary #sh ip route rip Gateway of last resort is 37.29.20.109 to network 0.0.0.0 46.0.0.0/8 is variably subnetted, 6068 subnets, 13 masks R 46.243.224.31/32 [120/1] via 46.243.224.14, 00:00:02, GigabitEthernet0/0/0.3 R 46.243.224.32/32 [120/1] via 46.243.224.14, 00:00:02, GigabitEthernet0/0/0.3 R 46.243.224.33/32 [120/1] via 46.243.224.14, 00:00:02, GigabitEthernet0/0/0.3 ну и т.д. NikAlexAn, не прошел. В чем смысл? Это я подключился через второй сервер на который назначен блок 92... Сам бордер меня видит #sh ip route rip | in 92.63. R 92.63.207.254/32 [120/1] via 92.63.204.16, 00:00:08, GigabitEthernet0/0/0.3 #ping 92.63.207.254 Type escape sequence to abort. Sending 5, 100-byte ICMP Echos to 92.63.207.254, timeout is 2 seconds: !!!!! Success rate is 100 percent (5/5), round-trip min/avg/max = 1/1/2 ms А вот с клиентской машины я никак не могу выйти за пределы бордера >tracert -dn -w 30 77.88.8.8 Трассировка маршрута к 77.88.8.8 с максимальным числом прыжков 30 1 1 ms 1 ms 1 ms 192.168.0.1 2 2 ms 2 ms 2 ms 172.16.1.16 3 2 ms 2 ms 2 ms 46.243.224.1 4 * * * Превышен интервал ожидания для запроса. Причем не понятно, почему последний хоп совсем из другой подсети, когда на сервере дефолтгейтвей указан 92.63.204.1 # netstat -rln | grep 92.63 default 92.63.204.1 UGS 0 478814 1500 em0 92.63.204.0/22 link#3 U 0 7140 1500 em0 Edited February 18, 2016 by krovozhadina Вставить ник Quote
krovozhadina Posted February 18, 2016 Author Posted February 18, 2016 (edited) Интересная особенность... если я получил адрес к примеру 92.63.207.250, то трафик не идет через бордер. А вот если я получаю адрес из 92.63.204.*/24 , то все отлично гуляет туда и обратно. Что-то в бордере надо подкрутить, но никак не соображу что. Сейчас мой реальный адрес 92.63.204.254. Киньте кто-то трассу от себя. Трафик все равно идет через адрес 46.243.224.1 >tracert -dn -w 30 77.88.8.8 Трассировка маршрута к 77.88.8.8 с максимальным числом прыжков 30 1 2 ms 1 ms 8 ms 192.168.0.1 2 33 ms 3 ms 2 ms 172.16.1.16 3 * 250 ms 10 ms 46.243.224.1 4 * 18 ms 5 ms 37.29.20.109 5 26 ms 25 ms 24 ms 10.222.18.137 6 24 ms 25 ms 26 ms 10.222.43.9 7 * * * Превышен интервал ожидания для запроса. 8 24 ms 26 ms 26 ms 10.222.99.57 9 25 ms 23 ms 23 ms 83.169.204.2 10 * * * Превышен интервал ожидания для запроса. 11 69 ms 69 ms 70 ms 87.250.239.62 12 70 ms 69 ms 70 ms 87.250.239.67 13 69 ms 69 ms * 77.88.8.8 14 70 ms 69 ms 69 ms 77.88.8.8 Трассировка завершена. Edited February 18, 2016 by krovozhadina Вставить ник Quote
Stak Posted February 18, 2016 Posted February 18, 2016 Интересная особенность... если я получил адрес к примеру 92.63.207.250, то трафик не идет через бордер. А вот если я получаю адрес из 92.63.204.*/24 , то все отлично гуляет туда и обратно. Что-то в бордере надо подкрутить, но никак не соображу что. Сейчас мой реальный адрес 92.63.204.254. Киньте кто-то трассу от себя. 4 10.222.52.50 [MPLS: Label 4965 Exp 0] 40 msec 36 msec 10.222.43.1 [MPLS: Label 4965 Exp 0] 40 msec 5 10.222.43.22 [MPLS: Label 5354 Exp 0] 36 msec 40 msec 40 msec 6 10.222.18.142 36 msec * * 7 * * 37.29.20.110 36 msec 8 92.63.204.16 36 msec 40 msec 40 msec 9 * * * 10 * * * 11 * * * 12 * * * 13 * * * 14 * * SPE-OFF-RTR1# PS: SPE-OFF-RTR1#ping 92.63.204.254 Type escape sequence to abort. Sending 5, 100-byte ICMP Echos to 92.63.204.254, timeout is 2 seconds: !!!!! Success rate is 100 percent (5/5), round-trip min/avg/max = 40/40/44 ms SPE-OFF-RTR1# SPE-OFF-RTR1#ping 92.63.207.250 Type escape sequence to abort. Sending 5, 100-byte ICMP Echos to 92.63.207.250, timeout is 2 seconds: !!!!! Success rate is 100 percent (5/5), round-trip min/avg/max = 40/40/40 ms SPE-OFF-RTR1# Вставить ник Quote
krovozhadina Posted February 18, 2016 Author Posted February 18, 2016 (edited) А трассу пожалуйста до 92.63.207.250 Вот где собака зарыта! >tracert -w 30 92.63.207.250 Трассировка маршрута к perlapostaeletronicaoggi.com [92.63.207.250] с максимальным числом прыжков 30: 1 2 ms 1 ms 1 ms 192.168.0.1 2 2 ms 2 ms 2 ms 172.16.1.16 3 4 ms 2 ms 2 ms 46.243.224.1.leadertelecom.ru [46.243.224.1] 4 5 ms 5 ms 5 ms 37.29.20.109 5 * 69 ms 68 ms 10.222.18.101 6 * * * Превышен интервал ожидания для запроса. 7 * * * Превышен интервал ожидания для запроса. 8 386 ms 67 ms * 10.222.99.61 9 * 316 ms 67 ms 10.222.36.134 10 66 ms 69 ms * 83.169.204.62 11 68 ms 67 ms 67 ms et-0-0-0-1.fra20.core-backbone.com [80.81.192.187] 12 76 ms * 76 ms ae1-2053.prg10.core-backbone.com [81.95.15.118] 13 76 ms 75 ms 75 ms core-backbone.superhosting.cz [80.255.14.50] 14 * 217 ms 74 ms unn-88-86-96-161.superhosting.cz [88.86.96.161] 15 79 ms * 78 ms rapid-1.superhosting.cz [88.86.103.6] 16 75 ms 75 ms 75 ms perlapostaeletronicaoggi.com [92.63.207.250] Оказывается такой адрес уже есть где-то на просторах интернета! Поэтому на него могут уходить ответы на мои запросы... Только не понятно каким образом такой адрес имеет место быть, в райпе же все прописано. Куда теперь обращаться с этим? Edited February 18, 2016 by krovozhadina Вставить ник Quote
krovozhadina Posted February 18, 2016 Author Posted February 18, 2016 (edited) Уже написал. Всем огромное спасибо за помощь. Особенное и отдельное спасибо Stak случайно попинавшему адрес 92.63.207.250 ))) Я сразу прозрел. Edited February 18, 2016 by krovozhadina Вставить ник Quote
.png.5d2afa2996cc6a85d0f2c09b92dd0a28.png)
Recommended Posts
Join the conversation
You can post now and register later. If you have an account, sign in now to post with your account.