Перейти к содержимому
Калькуляторы

Добрый день.

 

С BSD роутера переехали на сабж. Подняли четыре транка SFP в ядро (lacp) и два транка в сторону аплинка (lacp), bgp (1FW + 1000 префикса), ospf отдача дефолта на насы. ACL не навешаны.

 

При трафике в 930mb/s я наблюдаю загрузку сpu на 50%. Нормально ли это? Я так понимаю это цифра будет расти. Так как обычно нагрузка 1,8G.

border-rsp#sh processes cpu sort
CPU utilization for five seconds: 50%/49%; one minute: 51%; five minutes: 51%
PID Runtime(ms)   Invoked      uSecs   5Sec   1Min   5Min TTY Process
181         228       382        596  0.39%  0.03%  0.00%   1 Virtual Exec
291       73856     47608       1551  0.23%  0.06%  0.06%   0 HIDDEN VLAN Proc
 64        7068    301032         23  0.07%  0.00%  0.00%   0 OSPF-1 Hello
220      214088    255946        836  0.07%  0.25%  0.25%   0 BGP Router
  4           0       129          0  0.00%  0.00%  0.00%   0 Retransmission o
  5           0         4          0  0.00%  0.00%  0.00%   0 IPC ISSU Dispatc
  6           0         1          0  0.00%  0.00%  0.00%   0 PF Redun ICC Req
  3           0         7          0  0.00%  0.00%  0.00%   0 OBFL Cfg Dispatc
  9           0         2          0  0.00%  0.00%  0.00%   0 Timers

border-rsp#show module
Mod Ports Card Type                              Model              
--- ----- -------------------------------------- ------------------   
 3   24  CEF720 24 port 1000mb SFP              WS-X6724-SFP       
 4    4  CEF720 4 port 10-Gigabit Ethernet      WS-X6704-10GE      
 5    2  Route Switch Processor 720 (Active)    RSP720-3CXL-GE     

 

border-rsp#show fabric utilization
slot    channel      speed    Ingress %     Egress %
   3          0        20G            4            4
   4          0        20G            0            0
   4          1        20G            0            0
   5          0        20G            4            3

 

Транк в ядро:

border-rsp#sh int Port-channel1
Port-channel1 is up, line protocol is up (connected)
 Hardware is EtherChannel, address is 0017.e0b9.3d9e (bia 0017.e0b9.3d9e)
 Description: trunk to core
 MTU 1500 bytes, BW 4000000 Kbit, DLY 10 usec,
    reliability 255/255, txload 65/255, rxload 53/255
 Encapsulation ARPA, loopback not set
 Keepalive set (10 sec)
 Full-duplex, 1000Mb/s
 input flow-control is off, output flow-control is off
 Members in this channel: Gi3/21 Gi3/22 Gi3/23 Gi3/24
 ARP type: ARPA, ARP Timeout 04:00:00
 Last input never, output never, output hang never
 Last clearing of "show interface" counters never
 Input queue: 0/2000/0/0 (size/max/drops/flushes); Total output drops: 0
 Queueing strategy: fifo
 Output queue: 0/40 (size/max)
 5 minute input rate 833966000 bits/sec, 157081 packets/sec
 5 minute output rate 1032860000 bits/sec, 161730 packets/sec

 

Это нормальные цифры для такой платформы?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Это нормальные цифры для такой платформы?

Если не считать фулвью нагрузка смешная.

CPU с трафиком слабо коррелируют. При росте трафика в 4-5 раз получили прирост CPU на 5-7% к первоначальным 15%.

Смотрите, что у вас за трафик на CPU сыпится.

 

Правда fw мы не сливаем на 7600. Интегратор крайне не советовал её в качестве ASBR.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Правда fw мы не сливаем на 7600. Интегратор крайне не советовал её в качестве ASBR.

несколько fw жует не заикаясь. недооцениваете возможности rsp720

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Подскажите куда можно заглянуть? Что бы уточнить что ее грузит.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

можно начать отсюда:

http://www.cisco.com/en/US/products/hw/routers/ps133/products_tech_note09186a00800a70f2.shtml

 

имеет смысл посмотреть в сторону версии софта. если она совсем древняя - там bgp может вызывать кашмар в загрузке процессора (наблюдалось на 12.2(33)SRB1)

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

можно начать отсюда:

http://www.cisco.com/en/US/products/hw/routers/ps133/products_tech_note09186a00800a70f2.shtml

 

имеет смысл посмотреть в сторону версии софта. если она совсем древняя - там bgp может вызывать кашмар в загрузке процессора (наблюдалось на 12.2(33)SRB1)

 

Cisco IOS Software, c7600rsp72043_rp Software (c7600rsp72043_rp-ADVIPSERVICES-M), Version 12.2(33)SRB7, RELEASE SOFTWARE (fc1)
Technical Support: http://www.cisco.com/techsupport
Copyright (c) 1986-2009 by Cisco Systems, Inc.
Compiled Thu 03-Sep-09 15:58 by prod_rel_team

ROM: System Bootstrap, Version 12.2(33r)SRD5, RELEASE SOFTWARE (fc1)

border-rsp uptime is 1 day, 3 hours, 55 minutes
Uptime for this control processor is 1 day, 3 hours, 55 minutes
Time since border-rsp switched to active is 1 day, 3 hours, 54 minutes
System returned to ROM by reload (SP by reload)
System restarted at 12:33:15 YEKT Tue Mar 29 2011
System image file is "bootdisk:c7600rsp72043-advipservices-mz.122-33.SRB7.bin"
Last reload type: Normal Reload

cisco CISCO7606-S (M8500) processor (revision 1.1) with 1835008K/131072K bytes of memory.
Processor board ID FOX1449GLGU
CPU: MPC8548_E, Version: 2.0, (0x80390020)
CORE: E500, Version: 2.0, (0x80210020)
CPU:1200MHz, CCB:400MHz, DDR:200MHz,
L1:    D-cache 32 kB enabled
       I-cache 32 kB enabled

Last reset from power-on
5 Virtual Ethernet interfaces
26 Gigabit Ethernet interfaces
4 Ten Gigabit Ethernet interfaces
3964K bytes of non-volatile configuration memory.

507024K bytes of Internal ATA PCMCIA card (Sector size 512 bytes).
Configuration register is 0x2102

 

Документ видел. По процессам ничего криминального не вижу...

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Правда fw мы не сливаем на 7600. Интегратор крайне не советовал её в качестве ASBR.

несколько fw жует не заикаясь. недооцениваете возможности rsp720

+1. Прекрасно работает.


BGP router identifier x.x.128.32, local AS number xxxxx
BGP table version is 282134102, main routing table version 282134102
346303 network entries using 41902663 bytes of memory
1374558 path entries using 71477016 bytes of memory
291258 multipath network entries and 582516 multipath paths
255241/61612 BGP path/bestpath attribute entries using 19398316 bytes of memory
147531 BGP AS-PATH entries using 3868794 bytes of memory
10067 BGP community entries using 683618 bytes of memory
14 BGP extended community entries using 368 bytes of memory
0 BGP route-map cache entries using 0 bytes of memory
0 BGP filter-list cache entries using 0 bytes of memory
BGP using 137330775 total bytes of memory
Dampening enabled. 463 history paths, 2540 dampened paths
BGP activity 1576416/1229540 prefixes, 39625226/38250095 paths, scan interval 60 secs

Neighbor    	V	AS MsgRcvd MsgSent   TblVer  InQ OutQ Up/Down  State/PfxRcd
x.x.128.33 	4 хххх 23435405 7318290 282134102	0	0 11w0d  	345821
x.x.130.26 	4 хххх  110806 7347839 282133801	0	0 11w0d      	63
x.x.156.81   4  хххх 5061200   59589 282133801	0	0 2w4d   	342909
x.x.156.113  4  хххх   99138 	391 282133801	0	0 02:57:10   342909
x.x.92.61   4 хххх 10201615  163638 282133801	0	0 14w5d  	342393

sh platform hardware capacity fabric 
Switch Fabric Resources
 Bus utilization: current: 0%, peak was 8% at 00:05:41 MSD Thu Jun 3 2010
 Fabric utilization: 	Ingress                	Egress
Module  Chanl  Speed  rate  peak     			rate  peak   			
1   	0    	20G	6%   13% @22:57 29Sep10	1%	5% @18:47 01Apr10
3   	0    	20G	0%	1% @13:43 15Apr10	0%	1% @18:42 23Mar10
3   	1    	20G	1%	5% @19:45 01Apr10	6%   13% @22:15 22Sep10
5   	0    	20G	0%	1% @23:53 23Mar10	0%	2% @09:24 11Oct10
 Switching mode: Module                                    	Switching mode
             	1                                                	compact
             	3                                                	compact
             	5                                                	compact


CPU utilization for five seconds: 0%/0%; one minute: 4%; five minutes: 3%
PID Runtime(ms)   Invoked  	uSecs   5Sec   1Min   5Min TTY Process 
411	36942524 573947529 		64  0.23%  0.07%  0.06%   0 Port manager per 
  2   	59336   6424487      	9  0.00%  0.00%  0.00%   0 Load Meter   	
  3  	115364  31366113      	3  0.00%  0.00%  0.00%   0 ISIS Adj 1   	
  1   		0 		6      	0  0.00%  0.00%  0.00%   0 Chunk Manager	
  5   		0 		4      	0  0.00%  0.00%  0.00%   0 IPC ISSU Dispatc 
  6   		0 		1      	0  0.00%  0.00%  0.00%   0 PF Redun ICC Req 
  4   		0   	131      	0  0.00%  0.00%  0.00%   0 Retransmission o 
  7   224344788  12622790  	17773  0.00%  0.78%  0.68%   0 Check heaps  	
  9   		0 		2      	0  0.00%  0.00%  0.00%   0 Timers   		
 10  	381572   2082451    	183  0.00%  0.00%  0.00%   0 ARP Input    	
 11    	4248  33449473      	0  0.00%  0.00%  0.00%   0 ARP Background   
 12   		0 		2      	0  0.00%  0.00%  0.00%   0 ATM Idle Timer   
  8   		0   	113      	0  0.00%  0.00%  0.00%   0 Pool Manager 	
 14   		0    	23      	0  0.00%  0.00%  0.00%   0 AAA_SERVER_DEADT 
 15   		0 		1      	0  0.00%  0.00%  0.00%   0 Policy Manager   
 13   		0 		1      	0  0.00%  0.00%  0.00%   0 ATM ASYNC PROC   

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

может sh platform hardware capacity cpu что подскажет?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

может sh platform hardware capacity cpu что подскажет?

 

border-rsp#sh platform hardware capacity cpu
CPU Resources
 CPU utilization: Module             5 seconds       1 minute       5 minutes
                  3                   0% /  0%             0%              0%
                  4                   0% /  0%             0%              0%
                  5  RP              64% / 57%            58%             58%
                  5  SP               4% /  0%             4%              5%
 Processor memory: Module   Bytes:       Total           Used           %Used
                   3                 205963168       42255720             21%
                   4                 205963168       42690004             21%
                   5  RP            1770249016      386159364             22%
                   5  SP             690462624      271949728             39%
 I/O memory: Module         Bytes:       Total           Used           %Used
             5  RP                   134217728       41549596             31%
             5  SP                    67108864       34324200             51%
border-rsp#

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

может sh platform hardware capacity cpu что подскажет?

 

border-rsp#sh platform hardware capacity cpu
CPU Resources
 CPU utilization: Module             5 seconds       1 minute       5 minutes
                  5  RP              64% / 57%            58%             58%

Результат ожидаемый - куча трафика идёт через Route Processor.

Никаких хитрых PBR не используете?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Версия ИОС:

Cisco IOS Software, c7600rsp72043_rp Software (c7600rsp72043_rp-ADVIPSERVICES-M), Version 12.2(33)SRD3, RELEASE SOFTWARE (fc3)
Technical Support: http://www.cisco.com/techsupport
Copyright (c) 1986-2009 by Cisco Systems, Inc.
Compiled Thu 10-Sep-09 10:35 by prod_rel_team

ROM: System Bootstrap, Version 12.2(33r)SRD5, RELEASE SOFTWARE (fc1)
BOOTLDR: Cisco IOS Software, c7600rsp72043_rp Software (c7600rsp72043_rp-ADVIPSERVICES-M), Version 12.2(33)SRD3, RELEASE SOFTWARE (fc3)

SOC-DC-ASBR-1 uptime is 1 year, 6 days, 22 hours, 20 minutes
Uptime for this control processor is 1 year, 6 days, 22 hours, 20 minutes
System returned to ROM by  power cycle (SP by power on)
System restarted at 15:33:04 MSK Tue Mar 23 2010
System image file is "sup-bootdisk:c7600rsp72043-advipservices-mz.122-33.SRD3.bin"
Last reload type: Normal Reload

Cisco CISCO7606-S (M8500) processor (revision 1.1) with 1835008K/131072K bytes of memory.
Processor board ID FOX1347G3PN
BASEBOARD: RSP720
CPU: MPC8548_E, Version: 2.0, (0x80390020)
CORE: E500, Version: 2.0, (0x80210020)
CPU:1200MHz, CCB:400MHz, DDR:200MHz,
L1:	D-cache 32 kB enabled
   	I-cache 32 kB enabled

Last reset from power-on
2 Virtual Ethernet interfaces
26 Gigabit Ethernet interfaces
4 Ten Gigabit Ethernet interfaces
3964K bytes of non-volatile configuration memory.

507024K bytes of Internal ATA PCMCIA card (Sector size 512 bytes).
Configuration register is 0x2102

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

может sh platform hardware capacity cpu что подскажет?

 

border-rsp#sh platform hardware capacity cpu
CPU Resources
 CPU utilization: Module             5 seconds       1 minute       5 minutes
                  5  RP              64% / 57%            58%             58%

Результат ожидаемый - куча трафика идёт через Route Processor.

Никаких хитрых PBR не используете?

 

interface Port-channel1

description trunk to core

switchport

switchport trunk encapsulation dot1q

switchport trunk allowed vlan 92,230,901,907

switchport mode trunk

switchport nonegotiate

!

interface Port-channel2

description trunk to uplink

switchport

switchport access vlan 150

switchport mode access

 

interface GigabitEthernet3/13

description trunk one to uplink

switchport

switchport access vlan 150

switchport mode access

channel-group 2 mode passive

!

interface GigabitEthernet3/14

description trunk two to uplink

switchport

switchport access vlan 150

switchport mode access

channel-group 2 mode passive

 

interface GigabitEthernet3/21

description trunk one to core

switchport

switchport trunk encapsulation dot1q

switchport trunk allowed vlan 92,230,901,907

switchport mode trunk

switchport nonegotiate

no keepalive

no cdp enable

channel-group 1 mode active

!

interface GigabitEthernet3/22

description trunk two to core

switchport

switchport trunk encapsulation dot1q

switchport trunk allowed vlan 92,230,901,907

switchport mode trunk

switchport nonegotiate

no keepalive

no cdp enable

channel-group 1 mode active

!

interface GigabitEthernet3/23

description trunk three to core

switchport

switchport trunk encapsulation dot1q

switchport trunk allowed vlan 92,230,901,907

switchport mode trunk

switchport nonegotiate

no keepalive

no cdp enable

channel-group 1 mode active

!

interface GigabitEthernet3/24

description trunk four to core

switchport

switchport trunk encapsulation dot1q

switchport trunk allowed vlan 92,230,901,907

switchport mode trunk

switchport nonegotiate

no keepalive

no cdp enable

channel-group 1 mode active

 

interface Vlan92

ip address xx.xxx.xxx.xx 255.255.255.248

no ip redirects

no ip unreachables

no ip proxy-arp

!

interface Vlan150

ip address xxx.xxx.xx.xxx 255.255.255.252

no ip redirects

no ip unreachables

no ip proxy-arp

!

interface Vlan230

ip address xxx.xx.xxx.xx 255.255.255.0

no ip redirects

no ip unreachables

no ip proxy-arp

!

interface Vlan901

ip address xx.xxx.xx.xxx 255.255.255.224

no ip redirects

no ip unreachables

no ip proxy-arp

ip ospf priority 150

 

ACL не используем. Роутмапы юзаем чтобы расскрасить local-pref, к примеру:

 

access-list 10 permit any

 

route-map YANDEX-IN permit 10

match ip address 10

set local-preference 117

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

На рутрекере уже доступен SRE2, попробуйте обновиться...

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Я бы посоветовал SRD4. У нас их в роли АСБРов много понатыкано.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

разрисуйте control-plane по типам трафика, будет проще понять что заставляет его так мучаться.

http://www.cisco.com/web/about/security/intelligence/coppwp_gs.html#9

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Ох, control-plane я попробую конечно. Правда, не думаю что трафик может убить это железо. На Тазике BSD бегало без проблем.

Попробую начать с смены IOS, далее по результатам.

 

Сейчас поднялось в 62%, 1.4GB/s.

Кстати, это поведение может сказыватся что RSP работает аппаратно не корректно?

 

И простите за глупый вопрос, если Port-channel1,2 подниму без switch port, а навешаю sub-interface на ченелы, будет ли разница какая? Потому что в будушем транк распадется на один 10G порт, и хотелось бы просто повесить на него IP адрес без всяких switchport'ов и поднятия VLAN как L3.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

И простите за глупый вопрос, если Port-channel1,2 подниму без switch port, а навешаю sub-interface на ченелы, будет ли разница какая? Потому что в будушем транк распадется на один 10G порт, и хотелось бы просто повесить на него IP адрес без всяких switchport'ов и поднятия VLAN как L3.

es+ нужна будет.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

И простите за глупый вопрос, если Port-channel1,2 подниму без switch port, а навешаю sub-interface на ченелы, будет ли разница какая? Потому что в будушем транк распадется на один 10G порт, и хотелось бы просто повесить на него IP адрес без всяких switchport'ов и поднятия VLAN как L3.

es+ нужна будет.

 

Я понял, плохая идея.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Подскажите куда можно заглянуть? Что бы уточнить что ее грузит.

 

а можно вывод sh platform hardware capacity forward посмотреть ?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Подскажите куда можно заглянуть? Что бы уточнить что ее грузит.

 

а можно вывод sh platform hardware capacity forward посмотреть ?

 

Конечно

border-rsp#sh platform hardware capacity forward
L2 Forwarding Resources
          MAC Table usage:   Module  Collisions  Total       Used       %Used
                             5                0  98304         54          1%

            VPN CAM usage:                       Total       Used       %Used
                                                   512          0          0%
L3 Forwarding Resources
            FIB TCAM usage:                     Total        Used       %Used
                 72 bits (IPv4, MPLS, EoM)     524288      353672         67%
                144 bits (IP mcast, IPv6)      262144           3          1%

                    detail:      Protocol                    Used       %Used
                                 IPv4                      353672         67%
                                 MPLS                           0          0%
                                 EoM                            0          0%

                                 IPv6                           0          0%
                                 IPv4 mcast                     3          1%
                                 IPv6 mcast                     0          0%

           Adjacency usage:                     Total        Used       %Used
                                              1048576         232          1%

    Forwarding engine load:
                    Module       pps   peak-pps                     peak-time
                    5         534437     645281  21:22:36 YEKT Wed Mar 30 2011

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Правда fw мы не сливаем на 7600. Интегратор крайне не советовал её в качестве ASBR.

несколько fw жует не заикаясь. недооцениваете возможности rsp720

У нас 7600 всё же для другого используются и вешать на неё несколько ролей не хочется.

 

Кстати. У меня получение арп таблицы по снмп грузит cpu на 50-80%, тоже самое по телнет на 5-10%, так что иногда бывают неожиданные решение.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

ROM: System Bootstrap, Version 12.2(33r)SRD5, RELEASE SOFTWARE (fc1)
BOOTLDR: Cisco IOS Software, c7600rsp72043_rp Software (c7600rsp72043_rp-IPSERVICESK9-M), Version 12.2(33)SRD5, RELEASE SOFTWARE (fc2)

CPU utilization for five seconds: 29%/28%; one minute: 34%; five minutes: 31%

 

Ничего не понимаю.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

при нормальной работе - CPU на работу комутации-маршрутизации не влияет - так как всё это происходит апаратно - то есть не через ЦПУ! 1Гб трафика для данной коробки должны быть семечками... Он должен и десять гигабит прожевать и загрузка ЦПУ должна быть в норме

 

но при неправильной настройке - возможны случаи когда работает через ЦПУ!

для более детальной информации - почитайте как устроена архитектура 7600

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Кстати. У меня получение арп таблицы по снмп грузит cpu на 50-80%, тоже самое по телнет на 5-10%, так что иногда бывают неожиданные решение.

Это и на 4500/4900 такая же беда. У нас мониторинг arp / fdb таблиц через snmp, и вот если с l2 коммутаторов все пучком берется, то на l3 кошках cpu грузит под плешку, особенно когда в таблице более 10к маков. В итоге сервис мониторинга через sys info определяет модель железки, а уже исходя из этого выбирает метод сливания таблиц - через telnet или snmp.

 

Ничего не понимаю.

рисуйте control-plane. какой то недоброкачественный трафик полез через cpu. чаще всего прикурить дают arp штормы, и mac move (особенно если их много). и насчет SRE тоже прислушайтесь, как раз для asbr он очень хорошо подходит.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Будем рисовать. Пока конфигурацию не трогаем, и будем менять IOS на SRE2.

 

Коллеги, тут появилась другая проблема: есть подозрение что перестали ходить транзитом ESP (IPSEC) пакеты, пожаловались уже двое абонентов. ACL нету. Они по дефолту не режутся, на этой платформе?

 

show ibc показывает такую картину:

Interface information:
       Interface IBC0/0(idb 0x14A92CE4)
       5 minute rx rate 306450000 bits/sec, 52208 packets/sec
       5 minute tx rate 625081000 bits/sec, 103637 packets/sec
       19276131754 packets input, 14778309259733 bytes
       19269085049 broadcasts received
       19085819117 packets output, 14743390554795 bytes
       57848004 broadcasts sent
       0 Bridge Packet loopback drops
       19262039656 Packets CEF Switched, 0 Packets Fast Switched
       0 Packets SLB Switched, 0 Packets CWAN Switched
       Label switched pkts dropped: 0    Pkts dropped during dma: 9706
       Invalid pkts dropped: 0    Pkts dropped(not cwan consumed): 0
       [b]IPSEC pkts dropped: 1168172[/b]
       Xconnect pkts processed: 0, dropped: 0
       Xconnect pkt reflection drops: 0
       Total paks copied for process level 0
       Total short paks sent in route cache 1780172829
       Total throttle drops 132    Input queue drops 5
       total spd packets classified (5124763 low, 1416017 medium, 6103030 high)
       total spd packets dropped (9701 low, 0 medium, 5 high)
       spd prio pkts allowed in due to selective throttling (0 med, 0 high)
       IBC resets   = 1; last at 21:34:26.671 YEKT Wed Mar 30 2011

 

IPSEC pkts dropped: 1168172 связано ли это с данной проблемой? Зависит ли это от ИОСа (транзит ESP)? У меня простой ipservices.

 

Кстати, поделитесь пожалуйста, SRE3?

Изменено пользователем carleone

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Гость
Ответить в тему...

×   Вставлено в виде отформатированного текста.   Вставить в виде обычного текста

  Разрешено не более 75 смайлов.

×   Ваша ссылка была автоматически встроена.   Отобразить как ссылку

×   Ваш предыдущий контент был восстановлен.   Очистить редактор

×   Вы не можете вставить изображения напрямую. Загрузите или вставьте изображения по ссылке.