INFORME GESTIN

EQUIPOS RAD OP-108

CLARO EL SALVADOR

Acerca del documento.

Preparado por: Nelson Hernndez ESERTEL/ITEL

Fecha:

07/01/2016

Juan Pablo Monzn EIG/ITEL

Fecha:

07/01/2016

Revisado por:

Carlos Durando EIG/ITEL

Fecha:

08/01/2016

Revisado por:

Mera Sentar RAD DATACOMM

Fecha:

10/01/2016

Acerca de los equipos usados.

Equipo
Router L 3
Switch de Acceso L2
Convertidores de medio
Generador de trfico ETH

Modelo
Router CISCO
Catalyst 3560
OP-108/U/ETH/FC/13L
OP-108L/BM/U/ETH/FC/13L
Anritsu MT9090A

Contenido
Introduccin............................................................................................................................. 4
Objetivo............................................................................................................................... 4
Antecedentes ....................................................................................................................... 4
Pruebas realizadas para diagnosticar el problema: .......................................................................... 5
Prueba 1 - Replicacin de la incidencia...................................................................................... 5
Misma MAC ADDRESS en ambas VLAN. ............................................................................... 7
Resultados obtenidos del generador de trfico ANRITSU:.......................................................... 7
As mismo en este caso se comprob la gestin del OP-108 tiene prdida de paquetes................... 8
Perdida de PING a la gestin del OP-108 ............................................................................... 8
Prueba 2 - Solucin a implementar ........................................................................................... 8
Diferentes MAC ADDRESS en las VLAN ................................................................................ 9
Resultados obtenido del generador Ethernet ......................................................................... 10
Ping a la gestin.............................................................................................................. 10
Prueba 3 - Tiempo de recuperacin al momento de cambiar las MAC ADDRESS de Origen .............. 11
Prueba 4 Conexin y desconexin de fibra, UTP y energa ....................................................... 12
Conclusiones...................................................................................................................... 14
Recomendaciones............................................................................................................... 14
Anexos ................................................................................................................................. 15
Configuracin OP-108.......................................................................................................... 15
Cambio de MAC ADDRESS origen en ROUTER PE CISCO (para la VLAN de gestin de los equipos
RAD) ................................................................................................................................ 17

Introduccin
Objetivo
El presente informe explica la situacin relacionada al problema de interferencia entre el trfico del usuario
y el trfico de gestin en los equipos RAD OPTIMUX OP-108 y OP-108L al momento de habilitar la gestin
fuera de banda. Y a la vez propone una solucin tcnica para que sea analizada y considerada por CLARO
El Salvador.

Antecedentes
Actualmente CLARO El Salvador tiene cierta cantidad de enlaces punto a punto va fibra ptica para
clientes corporativos con servicios E1-PRI (DIDs) de telefona y servicios Ethernet por medio de los equipos
RAD OP-108 y OP-108L. A la fecha, estos enlaces estn siendo operados por CLARO con la funcionalidad
de gestin fuera de banda deshabilitada, debido a que el equipo OP-108 que se instala del lado central al
tener habilitados los puertos de gestin fuera de banda (MNG-ETH) y de trfico de usuario (USER-ETH),
ambos interconectados a los puertos del SWITCH CISCO de acceso de la red Metro Ethernet de CLARO,
ocurren las siguientes incidencias
1. En algunos enlaces se ve afectada la funcionalidad de gestin fuera de banda, bloquendose
dicho puerto o presentando un comportamiento errtico.
2. En otros enlaces se ha detectado que cuando se habilita el puerto de gestin fuera de banda del
OP-108 central, se bloquea el puerto de trfico de usuario, dado que el SW CISCO de la red metro
de CLARO detecta un loop proveniente del OP-108 central.
3. En resumen cuando los dos puertos Ethernet (MNG-ETH y USER-ETH) estn operativos en el
OP-108 central del enlace, bajo la implementacin actual, ocurre interferencia entre el trfico de
usuario y el trfico de gestin.
Por lo anterior, CLARO El Salvador opt por una solucin interina, que es la de deshabilitar en el SW
CISCO de acceso, el puerto asignado para la gestin del equipo OP-108. Con lo cual se logra que el trfico
de usuario no sea vea afectado, pero por otro lado se pierde la gestin fuera de banda del OP-108 central y
remoto; por lo tanto del enlace completo.
A continuacin el esquema de conexin utilizado se muestra en la figura 1, a continuacin:

NOTA: Este diagrama es nicamente un caso representativo, ya que puede variar segn los tipos de switch de
acceso, router PE, direcciones IP, etc.

RADview
3.40
Gi1

SWITCHPORT MODE TRUNK

FO

Gi1

CISCO PE
7609
LAYER 3

CISCO
3600
LAYER 2
Gi1

SWITCHPORT MODE TRUNK

FO

Gi1

CISCO
3750
LAYER 2
FA/ETH
DATA MODE
ACCESS
VLAN X
UTP

FA/ETH
MANAGEMENT
MODE ACCESS
VLAN Y
UTP

MPLS
USER-ETH

OP-108L/BM/U/ETH/FC/13L

MNG-ETH
FO

UTP
FA/ETH

OP-108/U/ETH/FC/13L
IP: X.X.X.X
MASK: Y.Y.Y.Y
GTW: Z.Z.Z.Z

ROUTER
CLIENTE
SERVICIO
ETHERNET
(IP/ID)

Fig. 1a

Pruebas realizadas para diagnosticar el problema:

Prueba 1 - Replicacin de la incidencia
Para poder analizar ms a fondo las afectaciones antes mencionadas, se ha creado en el laboratorio de
nuestra empresa una maqueta de equipos para simular el escenario y duplicar la incidencia, segn se
muestra la figura 1b a continuacin.

Para este escenario, se est utilizando una misma MAC ADDRESS de origen tanto para el trfico de
gestin como para el trfico de cliente. Esta es la MAC ADDRESS (00:17:C5:9A:00:0A) generada desde el
ROUTER CISCO que presentan funcionalidad de CAPA 3. Este escenario simula la implementacin actual
en la red de CLARO ES.
MISMA MAC ORIGEN, USADA PARA GESTION (INTERFACE VLAN 5) Y
SERVICIO (INTERFACE VLAN 10)
VLAN 10 TRAFICO MAC ADDRESS
00:17:C5:9A:00:0A
ORIGEN, ROUTER PE

ACCESS V 5
Fa/Eth

Gi/Eth

VLAN 5 GESTION MAC

ADDRESS 00:17:C5:9A:00:0A
ORIGEN, ROUTER PE
Fa/Eth

Gi/Eth

SE GENERA TRAFICO
ETHERNET
BIDIRECCIONAL A UNA
VELOCIDAD DE 75Mbps
CON PAQUETES DE 512
BYTES

TRUNK

TRUNK
Gi/Eth

Ethernet
traffic
Generator
MT9090A

PC GESTION
IP: 10.1.1.223
MASK: 255.255.255.0
GTW: 10.1.1.222

Pto A

Fa/Eth
Pto B

SWITCH DE
ACCESO
CAPA 2
CATALYST
3560

TRAFICO DE GESTION
TRAFICO DE SERVICIO CLIENTE

Gi/Eth

ACCESS V 5
Fa 0/6

MNG-ETH
Fa/Eth

ACCESS V 10
Fa 0/7

USER-ETH
Fa/Eth

Fa/Eth
FO

OP-108/U/ETH/FC/13L
IP: 10.10.5.5
MASK: 255.255.255.0
GTW: 10.10.5.1

OP-108L/BM/U/ETH/FC/13L

Fig. 1b
Se gener trfico Ethernet constante y bidireccional con throughput de 75 Mbps, y paquetes de 512 bytes
por un tiempo de 30 minutos por medio del analizador, ANRITSU MT9090. El resultado obtenido de esta
prueba es que al iniciar la generacin del trfico de usuario, inmediatamente se pierde la conectividad a la
gestin del equipo OP-108 central, y a la vez se observa perdida eventual de paquetes de trfico de usuario
(recepcin del puerto A en el equipo ANRITSU). Es decir se comprueba la interferencia entre ambos
trficos. Tambin se comprob que dicha interferencia no ocurre cuando solo uno de los dos puertos est
conectado.

Misma MAC ADDRESS en ambas VLAN.

Fig. 1c
Resultados obtenidos del generador de trfico ANRITSU:
A continuacin en la fig. 1d se muestran los resultados

Fig. 1d
De los resultados arriba mostrados se puede concluir lo siguiente, segn la relacin de las flechas:

El puerto A trasmiti un total 32248639 paquetes, de los cuales el puerto B recibi un total de 32248639
paquetes. Es decir se comprueba no ocurre ninguna afectacin del trfico de usuario en este sentido.

El puerto B transmiti un total 32249082 paquetes, de los cuales el puerto A recibi un total de
32248985. Restando al total de paquetes enviados por el puerto B por los paquetes recibidos en el puerto
A se obtiene una diferencia de 97 paquetes perdidos. Es decir se comprueba si ocurre afectacin del
trfico de usuario en este sentido.

As mismo en este caso se comprob la gestin del OP-108 tiene prdida de paquetes.
Perdida de PING a la gestin del OP-108

Fig. 1e

Prueba 2 - Solucin a implementar

De las pruebas anteriores se pudo observar, que cuando el equipo OP-108 recibe la misma MAC
ADDRESS de origen en los puertos para el trfico de usuario y para el trfico de gestin, se presenta la
incidencia. Esto fue consultado tambin con el fabricante RAD quien confirm que efectivamente es el
comportamiento esperado, dado que el chip set que utiliza el equipo OP-108 para las funciones de CAPA 2
opera en modo MAC bridging, por lo cual no es una condicin vlida para el OP-108 que se presenten las
mismas MAC origen en el puerto de trafico de usuario y el puerto de trafico de gestin, siendo la solucin
recomendada que dichas MACs sean diferentes.
En vista de lo anterior, en la siguiente prueba se han configurado en el ROUTER CISCO, 2 MAC
ADDRESS de origen distintas, 1 para el trfico de gestin (00:17:C5:9A:10:C8) y otra para el trfico de
usuario (00:17:C5:9A:00:0A) . De nuevo se gener trfico bidireccional y constante con throughput de
75Mbps y paquetes de 512 bytes, por un tiempo de 1 hora y 30 minutos. A continuacin se muestra el
diagrama con los detalles para esta prueba.

DIFERENTES MAC DE ORIGEN, UNA PARA GESTION (INTERFACE

VLAN 5) Y OTRO PARA SERVICIO (INTERFACE VLAN 10)

ACCESS V 5
Fa/Eth

Gi/Eth

VLAN 5 GESTION MAC

ADDRESS 00:17:C5:9A:00:C8
ORIGEN, ROUTER PE
Fa/Eth

Gi/Eth

VLAN 10 TRAFICO MAC ADDRESS

00:17:C5:9A:00:0A
ORIGEN, ROUTER PE

SE GENERA TRAFICO
ETHERNET
BIDIRECCIONAL A UNA
VELOCIDAD DE 75Mbps
CON PAQUETES DE 512
BYTES

TRUNK

TRUNK
Gi/Eth

Ethernet
traffic
Generator
MT9090A

PC GESTION
IP: 10.1.1.223
MASK: 255.255.255.0
GTW: 10.1.1.222

Pto A

Fa/Eth
Pto B

SWITCH DE
ACCESO
CAPA 2
CATALYST
3560

TRAFICO DE GESTION
TRAFICO DE SERVICIO CLIENTE

Gi/Eth

ACCESS V 5
Fa 0/6

MNG-ETH
Fa/Eth

ACCESS V 10
Fa 0/7

USER-ETH
Fa/Eth

Fa/Eth
FO

OP-108/U/ETH/FC/13L
IP: 10.10.5.5
MASK: 255.255.255.0
GTW: 10.10.5.1

OP-108L/BM/U/ETH/FC/13L

Fig. 1f
Luego de realizar estos cambios de MAC ADDRESS de origen se obtuvieron los siguientes resultados.
Diferentes MAC ADDRESS en las VLAN

Fig 1g

Resultados obtenido del generador Ethernet

Fig. 1h
De los resultados relacionados arriba se concluye que fueron recibidos exactamente la misma cantidad de
paquetes que fueron transmitidos en los puertos A y B del generador ANRITSU, luego de cursar el trfico
de usuario bidireccionalmente a travs del enlace va los OP-108. Es decir no se observan ya paquetes
perdidos ni afectacin alguna en este trfico.
Ping a la gestin

Fig. 1h

10

Prueba 3 - Tiempo de recuperacin al momento de cambiar las MAC ADDRESS de

Origen
Para esta prueba se inici utilizando el diagrama de la prueba 1 (Fig. 1b). Luego de generar trfico
bidireccional y constante con un throughput de 75Mbps y paquetes de 512 bytes, por un tiempo de 10
minutos y de observar cierta cantidad de paquetes perdidos en el servicio de trafico de cliente y no tener
respuesta de la gestin del equipo central OP-108, se procedi a realizar el cambio de MAC ADDRESS de
origen en el ROUTER CISCO, para la interface de VLAN 5. Se cambi de la Mac Address de
00:17:C5:9A:00:0A a la 00:17:C5:9A:10:C8, o sea la MAC origen correspondiente a la VLAN de gestin,
segn indicado en el diagrama de la Fig. 1f.
Como resultados observados al realizar este cambio se tiene:

Al realizar el cambio de MAC ADDRESS, la gestin restablece y normaliza automticamente, sin

intervencin adicional alguna en los equipos, en un tiempo corto de alrededor de 5 segundos.

En el trfico de usuario (del cliente) deja de ocurrir perdida de paquetes, tambin de manera
automtica y sin ninguna intervencin adicional en los equipos
Luego de realizar el cambio de MAC ADDRESS en la VLAN de gestin, no es necesario realizar
un reinicio fsico o lgico en los equipos involucrados, el refrescamiento en las tablas de MAC de
todos los equipos sucede automticamente.
Luego de realizar el cambio de MAC ADDRESS, los SWITCH de acceso vern ambas MAC
ADDRESS en el mismo puerto (00:17:C5:9A:00:0A y 00:17:C5:9A:10:C8). Pero esto no genera
conflicto o afectacin en los servicios.

11

Fig. 1h

Prueba 4 Conexin y desconexin de fibra, UTP y energa

Esta prueba consiste en realizar conexin y desconexin de la fibra ptica, los cables Ethernet UTP y la
energa en ambos equipos, OP-108 del enlace, luego de haber realizado el cambio de MAC ADDRESS
origen en la VLAN de gestin. Todos los servicios se recuperan automticamente y normalizan en un
tiempo corto. Durante la prueba se genera trfico bidireccional y constante con un throughput de 75Mbps y
paquetes de 512 bytes. Para ello utilizamos de nuevo el esquema de la prueba 2.
DIFERENTES MAC DE ORIGEN, UNA PARA GESTION (INTERFACE
VLAN 5) Y OTRO PARA SERVICIO (INTERFACE VLAN 10)

ACCESS V 5
Fa/Eth

Gi/Eth

VLAN 5 GESTION MAC

ADDRESS 00:17:C5:9A:00:C8
ORIGEN, ROUTER PE
Fa/Eth

Gi/Eth

VLAN 10 TRAFICO MAC ADDRESS

00:17:C5:9A:00:0A
ORIGEN, ROUTER PE

SE GENERA TRAFICO
ETHERNET
BIDIRECCIONAL A UNA
VELOCIDAD DE 75Mbps
CON PAQUETES DE 512
BYTES

TRUNK

TRUNK
Gi/Eth

Ethernet
traffic
Generator
MT9090A

PC GESTION
IP: 10.1.1.223
MASK: 255.255.255.0
GTW: 10.1.1.222

Pto A

Fa/Eth
Pto B

SWITCH DE
ACCESO
CAPA 2
CATALYST
3560

TRAFICO DE GESTION
TRAFICO DE SERVICIO CLIENTE

Gi/Eth

ACCESS V 5
Fa 0/6

MNG-ETH
Fa/Eth

ACCESS V 10
Fa 0/7

USER-ETH
Fa/Eth

Fa/Eth
FO

OP-108/U/ETH/FC/13L
IP: 10.10.5.5
MASK: 255.255.255.0
GTW: 10.10.5.1

Fig. 1i

12

OP-108L/BM/U/ETH/FC/13L

Resultados obtenidos:
Equipo

Desconexin
de FO

Tiempo aprox
normalizacin

Desconexin
UTP Gestin

Tiempo aprox
normalizacin

Desconexin
UTP Trafico

Tiempo aprox
normalizacin

Desconexin
de energa

Tiempo aprox
normalizacin

OP-108

OK

10 Segundos

OK

25 Segundos

OK

25 Segundos

OK

1 Minuto

OP-108L

OK

10 Segundos

N/A

OK

5 Segundos

OK

10 Segundos

NOTA: Los tiempo de normalizacin tanto del trfico de gestin como del trfico de usuario, en el caso de
su desconexin fsica, puede variar dependiendo del proceso de auto negociacin con los puertos de los
switch de acceso adonde ellos se conectan. En el caso de los OP-108 se recomienda configurar siempre
todos sus puertos Ethernet forzados a Fast Ethernet.

13

Conclusiones
1. Se comprob que el OP-108/U/ETH/FC/13L presenta una incidencia al recibir la misma MAC
ADDRESS de origen, generada desde el ROUTER PE (CORE) de la red MPLS de CLARO dentro
de los paquetes del trfico de gestin y de trfico de usuario. Esto resulta en prdidas de
paquetes, bloqueos de los puertos, comportamiento errtico y eventual corte del trfico por los SW
CISCO de la red metro de CLARO al detectar un loop.
2. Lo anterior es congruente con la funcionalidad de capa 2 del chip set utilizado por el OP-108 de
MAC bridging, segn la cual no es vlido que se detecten en los dos puertos Ethernet del equipo
las mismas MAC origen.
3. Se comprob que al generar dos MAC ADDRESS de origen distintas (1 para la VLAN de gestin y
otra para la VLAN de trfico de cliente) el enlace con los equipos OP-108 opera correctamente, de
manera estable, y no se observan perdida de paquetes ni bloqueos de puertos.
4. Al realizarse el cambio de MAC ADDRESS origen en la VLAN de gestin, no es necesario realizar
algn reinicio lgico o fsico de los equipos involucrados, y el refrescamiento en las tablas de MAC
de todos los equipos ocurre automticamente.
5. Al realizar desconexin y conexin de la energa, fibra o UTP, en los equipos OP-108 y OP-108L;
luego de haber generado el cambio de MAC ADDRESS de origen para la VLAN de gestin , se
observa que todos los servicios (gestin, trfico de cliente y E1) restablecen y normalizan sin
problema y en un tiempo razonablemente corto.

Recomendaciones
1. Proceder a la brevedad posible a realizar estas mismas pruebas en el laboratorio de pruebas de
CLARO El Salvador (central Roma), ya con los equipos CISCO en si (tanto CORE PE ROUTER)
como Switches metro, con el apoyo de personal de ingeniera y del NOC de CLARO El Salvador.
2. De resultar exitosas las pruebas anteriores, proceder con la implementacin de esta solucin en
un par de enlaces OP-108 a modo de prueba piloto ya en produccin. Y luego de un tiempo
prudencial de monitoreo, proceder a la implementacin general de la misma en la red de CLARO
El Salvador, de manera progresiva y controlada.
3. Para el efecto, solamente se requiere cambiar en los equipos CISCO PE ROUTER de CLARO,
que manejan el trfico de cada subred metro (islas), la MAC de la VLAN 89 asignada para la
gestin de los equipos RAD (no importando si tambin por medio de esta VLAN se gestionan otros
equipos). Es indispensable asegurarse esta MAC es nica y no se repite en ninguna otra VLAN ni
equipo. Dado que ni el fabricante RAD DATACOMM ni nuestra empresa somos especialistas en
los equipos CISCO, solicitamos esta propuesta de solucin sea validada por especialistas de
CLARO, adems de realizar las pruebas en el laboratorio Roma.
4. Esta solucin tiene la ventaja de que se puede implementar remotamente desde el NOC de
CLARO El Salvador, sin tener que visitar los nodos de claro, sitios de clientes, cambiar equipos de
ltima milla, etc.

14

Anexos
Configuracin OP-108
Mediante el equipo OP-108 que se instala del lado central se puede gestionar tambin el equipo remoto
OP-108L. Para ellos debemos realizar las siguientes configuraciones.

Configuracin de IP ADDRESS y comunidades SNMP

Configuration>System>Management>Host

Configuracin de permisos de gestin

Esto se realiza con el objetivo de poder gestionar el equipo remoto.

Configuration>System>Management>Management Permission

Se selecciona la opcin MNG LOCAL ONLY, para que la gestin solo sea permitida por el puerto MNGETH del OP-108 y as no generar conflicto entre los puertos MNG-ETH y USER-ETH.

15

Verificar que todos los accesos de gestin estn permitidos en el equipo

Configuration>System>Management>Management Access

Luego de haber configurado todo lo anterior, ya podremos tener acceso va WEB, TELNET y RADview a
ambos equipos OP-108.

16

Cambio de MAC ADDRESS origen en ROUTER PE CISCO (para la VLAN de gestin

de los equipos RAD)
Para el funcionamiento correcto del equipo OP-108 es necesario que reciba direcciones MAC origen
distintas desde de las VLAN (SVI/BDI) configuradas en los Switches L3 o routers. Cuando se utilicen
Switches L3 o routers Cisco ser necesario que se cambien las direcciones MAC de cada VLAN (SVI/BDI)
ya que por defecto los equipos comparten la misma direccin MAC en todas las VLAN (SVI/BDI). Por
consiguiente para realizar este cambio es necesario utilizar el comando mac-address para poder realizar el
cambio de la direccione MAC en la VLAN de gestin (SVI/BDI), asegurndose esta MAC es nica y no se
repite en ninguna otra instancia.
A continuacin algunos ejemplos de configuraciones utilizando el comando mac address en SVI y BDI.
Switch#configure terminal
Enter configuration commands, one per line. End with CNTL/Z.
Switch (config)#interface vlan 5
Switch (configif)#macaddress 0017.C59A.10C8
Switch (configif)#exit
Switch (config)#interface vlan 10
Switch (configif)#macaddress 0017.C59A.000A
Switch (configif)#end
Switch #
Router#configure terminal
Enter configuration commands, one per line. End with CNTL/Z.
Router (config)#interface bdi 5
Router (configif)#macaddress 0017.C59A.10C8
Router (configif)#exit
Router (config)#interface bdi 10
Router (configif)#macaddress 0017.C59A.000A
Router (configif)#end
Router #

17