Livre blanc

Architecture de la gamme Cisco Nexus 5000 : L'lment de base d'une structure unifie
Prsentation
Les architectures multicoeurs et la virtualisation ont pour effet de modifier rapidement l'univers des centres informatiques, renforant les besoins en termes de commutation bande passante leve et faible latence. Ces technologies gnrent non seulement un accroissement de l'efficacit en renforant l'utilisation des serveurs, mais favorisent galement une demande sans cesse plus importante en termes de bande passante. La plupart des centres informatiques qui s'efforcent de surmonter les difficults auxquelles ils se trouvent confronts concernant la question de la bande passante migrent vers une architecture 10 Gigabit Ethernet afin de rduire les goulets d'tranglement dont sont victimes leurs rseaux IP. En outre, la plupart des centres informatiques prennent en charge deux liaisons Fibre Channel par serveur, pour l'accs leurs rseaux de stockage. En outre, certains centres informatiques compatibles avec les environnements HPC (high-performance computing) prennent galement en charge plusieurs rseaux de communication interprocessus IPC (Interprocess Communication) par serveur. Cisco propose une solution plus performante pour relever ces dfis, grce aux commutateurs de la gamme Cisco Nexus 5000. Conus comme des commutateurs de couche daccs pour un dploiement au sein d'une baie, les commutateurs de la gamme Cisco Nexus 5000 contribuent la simplification de l'infrastructure des centres informatiques et la rduction du cot total de possession. Ils permettent la consolidation des E/S au niveau des baies, limitant le nombre d'adaptateurs, de cbles, de commutateurs et de transcepteurs dont chaque serveur doit assurer la prise en charge, tout en protgeant les investissements existants associs aux ressources de stockage. Les commutateurs de la gamme Cisco Nexus 5000 permettent aux centres informatiques de bnficier de ces atouts grce aux fonctionnalits suivantes : Technologie 10 Gigabit Ethernet hautes performances : Les commutateurs de la gamme Cisco Nexus 5000 constituent une famille de commutateurs conomiques dlivrant un dbit de ligne de 10 GigaEthernet avec une trs faible latence, et conus pour les applications de couche d'accs. Channel over Ethernet (FCoE) : Les commutateurs de la gamme Cisco Nexus 5000 sont les premiers commutateurs de couche d'accs reposant sur des normes ouvertes prendre en charge la consolidation des E/S au niveau des baies, grce la technologie FCoE. Technologie Cisco Data Center Ethernet : Cette famille de commutateurs intgre diffrentes amliorations en termes de technologie Ethernet destines aux centres informatiques, tels que le contrle de flux et la gestion de l'encombrement du rseau. Services VM optimiss : Cette famille de commutateurs prend en charge les services de virtualisation de port de fin et les services de machine virtuelle optimiss, contribuant ainsi renforcer l'volutivit des rseaux de couche virtuelle 2 et l'amlioration de la scurit et des performances des applications.

Ce document dcrit comment Cisco a conu les commutateurs de la gamme Cisco Nexus 5000 la fois comme des commutateurs de couche d'accs bande passante leve et faible latence pour un dploiement au sein d'une baie et comme un lment de base pour la mise en oeuvre d'une structure de rseau unifie simplifiant l'infrastructure des centres informatiques tout en rduisant les cots d'investissement et d'exploitation. Ce document fournit un bref aperu des caractristiques et des avantages de ces commutateurs. Il prsente ensuite de faon dtaille leur capacits en matire de communications 10 Gigabit Ethernet, de consolidation des E/S et de virtualisation. En interne, les commutateurs reposent sur seulement deux circuits intgrs personnaliss spcifiques aux applications (ASIC) : un contrleur de port unifi qui gre toutes les oprations de traitement des paquets entrant et sortant, et une structure transversale assurant la planification et la commutation des paquets. Chaque dcision de conception relative ces deux dispositifs est destine prcisment la prise en charge de la technologie Cisco Data Center Ethernet, de la consolidation des E/S et des fonctionnalits de virtualisation en utilisant le plus efficacement possible la logique transistor, pour contribuer la rduction de la consommation lectrique et l'optimisation des performances.

Livre blanc

Prsentation de la gamme Cisco Nexus 5000

Les commutateurs de la gamme Cisco Nexus 5000 sont conus pour tre dploys dans des baies de serveurs et l'ensemble des solutions de la gamme bnficient d'une conception similaire aux serveurs qu'elles prennent en charge. Tous les ports et toutes les connexions entrantes d'alimentation se situent l'arrire des commutateurs pour simplifier le cblage et rduire la longueur des cbles (Figure 1). Le systme de refroidissement d'avant en arrire supporte les configurations alle froide/alle chaude qui rendent le refroidissement plus efficace. Le panneau avant intgre des indicateurs d'tat, ainsi que des modules de refroidissement et d'alimentation redondance N+1 remplaables chaud. Tous les composants pouvant faire l'objet d'interventions sont accessibles depuis le panneau avant. Il est ainsi possible d'intervenir sur le commutateur alors qu'il se trouve en cours de fonctionnement et ce, sans perturber le cblage du rseau. Les commutateurs de cette famille affichent une densit de port telle que, selon le modle utilis et la configuration de la baie de serveurs, ils peuvent s'intgrer dans des configurations en sommet de baie, en baie adjacente et en bout de range. Commutateur Cisco Nexus 5020 56 ports D'une hauteur de 2 RU, le Cisco Nexus 5020 est un commutateur de couche d'accs prenant en charge les technologies 10 Gigabit Ethernet, Cisco Data Center Ethernet et FCoE, qui est conu pour dlivrer un dbit de 1,04 Tbits/s avec une trs faible latence. Il est quip de 40 ports fixes 10 Gigabit Ethernet qui acceptent des modules et des cbles conformes au format SFP+ (Small Form-Factor Pluggable Plus). Deux connecteurs de modules d'extensions peuvent tre configurs de faon accueillir 12 ports 10 Gigabit supplmentaires, 16 ports Fibre Channel ou une combinaison des deux. Le commutateur comporte galement un port console srie unique et un port unique d'administration Ethernet 10/100/1000 Mbits/s hors rseau. Deux modules d'alimentation N+1 redondants et remplaables chaud, ainsi que cinq modules de ventilation N+1 redondants et remplaables chaud permettent un refroidissement d'avant en arrire extrmement fiable.
Figure 1. Configuration des ports l'arrire du Cisco Nexus 5020

Options de modules d'extension Le Cisco Nexus 5020 comporte deux connecteurs d'extension qui permettent d'optimiser les lments de commutation pour des applications de centre informatique spcifiques (Figure 2) : Un module 10 Gigabit Ethernet permet de disposer de six ports 10 Gigabit Ethernet, Cisco Data Center Ethernet et FCoE SFP+ supplmentaires par module, pour faciliter la prise en charge par le commutateur des configurations de serveurs encore plus denses. Un module Fibre Channel fournit 8 ports Fibre Channel 1, 2 ou 4 Gbits/s via des interfaces SFP, pour offrir une connectivit transparente avec les rseaux Fibre Channel existants. Cette solution se rvle idale pour les environnements dans lesquels la consolidation des E/S de stockage constitue un point essentiel. Un module Fibre Channel et Ethernet combin offre 4 ports 10 Gigabit Ethernet, Cisco Data Center Ethernet et FCoE via des interfaces SFP+, ainsi que 4 ports de connectivit Fibre Channel native 1, 2 ou 4 Gbits/s, via des interfaces SFP.

Livre blanc

Figure 2. Trois options de modules d'extension permettent d'optimiser les commutateurs de la gamme Cisco Nexus 5000 pour des applications spcifiques de centres informatiques.

Principales caractristiques de la gamme Cisco Nexus 5000

Fonctionnalits et avantages L'ensemble trs complet de fonctionnalits de cette famille de commutateurs offre des solutions idales pour les applications de couche d'accs au niveau des baies. Celles-ci assurent la protection des investissements existants en matire de baies de centres informatiques grce leur compatibilit avec les technologies Cisco Data Center Ethernet et FCoE, qui permet aux services informatiques de consolider leurs rseaux en fonction de leurs besoins spcifiques et leur propre rythme. En combinant une densit de port leve, une vitesse filaire et un niveau de latence extrmement faible, ces commutateurs reprsentent des solutions idales pour rpondre la demande croissante dont fait l'objet la technologie 10 Gigabit Ethernet au niveau des baies. Les commutateurs de cette famille possdent une densit de port suffisante pour prendre en charge une ou plusieurs baies compltes de serveurs en lame et de serveurs en rack. Destins aux centres informatiques d'aujourd'hui, ces commutateurs bnficient d'une conception similaire celle des serveurs dont ils assurent la prise en charge. Les ports et les connecteurs d'alimentation sont disposs sur leur face arrire, proximit des ports des serveurs, pour permettre l'utilisation de cbles aussi courts et aussi efficaces que possible. Les modules d'alimentation et de refroidissement remplaables chaud sont accessibles depuis le panneau avant, sur lequel des voyants d'tat offrent un aperu immdiat du fonctionnement du commutateur. Le systme de refroidissement d'avant en arrire identique aux configurations des serveurs offre une compatibilit totale avec les systmes alle froide/alle chaude des centres informatiques. Toutes les units remplaables par le client tant accessibles depuis le panneau avant, la simplicit de maintenance s'en trouve accrue. L'utilisation de ports SFP+ offre une modularit suprieure, en permettant l'utilisation de solutions varies de raccordement, notamment des cbles en cuir pour les courtes distances et des cbles fibre optique pour les distances plus longues. Les fonctionnalits Cisco Data Center Ethernet renforcent l'volutivit du rseau, permettent la consolidation des E/S, simplifient la gestion de flux de trafic multiples et optimisent les performances. Mme si la mise en oeuvre de la consolidation SAN requiert uniquement la structure sans perte dlivre par le mcanisme de pause Ethernet, les commutateurs de la gamme Cisco Nexus 5000 offrent des fonctionnalits supplmentaires qui crent une structure de rseau unifie, aux performances leves et encore plus facile administrer.

Fonctionnalits 10 Gigabit Ethernet et structure unifie La gamme Cisco Nexus 5000 constitue avant tout une famille de commutateurs d'accs exceptionnels en matire de connectivit 10 Gigabit Ethernet. La plupart des fonctionnalits de ces commutateurs ont pour objet d'offrir des performances leves pour l'utilisation de la technologie 10 Gigabit Ethernet. Les commutateurs de la gamme Cisco Nexus 5000 peuvent galement tre utiliss pour mettre en oeuvre une structure de centre informatique unifie, permettant la consolidation des rseaux LAN, SAN et du trafic de mise en grappe des serveurs.

Livre blanc

Performances de dbit de ligne sans blocages Tous les ports 10 Gigabit Ethernet des commutateurs de la famille Cisco Nexus 5000 sont capables de grer les flux de paquets vitesse filaire. L'absence de partage de ressources permet de tirer les meilleures performances de chaque port, quels que soient les schmas de trafic des autres ports. Le Cisco Nexus 5020 peut envoyer des paquets 10 Gbits/s sur 52 ports Ethernet simultanment, sans aucun effet sur les performances, offrant ainsi une vritable bande passante bidirectionnelle 1,04 Tbits/s. Structure tape unique La structure transversale des commutateurs de la gamme Cisco Nexus 5000 est mise en oeuvre sous la forme d'une structure une seule tape, qui permet ainsi d'liminer les points dengorgement au niveau du commutateur. La structure tape unique signifie qu'un planificateur de structure transversale unique bnficie d'une visibilit totale sur l'ensemble du systme et peut donc prendre des dcisions de planification optimales sans provoquer d'engorgement au sein mme du commutateur. Grce cette structure tape unique, la bande passante affiche correspond rellement la bande passante disponible. Les points d'engorgement sont la consquence exclusive de la conception de votre rseau, car le commutateur n'y contribue pas. Une trs faible latence La technologie de commutation la vole utilise par les circuits intgrs personnaliss spcifiques aux applications (ASIC) de la gamme Cisco Nexus 5000 permet d'offrir un trs faible niveau de latence de 3,2 microsecondes seulement, qui reste constant quelle que soit la taille du paquet commut. Cette latence a t releve sur des interfaces associes une configuration complte, avec les fonctions de listes de contrle d'accs (ACL), de qualit de service (QoS) et toutes les autres fonctionnalits de chemin de donnes actives. Le faible niveau de latence des commutateurs de la gamme Cisco Nexus 5000 permet une latence d'application application de l'ordre de 10 microsecondes (selon la carte rseau). Grce ces chiffres, combins avec les fonctionnalits de gestion des points d'encombrement dcrites ci-dessous, les commutateurs de la gamme Cisco Nexus 5000 constituent un choix idal pour les environnements sensibles la latence. Gestion des points d'encombrement Un faible niveau de latence ne constitue pas le seul lment critique pour bnficier d'une solution de rseau aux performances leves. Les serveurs ont tendance gnrer un trafic en rafales. Lorsqu'un trop grand nombre de rafales sont produites simultanment, une courte priode d'encombrement survient. Selon le mode de rsorption de ces encombrements, les performances de l'ensemble du rseau peuvent tre affectes. Les commutateurs de la gamme Cisco Nexus 5000 fournissent un ensemble complet de fonctionnalits de gestion des points d'encombrement afin de rduire ces dsagrments. Ces fonctionnalits, dcrites ci-dessous, traitent les encombrements diffrents stades et offrent une granularit de contrle maximum concernant les performances du rseau. Files d'attente de sortie virtuelle Les commutateurs de la gamme Cisco Nexus 5000 mettent en oeuvre des files d'attente de sortie virtuelle (VOQ) sur toutes les interfaces d'entre. Ainsi, un port de sortie encombr n'affecte pas le trafic dirig vers les autres ports de sortie. Mais la mise en file d'attente de sortie virtuelle ne s'arrte pas l : chaque classe de service (CoS) IEEE 802.1p utilise une file d'attente de sortie virtuelle dans l'architecture de la gamme Cisco Nexus 5000, ce qui gnre un nombre total de 8 VOQ par sortie sur chaque interface d'entre, ou un total de 416 VOQ sur chaque interface d'entre. L'utilisation tendue de files d'attente de sortie virtuelle dans le systme contribue gnrer un dbit maximum pour chaque sortie et pour chaque classe de service. L'encombrement d'un port de sortie dans une classe de service n'affecte pas le trafic destin aux autres classes de service ou aux autres interfaces de sortie, vitant ainsi le phnomne de blocage de tte de ligne (Head Of Line Blocking), qui provoquerait sinon la propagation de l'encombrement. Structure Ethernet sans perte (contrle des flux prioritaires) Par dfaut, Ethernet est conu pour abandonner des paquets lorsqu'un noeud de commutation ne peut pas prendre en charge le dbit du trafic entrant. Grce aux abandons de paquets, Ethernet bnficie d'une grande souplesse pour la gestion des schmas de trafic alatoires injects dans le rseau. En revanche, celles-ci nuisent la fiabilit d'Ethernet et renforcent encore les difficults inhrentes au contrle des flux et congestion et la gestion des points d'encombrement de la pile rseau.

Livre blanc

Le contrle des flux prioritaires (PFC, Priority Flow Control) permet un contrle point point du trafic Ethernet bas sur la classe de service IEEE 802.1p. Grce la mise en place d'un mcanisme de contrle des flux, les encombrements ne donnent pas lieu des abandons de paquets, transformant Ethernet en un mdia fiable. La granularit des classes de service permet alors certaines d'entre elles de bnficier d'un comportement fiable, sans abandons de paquets, tout en permettant d'autres classes de faire l'objet d'un comportement classique d'Ethernet reposant sur un service au mieux des possibilits. Un priphrique rseau mettant en oeuvre le contrle des flux prioritaires tablit un accord implicite avec le priphrique avec lequel il communique l'autre extrmit du rseau : tout paquet accept sera dlivr au saut de routage suivant et ne sera jamais abandonn localement. Pour respecter cet engagement, le priphrique concern doit informer son homologue lorsqu'il ne lui est plus possible d'accepter des paquets supplmentaires de faon fiable. Il s'agit essentiellement du rle de la fonction de contrle des flux prioritaires. Les avantages qui en dcoulent sont importants pour tout protocole ayant un objectif de fiabilit au niveau des mdias, tels que le protocole FCoE. Reports des abandons La technologie Ethernet classique n'est pas fiable et le seul moyen de reporter les abandons de paquets en cas d'encombrement consiste augmenter les capacits des interfaces en matire de mise en mmoire tampon. Avec des mmoires tampon suprieures, les encombrements de courte dure peuvent tre grs sans provoquer d'abandon de paquet. Si l'encombrement dure plus longtemps, le phnomne classique d'abandon de paquets entre nouveau en vigueur. La configuration de la capacit de mmoire tampon disponible quivaut en ralit dfinir la notion d'encombrement de courte dure . Le contrle des flux prioritaires (PFC) modifie cette quation en repoussant les besoins en termes de mmoire tampon la source. Le contrle PFC fonctionne trs bien pour les protocoles, tels que FCoE, qui ncessitent un mdia fiable, mais il empche de distinguer les encombrements de courte dure des encombrements persistants. Le report des abandons se situe mi-chemin entre le comportement classique d'Ethernet et le comportement guid par le mcanisme de contrle PFC. Avec le report des abandons, il est possible de contrler le flux associ une classe de service et de surveiller la dure de l'encombrement, afin que le phnomne classique d'abandon s'applique si l'encombrement n'est pas rsolu. Le report des abandons permet de combiner la dfinition d'un encombrement de courte dure avec celle du systme de contrle des flux prioritaires, liminant ainsi la ncessit d'accrotre les mmoires tampons physiques des interfaces. Notification d'encombrement en amont Alors que le contrle des flux prioritaires gre les encombrements au moyen d'une mthode point point, le mcanisme de notification d'encombrement en amont (BCN, Backward Congestion Notification) est un outil fourni par les spcifications Enhanced Ethernet afin de grer les encombrements grce une mthode de bout en bout. Le mcanisme BCN a pour objet de dplacer l'encombrement du coeur du rseau vers ses extrmits afin d'empcher sa propagation. Les encombrements sont plus simples grer aux extrmits du rseau car le nombre de flux y est moins important qu'au coeur du rseau. Par consquent, il est plus facile d'isoler les flux l'origine de l'encombrement et de limiter leur dbit (Figure 3).

Livre blanc

Figure 3. BCN

Le point d'encombrement, c'est--dire le commutateur encombr, envoie des messages destination de la source de l'encombrement, c'est--dire le point de raction, pour signaler une diminution du dbit via la mise en forme du trafic entrant sur le rseau. Un limiteur de dbit est install aussi prs que possible de la source de l'encombrement, ventuellement dans l'hte gnrant le flux. Le limiteur de dbit rduit l'encombrement au coeur du rseau sans provoquer sa propagation. Le mcanisme BCN est mis en oeuvre dans le circuit ASIC de contrle de port unifi des commutateurs de la gamme Cisco Nexus 5000 et sera activ dans le cadre d'une version future.

Cisco TrustSec Les circuits ASIC des commutateurs de la gamme Cisco Nexus 5000 fournissent un support matriel pour l'architecture Cisco TrustSec. Combine avec la suite de scurit Cisco TrustSec mise en oeuvre dans le systme d'exploitation Cisco NX-OS, la technologie matrielle Cisco TrustSec des commutateurs de la gamme Cisco Nexus 5000 offre un niveau exceptionnel de confidentialit et d'intgrit des donnes en prenant en charge la cryptographie standard de couche de liaison IEEE 802.1AE grce la mthode de cryptographie AES (Advanced Encryption Standard) 128 bits. La cryptographie de couche de liaison contribue assurer la confidentialit de bout en bout des donnes, tout en permettant l'intgration de priphriques de scurit sur le chemin crypt. Les listes de contrle d'accs au groupe de scurit (SGACL, Security group access control lists), une nouvelle rfrence dans le domaine du contrle de l'accs aux rseaux, reposent sur des balises de groupe de scurit plutt que sur des adresses IP et permettent ainsi la mise en place de stratgies plus concises et plus faciles grer en raison de leur indpendance en termes de topologie.

Fibre Channel over Ethernet La technologie FCoE (Fibre Channel over Ethernet) est une mthode normalise d'encapsulation de trames Fibre dans des paquets Ethernet. En mettant en oeuvre la technologie FCoE et en permettant un grand nombre de partenaires d'tablir des connexions FCoE du ct hte, la famille de commutateurs de la gamme Cisco Nexus 5000 introduit la consolidation des E/S de stockage au plus haut niveau d'Ethernet.

Consolidation des E/S au niveau matriel Les circuits ASIC de la gamme Cisco Nexus 5000 peuvent acheminer de faon transparente les flux Ethernet, Fibre Channel et FCoE, offrant ainsi une vritable consolidation des E/S au niveau matriel. La solution adopte par les commutateurs de la gamme Cisco Nexus 5000 rduit les cots de consolidation grce un haut niveau d'intgration aux circuits ASIC. Il en rsulte un commutateur aux fonctionnalits Ethernet et Fibre Channel compltes, combines dans un produit unique.

Virtualisation de port de fin

Livre blanc

Ethernet : Virtualiseur d'hte Ethernet (EHV, Ethernet host virtualizer) : Dans la plupart des rseaux, les commutateurs d'accs sont connects plusieurs commutateurs de distribution pour offrir un haut niveau de disponibilit. Les chemins redondance physique ne sont pas tous actifs dans la topologie logique sans boucle cre par le protocole STP (Spanning Tree Protocol). Ceci affecte la quantit de bande passante disponible pour le coeur du rseau LAN. Grce la technologie EHV, les commutateurs de la gamme Cisco Nexus 5000 permettent de modifier le comportement de commutation par dfaut et de le remplacer par un schma diffrent de prvention des boucles au niveau de la couche d'accs. L'EHV permet au commutateur de se comporter comme un hte de fin gant pour le rseau, reprsentant tous les htes (serveurs) qui y sont directement connects (Figure 4). En raison de son comportement, le virtualiseur EHV est totalement transparent pour le reste du rseau et contracte le domaine Spanning Tree un haut niveau au-dessus de la couche de distribution, offrant un accs total l'ensemble de la bande passante physiquement disponible entres les couches d'accs et de distribution.

Figure 4. EHV

Fibre Channel : Virtualisation NPV (N_port virtualization) : En raison de l'utilisation d'adresses structures hirarchiquement (ID

Fibre Channel [ID_FC]), les commutateurs Fibre Channel permettent ltablissement de plusieurs chemins de couche 2 (L2MP), apportant ainsi une solution aux limites du protocole Spanning Tree en matire d'acheminement sur Ethernet. Cependant, la structure adresse fixe limite l'volutivit d'une structure Fibre Channel 239 commutateurs au maximum, limitant ainsi les possibilits des architectes de rseaux SAN en matire de conception. Les commutateurs de la gamme Cisco Nexus 5000 librent les rseaux SAN de ces contraintes en offrant la possibilit d'utiliser le commutateur en mode NPV. Lorsque le mode NPV est activ sur un commutateur de la gamme Cisco Nexus 5000, celui-ci se transforme en un proxy transparent qui ne participe pas aux services de la structure SAN. Il peut agrger tous les metteurs et destinataires connects directement et dirigs vers le coeur de la structure SAN comme s'il s'agissait d'une simple liaison multipoint. Utilis en combinaison avec la virtualisation NPIV dans le primtre de la structure SAN, NPV constitue un outil puissant pour faire voluer les rseaux SAN en bnficiant d'une densit de port suprieure celle des commutateurs Fibre Channel classiques.

Architecture interne des commutateurs de la gamme Cisco Nexus 5000

Architecture de supervision

En ce qui concerne le plan de contrle, les commutateurs de la gamme Cisco Nexus 5000 excutent le systme d'exploitation Cisco NXOS sur un processeur simple coeur Intel LV Xenon de 1,66 GHz, avec 2 Go de mmoire DRAM. Le systme de supervision est connect au plan de donnes en rseau via 2 ports Ethernet 1 Gbits/s internes, le systme tant alors administr en rseau, ou via le port d'administration10/100/1000 Mbits/s hors rseau. Le Tableau 1 rcapitule les spcifications de l'architecture.

Livre blanc

Tableau 1. Architecture des commutateurs de la gamme Cisco Nexus 5000

lment Processeur Mmoire Mmoire Flash de dmarrage BIOS Journal de dfauts intgr (OBFL) Mmoire NVRAM Spcification Intel LV Xenon 1,66 GHz : LF80538KF0281M 2 Go de mmoire DDR2 400 (PC2 3200) dans 2 emplacements DIMM 1 Go de mmoire Flash USB (NAND) 2 Mo de mmoire EEPROM avec image de rcupration verrouille 64 Mo de mmoire Flash pour l'analyse des dfauts, le suivi de pile kernel, les enregistrements d'amorage et les journaux des dfauts 2 Mo de mmoire SRAM : Syslog et informations de licence

Plan de donnes Figure 5. Architecture de supervision et de plan de donnes

Les commutateurs de la gamme Cisco Nexus 5000 utilisent une architecture de commutation la vole volutive par mise en file d'attente d'entre. Cette architecture est mise en oeuvre principalement par deux circuits ASIC dvelopps par Cisco : Un ensemble de contrleurs de port unifis (UPC, Unified Port Controllers) assurant le traitement du plan de donnes. Une structure transversale unifie (UCF, Unified Crossbar Fabric) qui assure l'interconnexion des UPC. Chaque UPC gre 4 ports Ethernet 10 Gigabit et prend les dcisions d'acheminement relatives aux paquets reus sur ces ports. Une fois qu'une dcision d'acheminement a t prise, les paquets sont mis en file d'attente dans des files VOQ, dans l'attente de l'autorisation d'accs la structure UCF. (en raison des caractristiques de commutation la vole de l'architecture, les paquets sont placs en file d'attente et en sont extraits avant que la totalit du contenu de chaque paquet n'ait t reu et mis en mmoire tampon au niveau du port d'entre). La structure UCF est charge d'associer les contrleurs UPC d'entre des contrleurs UPC de sortie disponibles et connecte en interne chaque interface 10 Gigabit Ethernet via des interfaces de structure fonctionnant un dbit de 12 Gbits/s. Cette marge de vitesse de 20 % permet d'assurer des dbits de ligne quelles que soient les oprations de manipulation de paquets ralises dans les circuits ASIC.

Livre blanc

Le commutateur Cisco Nexus 5020 est quip de 14 contrleurs UPC, pour bnficier au total de 56 interfaces 10 Gbits/s disponibles. 52 de ces interfaces sont raccordes des ports rels sur le panneau arrire du chssis, 2 autres sont utilises pour la connexion en rseau des processeurs de supervision et les 2 interfaces restantes sont actuellement inutilises. Une structure UCF unique se compose d'un commutateur transversal tape unique de 58 interfaces par 58 et s'avre par consquent suffisante pour prendre en charge la totalit des 56 interfaces internes de structure associes aux 14 contrleurs UPC (Figure 5). Contrleur de port unifi (UPC) Le contrleur UPC gre toutes les oprations de traitement de paquets ralises dans les commutateurs de serveurs de la gamme Cisco Nexus 5000. Il s'agit d'un dispositif d'tablissement de plusieurs chemins de couche 2 (L2MP) capable de prendre en charge simultanment et vitesse filaire les protocoles suivants : Ethernet classique Fibre Channel FCoE

Du ct entrant, il gre les caractristiques physiques des diffrents supports, convertit les paquets reus en un format de paquet interne unifi et prend des dcisions d'acheminement en fonction de tables d'acheminement spcifiques chaque protocole et stockes localement dans le circuit ASIC. Du ct sortant, il reconvertit le format interne unifi vers le format pris en charge par le support de sortie et le protocole de couche 2, et transmet le paquet. Chaque interface de 10 Gbits/s tourne vers l'extrieur d'un contrleur UPC peut tre raccorde de faon se transformer en deux interfaces Fibre Channel 1/2/4 Gbits/s pour un module d'extension. Par consquent, un contrleur UPC unique peut permettre la connexion de 8 interfaces Fibre Channel via des modules d'extension. Comme illustr sur la Figure 6, le circuit ASIC de l'UPC est partitionn en quatre lments de chemin de donnes, soit un pour chaque interface 10 Gigabit Ethernet. Les plupart des ressources du contrleur UPC sont affectes physiquement chaque lment de chemin de donnes spcifique, l'exception de la logique d'acheminement, qui est partage par les quatre lments.
Figure 6. Architecture du circuit ASIC du contrleur UPC

Livre blanc

Au premier plan de chaque lment de chemin de donnes se trouvent les quatre contrleurs d'accs aux supports (MAC) requis pour prendre en charge la convergence des flux Ethernet et Fibre Channel dans le circuit ASIC, avec chacun une mthode intgre de gestion du contrle des flux : Un MAC Gigabit Ethernet (avec un contrle des flux reposant sur le mcanisme de pause et de contrle PFC de la norme IEEE 802.3X) Un MAC 10 Gigabit Ethernet (avec un contrle des flux reposant sur le mcanisme de pause et de contrle PFC de la norme IEEE 802.3X) Deux MAC Fibre Channel 1/2/4 Gbits/s (avec un mcanisme de contrle des flux buffer-to-buffer credit .

Le bloc d'analyse et d'dition est charg de l'analyse des champs pour les extraire des paquets entrants. Les champs analyss sont ensuite dirigs vers le moteur d'acheminement du contrleur UPC en vue d'une dcision d'acheminement. Ils sont galement utiliss pour l'encapsulation et la dcapsulation des paquets, par l'ajout ou la suppression d'en-ttes internes et par une conversion FCoE/Fibre Channel. La logique d'analyse et d'dition porte sur les protocoles Ethernet, IPv4 et IPv6, les protocoles IP de couche 4 (TCP et UDP), ainsi que les protocoles Fibre Channel et FCoE. Le bloc d'analyse et d'dition transmet des flux en entre vers le moteur d'acheminement ds que les champs d'en-tte de trame concerns ont t extraits, permettant ainsi une vritable commutation la vole. La technologie de commutation la vole mise en oeuvre dans le contrleur UPC permet de faire circuler travers la structure UCF et d'mettre de faon immdiate les paquets destins aux ports de sortie libres, sans qu'il ne soit ncessaire de les mettre totalement en mmoire tampon un stade intermdiaire. Dans ces circonstances, le commutateur peut mettre le premier bit d'un paquet sur les interfaces de sortie seulement 3,2 microsecondes aprs que le premier bit de ce paquet a t reu par l'interface d'entre (test ralis avec des transcepteurs en cuivre SFP+). En outre, cette latence de 3,2 microsecondes reste inchange quelle que soit la taille totale du paquet. Chaque interface est quipe d'une mmoire SRAM ddie de 480 Ko avec protection ECC, rpartie par le sous-systme QoS entre huit classes de service (nommes classes systme dans l'interface de ligne de commande [CLI] QoS). Chaque classe de service est dfinie dans la balise IEEE 802.1Q par les bits IEEE 802.1p et peut tre associe une stratgie QoS indpendante configure via Cisco NX-OS. Le sous-systme QoS a pour objet d'assurer un dbit maximum pour chaque classe, en fonction des contraintes dfinies par chaque stratgie. La stratgie de mise en mmoire tampon du contrleur UPC intgre des espaces de mmoire tampon d'entre et de sortie utilisant le jeu de mmoire de 480 Ko. Les flux entrants reprsentent la majorit des besoins en termes de mise en mmoire tampon. Par consquent, la plupart des espaces de mmoire tampon sont affects au ct entrant. La mise en mmoire tampon des flux sortants est utilise principalement pour soutenir le contrle des flux Ethernet et Fibre Channel, ainsi que pour crer un pipeline de sortie afin d'accrotre le dbit. Du ct entrant, chaque lment de chemin de donnes est dot d'une file d'attente VOQ pour chaque port et classe systme, ainsi que d'une file d'attente de multidiffusion pour chaque classe systme. Chaque file VOQ de monodiffusion reprsente une classe de service spcifique pour une interface de sortie spcifique, ce qui offre au planificateur de monodiffusion de la structure UCF une souplesse optimale pour la slection du meilleur port de sortie pour un flux entrant chaque cycle de planification et permet l'limination totale des blocages de tte de ligne. Ct sortie, chaque interface utilise une file d'attente pour chaque classe systme afin d'viter que le contrle de flux dans une classe de service n'affecte les performances des autres classes de service. Moteur d'acheminement unifi Le composant le plus important de la structure unifie des commutateurs de la gamme Cisco Nexus 5000 est le moteur d'acheminement unifi mis en oeuvre dans le contrleur UPC. Le moteur d'acheminement unifi est un dispositif unique capable de prendre des dcisions d'acheminement pour les flux Ethernet et Fibre Channel. La conception du moteur d'acheminement unifi tient compte des similarits et des diffrences entre ces deux styles d'acheminement afin d'optimiser les blocs communs et ainsi de rduire la quantit de logique et le nombre de transistors requis dans le contrleur UPC. Dans les circuits ASIC, les avantages ainsi gnrs se traduisent par une rduction de la taille de la puce, de la consommation lectrique et de la dissipation de chaleur, permettant au final au contrleur UPC d'atteindre une densit de 4 ports dbit de ligne de 10 Gbits/s sur une seule puce.

Livre blanc

Pour rduire les goulets d'tranglement concernant la prise des dcisions d'acheminement, le moteur d'acheminement unifi est conu de faon utiliser une copie locale cohrente de la table de station d'acheminement figurant sur le composant du contrleur UPC. La table de station du contrleur UPC est mise en oeuvre sous forme matrielle l'aide d'une table de hachage dLeft moderne de 32 000 entres. La Figure 7 illustre les diffrentes tapes de prise d'une dcision d'acheminement.
Figure 7. Prise d'une dcision par le moteur d'acheminement unifi

Les paragraphes suivants dtaillent ces diffrentes tapes. tats d'interfaces virtuelles La premire action entreprise dans le cadre du processus d'acheminement consiste tablir le contexte du paquet reu. Ceci s'effectue en mappant le paquet vers une configuration d'interface, de faon ce que la configuration applique l'interface puisse prendre effet lorsque le paquet traverse le commutateur. Les commutateurs de la gamme Cisco Nexus 5000 mettent en oeuvre le concept d'interfaces virtuelles : des entits logiques avec une configuration indpendante mappe vers une interface physique unique. Ce concept s'avre extrmement efficace, car il permet aux administrateurs de rseaux LAN et SAN d'appliquer des configurations indpendantes des ports Ethernet virtuels transportant un trafic Ethernet classique, ainsi qu' des ports N Fibre Channel virtuels transportant un trafic FCoE. Ainsi, mme si les paquets de donnes rels sont multiplexs sur le mme cble physique, les fonctionnalits d'administration des rseaux LAN et SAN sont prsentes sparment et de faon isole sur le plan administration, offrant une flexibilit maximum et assurant la continuit avec les modles de fonctionnement existants des centres informatiques.

Livre blanc

Lors de la rception d'un paquet sur une interface physique, celle-ci ne fournit elle seule pas assez d'informations pour identifier la configuration d'interface virtuelle approprie. Par consquent, les informations relatives l'interface physique doivent tre comptes par des donnes analyses et extraites de l'en-tte du paquet entrant. Gnralement, cette analyse s'avre trs simple et exige uniquement de rechercher un en-tte FCoE afin de choisir entre l'interface virtuelle Ethernet et l'interface virtuelle Fibre Channel. Recherche de la destination Une fois que le moteur d'acheminement unifi a identifi l'interface virtuelle approprie utiliser pour le reste du traitement du paquet, le processus rel de prise de dcision d'acheminement peut dbuter en recherchant les adresses MAC de destination ou les ID FC dans les tables d'acheminement appropries. Pour l'acheminement des flux Ethernet traditionnels, il est ncessaire de consulter une seule table de station. Pour l'acheminement des flux Fibre Channel, la slection des destinations implique la fois la table de station (pour les stations connectes localement) et une table de commutation qui gre les destinations distante via un routage de couche 2. L'efficacit de la table de commutation rside dans sa capacit permettre l'tablissement de chemins multiples sur les commutateurs de la gamme Cisco Nexus 5000, grce une solution matrielle et cot gal, cette fonctionnalit tant disponible pour l'acheminement des flux Fibre Channel. L'volutivit des contrleurs UPC des commutateurs de la gamme Cisco Nexus 5000 leur permet de grer une base de donnes dtat de lien pouvant comporter jusqu' 4000 commutateurs Fibre Channel. La table de station 32 000 entres de chaque contrleur UPC est partage par tous les styles d'acheminement. Chaque entre de la table identifie le style d'acheminement appropri associ, ainsi que les informations VLAN et VSAN. Enregistrement matriel des chemins sources Lorsqu'une adresse MAC de source inconnue est identifie pour la premire fois par le moteur d'acheminement unifi d'un contrleur UPC, le contrleur UPC local enregistre l'adresse MAC sous forme matrielle. Pour tout flux de trafic impliquant des adresses MAC de source inconnue, le contrleur UPC d'entre et de sortie enregistre l'adresse MAC sous forme matrielle. Le contrleur UPC d'entre gnre une commande d'interruption transmise au superviseur, qui met jour tous les autres contrleurs UPC qui ne sont pas concerns par le flux. Cette technique limite la quantit de requtes de monodiffusion ncessaires, tout en permettant toujours une mise en oeuvre simple d'une table de station distribue : les contrleurs UPC qui sont les plus susceptibles d'tre impliqus dans le chemin inverse d'un flux enregistrent les adresses MAC sources sous forme matrielle. Mise en oeuvre de stratgies Le contrleur UPC des commutateurs de la gamme Cisco Nexus 5000 suit un ensemble strict et complet de rgles afin de veiller ce que les paquets soient achemins ou abandonns en fonction de la configuration souhaite. Le moteur de stratgies tapes multiples est responsable de cette tape et traite les rsultats d'acheminement avec une combinaison de recherches parallles dans des matrices mmoire, des tables de hachage et des mmoires ternaires adressables par contenu (TCAM, Ternary Content-Addressable Memory). Les rsultats de recherches parallles sont ensuite valus et classs par ordre de priorit dans un pipeline afin de gnrer une dcision stratgique finale d'autorisation ACL, de refus ACL, de mise en oeuvre de stratgies QoS, de redirection ou de rplication d'analyseur SPAN (Switched Port Analyzer). Spcifiquement, les listes de contrle d'accs (ACL) sont mises en oeuvre dans une mmoire TCAM de 1 Mo situe sur chaque contrleur, offrant 2048 entres de correspondance de contrle d'accs, avec chacune une largeur de 432 bits (Figure 8).

Livre blanc

Figure 8. Mise en oeuvre de stratgies

Le moteur de stratgies value les lments suivants : Appartenance au VLAN Liaison MAC, interface et VLAN Liaison MAC et Couche 3 (pour les protocoles IP et Fibre Channel) Appartenance la zone Fibre Channel ACL de port (768 entres de contrle d'accs) ACL de VLAN (1024 entres de contrle d'accs, uniquement en entre) ACL bases sur les rles (uniquement en entre) ACL de QoS (64 entres de contrle d'accs, uniquement en entre) ACL de SPAN et de diagnostic (64 entres de contrle d'accs) ACL de plan de contrle (redirection et surveillance de supervision ; 128 entres de contrle d'accs)

Livre blanc

Le contrleur UPC offre une grande flexibilit en matire d'allocation d'entres de contrle d'accs. Par consquent, le systme d'exploitation Cisco NX-OS partitionne les listes ACL en diffrentes rgions fonctionnelles. Le systme d'exploitation Cisco NX-OS tablit une distinction entre la porte globale des ACL de VLAN et des ACL de plan de contrle, qui doivent tre synchronises sur tous les contrleurs UPC, et la porte locale des ACL de ports, de QoS, de rles et de SPAN, qui sont alloues indpendamment sur chaque contrleur UPC. Extension chemins multiples Lorsque la logique d'acheminement recherche la table de station et ventuellement les tables de commutation pour un paquet de monodiffusion, l'interface de sortie identifie grce cette recherche peut tre une interface physique ou virtuelle, une interface agrge (Cisco EtherChannel ou SAN PortChannel), ou un identifiant dcrivant un ensemble de ces interfaces physiques/virtuelles/agrges, qui sont toutes aussi efficaces pour atteindre la destination spcifique. L'tape finale ralise par le moteur d'acheminement consiste par consquent slectionner un chemin de structure physique spcifique dans la liste de chemins logiques disponibles. Cette tche incombe la logique d'extension chemins multiples (Figure 9).
Figure 9. Logique d'extension chemins multiples

La logique d'extension prend en compte la smantique des flux de paquets afin d'assurer la l'acheminement dans l'ordre appropri des paquets d'un flux, tout en rpartissant diffrents flux sur des chemins physiques diffrents afin d'optimiser l'utilisation de toutes les interfaces de sortie disponibles. La dfinition d'un flux change en fonction du protocole achemin. Avec le protocole Ethernet, un flux est une slection, configurable au moyen d'une solution logicielle, d'adresses MAC sources et de destination, d'adresses IP sources et de destination IP, et de ports TCP et UDP sources et de destination. Avec les protocoles FCoE et Fibre Channel, un flux est une slection, configurable au moyen d'une solution logicielle, d'adresses MAC sources et de destination, d'ID FC sources et de destination et d'identifiants d'change d'origine (ID OX). Le contrleur UPC des commutateurs de la gamme Cisco Nexus 5000 hache les flux de faon obtenir une valeur numrique qui peut tre utilise pour effectuer une slection parmi 16 interfaces physiques. Il est possible de crer jusqu' 16 interfaces agrges (interfaces Cisco EtherChannel ou SAN PortChannel) sur les commutateurs de la gamme Cisco Nexus 5000, qui peuvent chacun comporter jusqu' 16 interfaces physiques.

Livre blanc

Slection de file VOQ Lors de la rception d'un paquet, le contrleur UPC de l'interface d'entre est charg de choisir un ensemble d'interfaces de sortie et de contrleurs UPC qui doivent tre utiliss pour acheminer le paquet vers sa destination finale. Chaque interface externe d'un contrleur UPC atteint toutes les autres interfaces externes de tous les autres contrleurs UPC via la structure UCF, sans aucune exception : le contrleur UPC n'effectue aucun acheminement local pour les 4 ports qu'il gre. L'objectif d'une dcision d'acheminement consiste slectionner un ensemble d'interfaces internes de sortie, placer les descripteurs de paquets dans les files d'attente VOQ appropries et laisser la structure UCF vider les files d'attentes selon l'ordre que les planificateurs de la structure considre comme tant le plus appropri. La mise en files d'attente de sortie virtuelle constitue une solution pratique pour viter les blocages de tte de ligne. Les commutateurs de la gamme Cisco Nexus 5000 utilisent normment cette solution non seulement pour viter les blocages de tte de ligne parmi les flux de sortie, mais galement parmi les classes associes des priorits diffrentes et destines la mme interface de sortie. Structure transversale unifie (UCF) La structure UCF est une barre croise non bloquante de 58 interfaces par 58 tape unique extrmement performante, dote d'un planificateur intgr. La barre croise assure l'interconnectivit entre les ports d'entre et de sortie, avec une capacit de commutation totale de 1,04 Tbits/s. Lorsque les paquets traversent la barre croise, leur vitesse est augmente de 20 % afin de compenser les enttes internes et d'assurer un dbit de ligne de 10 Gbits/s pour tous les paquets, quelle que soit leur taille. Le planificateur intgr coordonne l'utilisation de la barre croise entre les entres et les sorties, permettant une association sans contention entre les paires d'entre/sortie (Figure 10). L'algorithme de planification repose sur un algorithme amlior. L'algorithme d'origine n'est pas adapt la commutation la vole, car les limites fixes pour la transmission complte d'un paquet en mouvement ne sont pas dterministes. L'algorithme modifi contribue assurer un dbit lev, une faible latence et une pondration juste entre les entres, ainsi qu' la mise en oeuvre de stratgies de correspondance maximum sans insuffisance de ressources et sans interblocage pour des paquets de taille variable. Toutes les oprations de mise en mmoire tampon de flux d'entre sont ralises par le contrleur UPC. Par consquent, la structure UCF ne dispose d'aucune mmoire tampon d'entre. Pour chaque paquet, une requte est adresse au planificateur. Chaque interface de sortie dispose cependant de quatre espaces de mmoire tampon de structure et de quatre points de croisement, chaque espace de mmoire tampon prsentant une capacit de 10 240 octets. Trois espaces de mmoire tampon de structure sont utiliss pour les paquets de monodiffusion et le quatrime est rserv pour un paquet de multidiffusion. Les quatre espaces de mmoire tampon permettent d'autoriser quatre ports d'entre utiliser la structure en parallle, gnrant une acclration de 300 % pour les paquets de monodiffusion. Les donnes contenues en mmoire tampon sont transfres vers les files d'attente de sortie du contrleur UPC, selon l'ordre du premier entr, premier sorti. Ceci permet de constituer un pipeline de sortie spcifique afin d'utiliser la totalit de la bande passante de sortie sur le contrleur UPC correspondant et d'accrotre le dbit. Une autre caractristique importante du planificateur est son systme d'administration de crdits, qui veille ce que l'espace requis soit disponible dans la mmoire tampon de sortie avant de traiter une file d'attente VOQ. Cette fonctionnalit implique que lorsque le chemin entre la structure UCF et un contrleur UPC de sortie est utilis pour vider une mmoire tampon de structure, celle-ci est considre comme pleine tant que l'opration n'est pas termine. Si la mmoire tampon de la structure UCF ou l'espace de mmoire tampon de sortie du contrleur UPC n'est pas disponible pour une paire spcifique (priorit ou port de sortie), le planificateur considre que cette sortie est occupe.

Livre blanc

Rplication de structure de multidiffusion Pour le trafic de multidiffusion de couche 2 (c'est--dire le trafic dont les adresses MAC de destination sont des adresses MAC de multidiffusion), la rplication des paquets est ralise par le contrleur. La rplication de structure optimise l'utilisation de l'interface interne de structure entre le contrleur UPC d'entre et la structure UCF, offrant un dbit maximum au niveau du systme. Pour prendre en charge la rplication de structure, chaque contrleur UPC utilise des files d'attente d'entre distinctes pour le trafic de multidiffusion (8 au total, soit une par classe de priorit) et la structure UCF utilise un algorithme de planification de multidiffusion distinct. L'algorithme de planification de multidiffusion peut oprer selon deux modes distincts. En mode par dfaut, le planificateur autorise l'accs l'interface interne de structure lorsque la totalit de la sortance requise pour le paquet en question est disponible. ce stade, le contrleur UPC d'entre envoie une copie du paquet la structure UCF, supprime le paquet de sa mmoire tampon interne et supprime le descripteur du paquet de la file de priorit d'entre. Ensuite, la structure UCF rplique en interne cette copie unique vers toutes les interfaces de structure de sortie. La structure UCF veille ce qu'un paquet de multidiffusion ne puisse en aucun cas faire l'objet d'une insuffisance de ressources dans la file d'attente de priorit d'entre d'un contrleur UPC. Cependant, le contrleur UPC d'entre ne peut pas tre autoris accder l'interface de structure pour son paquet de multidiffusion tant que toutes les mmoires tampons de structure de la structure UCF ne sont pas disponibles pour tous les ports de sortie assurant la sortance du paquet de multidiffusion. L'algorithme de planification de multidiffusion de la structure UCF peut galement oprer dans un autre mode, dans lequel il divise intelligemment la sortance du paquet en plusieurs sous-ensembles, acclrant ainsi le dbit de sortie pour les sortances volumineuses. Ds qu'un sous-ensemble de la sortance est disponible, la structure UCF autorise l'accs l'interface de structure et le contrleur UPC transmet le paquet, mais il conserve le descripteur en premire position dans la file de priorit d'entre. La structure UCF rplique le paquet vers le sous-ensemble finalis de la sortance et assure le suivi de la partie de la sortance qui doit tre traite ultrieurement. Une fois qu'un ensemble minimum d'autorisations partielles ont t accordes pour des sous-ensembles de la sortance qui ne prsentent aucun chevauchement, la totalit de la sortance peut tre traite. La structure UCF laisse ensuite le contrleur UPC passer au paquet suivant de la file de priorit d'entre (Figure 11).

Livre blanc

Conclusions
De par leur conception, les commutateurs de la gamme Cisco Nexus 5000 reprsentent une solution idale en matire de commutation de couche d'accs bande passante leve et faible latence, pour des dploiements en baies. Dans le domaine de la consolidation des E/S, les commutateurs de la gamme Cisco Nexus 5000 constituent galement la base d'une structure de rseau unifie pouvant contribuer la simplification de l'infrastructure des centres informatiques, ce qui se traduit par une rduction des cots d'investissement et d'exploitation. Ce document a fourni une brve prsentation des caractristiques et des avantages de ces commutateurs, suivie d'une description dtaille de la mise en oeuvre interne de leurs capacits d'acheminement des flux 10 Gigabit Ethernet, de consolidation des E/S et de virtualisation. Ce document n'aurait pas t complet sans une prsentation des deux circuits ASIC qui se trouvent la base de ces capacits : le contrleur de port unifi qui gre toutes les oprations de traitement des paquets en entre et en sortie, et la structure transversale unifie qui assure la planification et la commutation des paquets. Les commutateurs de la gamme Cisco Nexus 5000 sont les premiers reprsentants du portefeuille de solutions de commutation de Cisco pour les centres informatiques. Ils ouvrent de nouvelles perspectives en matire de structure unifie et reprsentent une nouvelle tape vers la concrtisation de la stratgie Data Center 3.0 de Cisco.

Livre blanc

Imprim aux tats-Unis C11-462176-00 03/08