Livre blanc

La performance cache des infrastructures virtuelles VMware

Yann Guernion, VP Technology

EMEA HEADQUARTERS
Tour Franklin 92042 Paris La Dfense Cedex France

AMERICAS HEADQUARTERS
300 TradeCenter 128 Suite 5690 Wolburn , MA, 01801 USA +1 [781] 569 5730 info_usa@orsyp.com www.orsyp.com

+33 [0] 1 47 73 12 12
Info_fr@orsyp.com www.orsyp.com

Livre blanc

RESUME
Les infrastructures virtuelles prsentent de nombreux avantages, notamment la possibilit doptimiser lutilisation des ressources matrielles et de faciliter le dploiement de serveurs. Pourtant la virtualisation introduit un nouveau niveau dabstraction dcuplant le risque de saturation des ressources matrielles. Or, la plupart des solutions de monitoring de performance ne fournissent pas le niveau dinformation requis pour avoir une vision prcise des dysfonctionnements dans un environnement virtualis du type VMware VI3. Sysload propose une solution susceptible de grer objectivement les performances du datacenter virtualis. Cest un enjeu stratgique face la ncessit de maximiser le taux dutilisation des serveurs. Un retour la ralit des Mainframes ?

SOMMAIRE
1. 2. 3. 3.1 3.2 3.3 4. 4.1 4.2 4.3 4.4 4.5 4.6 4.7 4.8 5. LA REALITE CACHEE DES INFRASTRUCTURES VIRTUELLES ....................................................3 LE VERITABLE CHALLENGE A RELEVER ................................................................................4 GESTION DE PERFORMANCE DE VMWARE INFRASTRUCTURE 3 ............................................5 LIMPORTANCE DE LA GRANULARITE DANALYSE ..................................................................6 OU COLLECTER LINFORMATION ? ......................................................................................7 GERER LA PERFORMANCE DE BOITES NOIRES ? ..................................................................9 SYSLOAD POUR VMWARE INFRASTRUCTURE 3 .................................................................10 UNE VUE CONSOLIDEE DU DATACENTER ...........................................................................10 GRANULARITE DANALYSE INEGALEE.................................................................................11 DETECTION AUTOMATIQUE DES MICRO-SATURATIONS ........................................................11 CORRECTION EN TEMPS REEL DES EFFETS DU TIME KEEPING .............................................11 AIDE A LA PLANIFICATION DU DEPLOIEMENT DES SERVEURS ...............................................11 DES METRIQUES HOMOGENES..........................................................................................12 IMPACT NEGLIGEABLE SUR L'INFRASTRUCTURE VMWARE ..................................................12 UNE CONSOLE INTERACTIVE ET TRES FLEXIBLE .................................................................13 ABOUT ORSYP ..............................................................................................................13

ORSYP 2009 Tous droits rservs

PAGE 2 / 13

Livre blanc

1.

La ralit cache des infrastructures virtuelles

Ces derniers mois ont incontestablement t marqus par une sorte de frnsie dintrt autour des technologies de virtualisation des serveurs. Il semble aujourdhui que cette tendance puisse tre durable et concurrentielle tant nombre dditeurs travaillent imposer leurs nouvelles solutions : VMware, Microsoft, IBM, Sun, HP, Oracle, Citrix, Parallels Nanmoins, il est une question que lon peut se poser, mme sans tre particulirement sceptique propos de lutilit de la virtualisation de serveurs : pourquoi refondre et consolider linfrastructure alors que le prix du matriel ne cesse de baisser ? Lintrt le plus immdiat relatif ladoption des technologies de virtualisation relve dun constat dmographique dans le datacenter typique de la plupart des grandes entreprises. Les salles machine sont pleines, sans aucun espace disponible pour de nouveaux serveurs, les capacits lectriques et de climatisation sont aussi leurs limites. De plus, compte-tenu de la gnralisation des processeurs multi-curs et du cot rduit de la mmoire, la grande majorit des serveurs sont utiliss moins de 20% de leur capacit. On peut rsumer la situation de la faon suivante : le datacenter est plein, mais les serveurs sont vides. Les technologies de virtualisation offrent donc une porte de sortie plutt lgante : lorsque lon na plus de place dans le datacenter, on peut commencer remplir les serveurs. Pourtant, l o beaucoup dentreprises pensent quune diminution du nombre dlments dinfrastructure provoque automatiquement une diminution des contraintes dadministration, il convient dexposer la ralit cache derrire linfrastructure virtuelle. La virtualisation nest pas forcment synonyme dune rduction du nombre de serveurs, et peut mme tre la source dune prolifration de serveurs tant il devient facile de les dployer dans une infrastructure virtuelle. Il convient dapprcier quun serveur virtuel, mme sil offre un couplage lche avec son serveur hte physique, nen requiert pas moins de tches dadministration. Il doit toujours tre sauvegard, mis jour, surveill La criticit des serveurs physiques est quant elle renforce par la virtualisation, linstar du vieil adage recommandant de ne pas mettre tous ses ufs dans le mme panier. La performance, la fiabilit et le temps de reprise sur panne revtent une importance proportionnelle au nombre de serveurs virtuels hbergs sur une instance physique. Ainsi comprend-on lintrt stratgique de pouvoir dplacer les serveurs virtuels chaud pour des oprations de maintenance, comme le permet des technologies tel que Vmotion de VMware. Ladoption de la virtualisation de serveurs nimpacte favorablement les niveaux de service que dans les entreprises comprenant que virtualisation nest pas synonyme de rduction des ressources dadministration. Dans la grande majorit des cas, les administrateurs doivent considrer un serveur virtuel de la mme faon quun serveur physique, c'est--dire un lment requrant une gestion optimale pour rester oprationnel.

ORSYP 2009 Tous droits rservs

PAGE 3 / 13

Livre blanc

Aussi afin de pouvoir tirer tous les bnfices dune infrastructure virtuelle, les entreprises doivent-elles adopter une approche pragmatique et planifie, veillant bien sparer la ralit de leur production informatique des effets de mode technologique.

2.

Le vritable challenge relever

En dpit de ses avantages, la virtualisation qui instaure le partage dun serveur physique par de multiples machines virtuelles, a introduit un nouveau niveau de concurrence dcuplant le risque de saturation des ressources. Pourtant la ncessit de maximiser le taux dutilisation des ressources matrielles impose aux quipes dadministration dexploiter les applications dans des conditions trs proches des limites de capacit. La situation de confort consistant ddier un serveur une application nest dsormais plus de mise. La tenue en charge dun systme est caractrise par son temps de rponse en fonction de la demande qui lui est soumise. Ces deux paramtres sont la plupart du temps lis sous une forme reprsente dans la figure suivante.

System scalability

Response time

Demand

Le ct gauche de la courbe indique le temps de rponse vide , lorsque la charge est nulle cest le temps de rponse minimal. Lorsque la charge augmente, la variation du temps de rponse est plus ou moins linaire jusqu atteindre un coude reprsentant la limite de capacit du systme. Le temps de rponse crot exponentiellement partir de cette limite. Cest pourtant cette zone de fonctionnement qui est vise par les administrateurs, la recherche de lutilisation optimale tend amener les systmes leurs limites de capacit. Un systme positionn autour de la limite prsente dimportantes variations de temps de rponse pour des fluctuations minimes de la demande. On voit donc trs souvent apparatre des effets de micro-saturations, provoquant pour lutilisateur des alternances de ralentissement et dacclration des applications.

ORSYP 2009 Tous droits rservs

PAGE 4 / 13

Livre blanc

Les entreprises appliquant une stratgie de consolidation de leur datacenter sontelles donc immanquablement confrontes au retour en force des problmatiques de gestion des performances. Il serait en effet difficile dexpliquer aux utilisateurs ou au management que ladoption de technologies plus rcentes se fasse au dtriment de la qualit des prestations rendues. Les quipes dadministration sont tenues de mettre en uvre les moyens de garantir le maintien des niveaux de service fournis dans le cadre d'environnements plus dynamiques, plus complexes et plus sensibles.

3.

Gestion de performance de VMware Infrastructure 3

La garantie des niveaux de service fournis aux utilisateurs ou aux clients passe par une matrise totale des performances rendues par les systmes accueillant les applications. Il nexiste que deux sources principales de problmes de performance dans les environnements VMware : La consommation inattendue dune application dans une machine virtuelle ou leffet cumulatif inattendu de consommation de plusieurs applications dans plusieurs machines virtuelles. Des changements de configuration intentionnels ou une panne dans linfrastructure matrielle supportant linfrastructure virtuelle et provoquant une reconfiguration.

Pourtant la plupart des solutions de monitoring gnralement utilises ne sont pas capables de fournir le niveau dinformation requis pour avoir une vision prcise des dysfonctionnements dans un environnement virtualis. Les difficults majeures sont habituellement lies au grain danalyse des systmes ainsi quaux spcificits architecturales inhrentes VI3.

ORSYP 2009 Tous droits rservs

PAGE 5 / 13

Livre blanc

3.1

Limportance de la granularit danalyse

Lchelle de temps avec laquelle on effectue lanalyse de nimporte quel systme en volution revt un caractre particulirement important. Imaginons que les mtorologues ne se bornent relever les tempratures quune seule fois par an, le 1er juin. Une observation des relevs sur 10 ans mnera la conclusion que la temprature est plus ou moins constante, voire en faible augmentation du fait du rchauffement terrestre global. Pourtant, un observateur avis effectuant une mesure le 31 janvier et le 15 aot obtiendra des rsultats mettant facilement en doute les mesures prcdentes. En fait la granularit temporelle des mesures effectues nest pas significative car mme en faisant abstraction des priodes de jour et de nuit, la temprature subit des variations continues durant les 365 jours de lanne. On peut extrapoler ces constatations lobservation dun systme informatique, par exemple la mesure de la charge CPU sur un serveur.

Comme le montre la figure ci-dessus, lobservation de lactivit CPU dun serveur prsente des rsultats significativement diffrents selon la granularit de linformation. A gauche, lanne 2007 affiche avec un grain dun mois, droite, lanne 2007 affiche avec un grain de 5 minutes et projete sur une journe type. La prise en compte exclusive des donnes mensuelles amnerait lutilisateur sous valuer largement lutilisation maximale du serveur : 3,5% contre 16%. Outre laspect macroscopique, la granularit danalyse doit galement tre considre dun point de vue microscopique. Un systme informatique peut effectuer plus de 10 changements de contexte par seconde, soit 30000 changements toutes les 5 minutes chacun de ces contextes ayant t loccasion dexcuter des milliers dinstructions. Une analyse constitue de points de mesure acquis par intervalle de 5 minutes nest pas donc significative de lactivit relle du systme. A titre dillustration, la figure ci-dessous prsente lactivit CPU maximale dun serveur selon deux frquences dacquisition : en vert toute les secondes, en rouge toutes les 5 secondes. On constate galement une forte variation des rsultats : 24,5% contre 40,7%.

ORSYP 2009 Tous droits rservs

PAGE 6 / 13

Livre blanc

De faon gnrale, un outil de mesure de performance dot dune granularit danalyse par trop grossire napporte que peu de valeur ajoute car il ne fournit des donnes quen moyenne, lissant ainsi les artefacts quil est cens rvler. Les systmes virtualiss qui sont minemment dynamiques de par la concurrence induite entre les machines virtuelles et les possibilits de reconfiguration chaud ne peuvent tre convenablement valus que par un monitorat ralis haute frquence.

3.2

O collecter linformation ?
La technologie VI3 de VMware sappuie sur une infrastructure de serveurs sous Linux (ESX/ESXi Server) au sein desquels un hyperviseur logiciel partage les ressources physiques entre les machines virtuelles. Virtual Center permet de piloter lenvironnement virtuel VI3 au travers dune interface unique assurant les fonctions de provisionnement des machines virtuelles, dautomatisation des tches dadministration et de monitoring des serveurs de linfrastructure. On peut envisager de collecter les mtriques ncessaires la gestion de performance de lenvironnement VMware partir de trois endroits diffrents :

3.2.1

Dans le Service Console Le Service Console est en fait un accs direct au systme dexploitation Linux servant dhte pour lhyperviseur ESX. Les programmes sexcutant dans cette zone ont lavantage dtre trs proches du hardware et de lhyperviseur, facilitant la rcupration dinformations de performance. Nanmoins, le Service Console qui est disponible sur les serveurs ESX, ne lest pas sur les serveurs ESXi. La prennit de cette approche reste donc trs relative, car elle est envisageable uniquement sur un ensemble homogne de serveurs ESX.

ORSYP 2009 Tous droits rservs

PAGE 7 / 13

Livre blanc

Dautre part, les systmes dexploitation sexcutant dans les machines virtuelles restent totalement inaccessibles partir du Service Console, ce qui interdit deffectuer le monitoring de lenvironnement guest, des processus et des applications qui pourtant sont des lments capitaux du niveau de service rendu aux utilisateurs. Enfin, le monitoring partir du Service Console ne garantit pas la continuit des mesures pour une machine virtuelle qui serait migre chaud dun serveur ESX vers un autre. 3.2.2 Dans Virtual Center Virtual Center centralise de faon transparente laccs aux serveurs dinfrastructure, quils soient de type ESX ou ESXi. Il est notamment possible dagrger le mme type dinformations que celles obtenues dans le Service Console grce une interface Soap expose par Virtual Center. Cest la solution la plus gnralement adopte par les produits tiers venant complter Virtual Center car elle reste insensible au type de serveur ESX prsent dans linfrastructure ainsi quaux migrations de machines virtuelles entre serveurs. Nanmoins cette approche prsente toujours le dfaut de ne pas offrir de visibilit sur les maillons critiques que sont les systmes dexploitation ainsi que les applications installes dans les machines virtuelles. 3.2.3 Dans les Machines Virtuelles Les informations de performance obtenues partir des systmes dexploitation installs dans les machines virtuelles prsentent la meilleure valeur ajoute. Cest une solution qui dune part reste particulirement insensible au dplacement des machines virtuelles, et dautre part fournit des informations en relation directe avec les applications. Bien que la virtualisation ajoute un niveau dabstraction entre les applications et le matriel, cest bien dans lanalyse des interactions entre le systme et les processus que lon pourra dterminer et corriger dventuelles problmatiques de performance des applications. Comme dj indiqu, les administrateurs doivent considrer un serveur virtuel de la mme faon quun serveur physique, c'est--dire un lment requrant une gestion optimale pour rester oprationnel. Pourtant le fait que les systmes dexploitation installs dans les machines virtuelles naient pas t conus spcifiquement pour tre virtualiss dans un environnement VI3 (paravirtualisation) prsente un certain nombre deffets de bord : Le systme dexploitation guest nest pas conscient de nutiliser quun sousensemble des ressources matrielles. La gestion du temps lchelle microscopique dans le systme dexploitation guest nest pas stable et prsente de gros carts avec la ralit (http://www.vmware.com/pdf/vmware_timekeeping.pdf). Les solutions traditionnelles de monitoring fourniront des informations largement fausses par ces effets, aussi restent-elles inutilisables.

ORSYP 2009 Tous droits rservs

PAGE 8 / 13

Livre blanc

3.3

Grer la performance de botes noires ?

Le dilemme de la gestion de la performance pour ESX VI 3 peut se rsumer en une question : Est-il rellement suffisant de grer les performances depuis l'hte (physique) ? Nous pourrions ajouter : et de considrer les machines virtuelles comme de simples botes noires accueillant des applications ?

Certainement pas, moins que l'on considre que dans un environnement physique l'excution des applications de l'entreprise peut tre entirement surveille partir dindicateurs globaux sur les CPU, Mmoire et IOs du serveur excutant les programmes. Alors que la gestion de performance est complexe sur un serveur traditionnel, il est peu probable quelle soit plus facile partir de machines virtuelles et de nouvelles couches logicielles. D'une manire gnrale, la vision depuis lhte va permettre de dtecter uniquement les problmes qui se produisent lorsque toutes les machines virtuelles sont dans une configuration sans limite de ressource. Dans un vritable environnement de production, on a tendance limiter les ressources alloues aux machines virtuelles de manire viter toute surcharge inattendue du serveur. Dans ce cas prcis, la saturation des OS prsents dans les machines virtuelles ne peut tre dtect depuis lhte, mais seulement dans le cadre dune surveillance lintrieur de la machine virtuelle.

ORSYP 2009 Tous droits rservs

PAGE 9 / 13

Livre blanc

4.

Sysload pour VMware Infrastructure 3

Pour rpondre concrtement aux problmatiques dhtrognit du datacenter et de complexit de la supervision en environnement virtuel, Sysload a dvelopp une technologie dacquisition de donnes ultra performante qui permet de relever et danalyser les indicateurs essentiels pour grer un projet de virtualisation : de la phase de conception au suivi de production. Vue consolide du datacenter (serveurs physiques et virtuels) Granularit danalyse offrant une prcision ingale Correction en temps rel des effets de micro drive du temps Dtection automatique des micro-saturations Aide la planification du dploiement des serveurs Impact ngligeable sur les systmes Console interactive et flexible

Identification de la saturation CPU due aux microsaturations simultanes de plusieurs machines virtuelles

Les crans de SP Analyst offrent une vision homogne et pertinente de lensemble des ressources en activit

4.1

Une vue consolide du datacenter

Sysload propose une gamme complte de solutions multiplateformes en termes de matriels, systmes dexploitation et solutions de virtualisation propritaires (VMware, SUN, HP, IBM). La technologie dacquisition de donnes de Sysload repose sur des agents de collecte embarqus directement sur les systmes qui permettent le contrle objectif dun ensemble de serveurs physiques ou virtuels.

ORSYP 2009 Tous droits rservs

PAGE 10 / 13

Livre blanc

4.2

Granularit danalyse ingale

Les agents Sysload collectent jusqu 300 mtriques au cur des systmes en toute discrtion (< 1% CPU, sans communication rseau induite, grce lhistorique embarqu) et trs haute frquence (chantillonnage jusqu 1 seconde). Cette granularit dinformation garantit une supervision trs prcise de lutilisation, et permet didentifier les dysfonctionnements lis aux micro-saturations des VMs non dtectes par la plupart des autres outils de supervision.

4.3

Dtection automatique des micro-saturations

En oprant une acquisition des informations au cur des machines virtuelles, Sysload rsout les problmatiques de surveillance des processus applicatifs responsables de la qualit de service perue par les utilisateurs. Les dysfonctionnements et saturations, jusqualors indcelables depuis la machine hte, sont dtects automatiquement.

4.4

Correction en temps rel des effets du time keeping

Sysload dispose galement dagents Windows, Linux et Solaris conus spcifiquement de faon ce qu'ils soient conscients de s'excuter dans un systme dexploitation qui lui-mme s'excute dans une Machine Virtuelle sur un serveur ESX/ESXi. Les calculs lis aux mtriques sont effectus sur une base de temps stable obtenue partir de l'hyperviseur et les indicateurs d'utilisation dtermins partir des ressources physiques (et non pas virtuelles). Par exemple, la charge CPU totale ou d'une application ou dun processus calcule par l'agent Sysload indique la consommation CPU physique relle du point de vue de lhte ESX.

4.5

Aide la planification du dploiement des serveurs

Ladministration des machines virtuelles modifie profondment le cycle classique de gestion des ressources serveur. Sysload aide les services informatiques qualifier prcisment lutilisation et la capacit des ressources ncessaires au maintien du niveau de service rendu. La prcision des donnes historique 5 minutes permet de profiler lactivit des machines virtuelles (journe type, semaine type) et de dterminer leurs compatibilits au sein dun mme pool de ressources.

ORSYP 2009 Tous droits rservs

PAGE 11 / 13

Livre blanc

Bilan dutilisation - Gestion de capacit dans un pool de VMs

4.6

Des mtriques homognes

Afin d'avoir un indicateur homogne, les consommations processeur sont aussi converties en Mhz, unit de puissance habituellement utilise par Virtual Center. Sysload fournit donc une lecture directe de l'utilisation des applications dans les Machines Virtuelles en unit Mhz (ou en rpi unit Sysload), ce qui permet de dterminer directement son impact sur un pool de ressources.

4.7

Impact ngligeable sur l'infrastructure VMware

Le trs faible impact des agents Sysload sur les OS (moins 1% de CPU) offre les moyens dune surveillance optimale du datacenter virtualis, et ce, quelque soit le nombre de VMs surveiller.

ORSYP 2009 Tous droits rservs

PAGE 12 / 13

Livre blanc

4.8

Une console interactive et trs flexible

La console danalyse SP Analyst permet de passer, sans effort et en quelques clics, du temps rel aux donnes historiques, du monitoring de l'analyse des performances (ou de tendances, de capacit). La navigation entre les diffrents tableaux de bord prsente un moyen efficace pour comprendre les facteurs de dgradation et identifier prcisment lorigine des dysfonctionnements.

5.

A propos dORSYP
ORSYP est un fournisseur indpendant de solutions de gestion des Oprations IT, aidant ses clients assurer en continu le fonctionnement optimal de leur activit et la dlivrance temps de leurs services informatiques. Bas Paris, France, Boston, USA et Hong Kong en Chine, ORSYP offre plus de 20 annes conscutives de croissance et possde plus de 1000 clients blue chip. Les solutions ORSYP dont le job scheduling dentreprise, lautomatisation des applications mtier, lautomatisation des infrastructures informatiques et les services ITSM sont reconnus et tablis dans les environnements physiques et virtuels les plus exigeants.

ORSYP 2009 Tous droits rservs

PAGE 13 / 13