vmware

amazon_calculateur

From dedicated server to Amazon EC2

11

I am on the way to migrate from a dedicated server (Dedibox, a french provider) to Amazon EC2. Here are my first feedbacks from Amazon Cloud..

Why i am migrating
My current provider is not allowing true virtualization on theirs servers. Their hardware is strong (Dedibox Pro products), but they prevent Hypervisor through their switches which shutdown port whith more than one mac address. So, without VMware ESXi or Hyper-V, i failback on VMware server on top of a CentOS.
VM are just slow, even with only 5 of them. So i have good hardware which i can’t truly use and so write off the cost. It’s not hazard, virtualization is the best and common way to use these 8GB of ram and quad core cpu.
At least another provider support ESXi, OVH. But they ask quite much money for that (15€/month to be allowed to have more IP…)
As my goal is to get Virtual machines at the end, Amazon EC2 looked quickly as a good choice. In the worth case, i will pay as much as now, but i will get what i pay for!

Step 1: Amazon calculator
Speaking about money, the first difficulty is to know actually how much it will cost! Well, to be honest, the fist one is to understand which instance is the right for me:

  • On demand: no commitment, pay as you use,
  • Reserved: Pay one shoot fee, and then pay as you use at a low cost,
  • Spot: you don’t know when you will get your VM, but it will cost less than On demand, but more than Reserved.

As you guess, 1 VM On demand used (powered on) all time costs much more than a Reserved one used all time.
Their calculator have an design issue. By default, it includes the one time fee in the first month free. The quick way is to multiply the numbers you see per 12, and then you get scared for a wrong reason!


So, to get the final cost per month, for one small reserved instance, always on:

(227.50$ + 29.98 * 12) / 12= 48.23$ § month

The average cost of a VM is 34€ per month. For this amount, you have a Linux 32 bit with:

  • CPU: 1 VCPU 1,7Ghz: 1 EC2 Compute Unit (1 virtual core with 1 EC2 Compute Unit)
  • Memory: 1.7GB
  • Storage: 169GB

The weird thing is the 44$ of taxes on the bill (see later in this post)…

Step 2: Reserve an instance
Things are becoming serious! Before, i nevertheless made some benchmark with one On demand VM, to be sure about performance. We choose first the size of the VM (small in my case), where it will be hosted (2 sites in USA, 1 in Europe (Ireland). I chose Ireland, to save the latency over Atlantic. After 5 big clicks, we are pending. After 10 minutes, like on a Formula car race, we are active. Then ? Nothing happens ! No earthquake and no Virtual Machine in the list. Amazon Helps resources are nearly clueless. I finally understood that you have to create a On demand VM, in the same site as your reserved one. As simple as scary, because you don’t any word on the interface to comfort you are not going to pay 2 instances. You will have to believe in Amazon and their billing system. Well, it was ok for me, i didn’t pay twice!
So far, a reserved instance can only be a linux one. Windows is restricted to On demand, and it’s cost is higher than Linux, because the License comes with the VM.
The architecture choice (32/64 bit) depends on the size of the VM.

Step 3: create the VM
Now that i understood and still believe in Amazon, creating a VM is really simple, 5 clicks away and 5 minutes of waiting. You don’t install your own OS/ISO, but use a prepared image. They name them AMI (Amazon Machine Image). Amazon have 5 AMI, but the community extend the choice up to 971 AMI.

The storage for Linux is 10GB for system and 150GB for data. The VM see 2 partitions:
Filesystem 1K-blocks Used Available Use% Mounted on /dev/sda1 10321208 1383500 8413420 15% / /dev/sda2 153899044 6793004 139288416 5% /mnt none 870472 0 870472 0% /dev/shm

When you create the VM and later on, Amazon provide a firewall outside the VM. You can then manage flow that come in. It’s handy, since we save an iptable:

Step 4: Log on the instance
Now that the VM is running, it’s time to logon. A right click on the instance shows up this menu:

The Connect link gives:

You have understood:

  • No console access (Get System Log shows you the boot log):
  • No root password, but instead a certificate generated when creating the VM)

On Windows, Putty is often used a free ssh client. But Putty can’t understand the Amazon certificate. Anyway, Amazon explains how to workaround it here:
http://docs.amazonwebservices.com/AmazonEC2/gsg/2007-01-19/putty.html

In short, you have to use PuttyGen, from the author of Putty, to convert the Certificate in a one Putty understand. After, it works great:

Step 5: Performances
This is the critical part when it comes to Virtual Machines. Good news, i am very happy with the performance:

  • Network: easily get 20Mb/s
  • Storage: 121MB/s in writing (dd if=/dev/zero of=dd.dd bs=1M)

Why does Amazon provide that performance ? Because they bill the network as you use it (0.170$ per GB of traffic). Unlike others hosting that bill all included, Amazon won’t loose money if a big user comes in. On my previous provider, i could use 100Mb/s non stop without paying more. So they share a lot connections to outside (peering), and so network is slow.

I prefer to pay a bit more when i use more, but have this quality. We can follow nearly in real time our usage and so next bill:

frag

VMware linked clone : ne pas defragmenter!

0

Une des fonctionnalités que j’utilise le plus sous VMware Workstation: linked clone.

Je crée une VM “modèle” avec tout ce qu’il faut, et je ne crée ensuite que des linked clone. Tous les clone se base sur un snapshot identique “mon model V1.1″, afin de ne pas cumuler les snapshots.

Quand ma VM idéale est prête, je la defrag juste avant de l’arrêter. Elle est stockée sur un disque SSD, ce qui permet un accès rapide, profitant à toutes les VM basées dessus.

Avec le temps, mes clone sont fragmentés. Se pose alors la question : que se passe-t-il si je défragmente un linked clone ?

J’ai fait le test suivant:

  • Création d’une VM linked clone à partir d’un model XP.
  • Premier boot: le vmdk contenant le delta fait 50Mo.
  • Analyse de la fragmentation du disque (0%, ce qui est normal vu que le modèle a été défragmenté.):

Néanmoins, je décide de lancer tout de même un defrag “pour voir”!

Le VMDK passe de 50Mo à 626Mo, soit une augmentation de presque 1200%. Cela réduit fortement un des intérêt qui est le gain de place, surtout quand on a 40 VM !

Le sujet est expliqué dans le document VMware “Performance Best Practices and Benchmarking Guidelines”, page 19. Il est téléchargeable ici:

http://www.vmware.com/pdf/ws65_performance.pdf

Conclusion: bien préparer son modèle avant, ne plus défragmenter après!

vmware workstation 2008R2 cluster

Tutoriel lotp: VMware Workstation – Windows Server 2008R2 en cluster

3

Je viens de faire un tutoriel sur la mise en oeuvre d’un cluster Windows Server 2008 R2 dans VMware Workstation.
La partie sensible est la réservation persistante scsi-3 impérative depuis Windows Server 2008.

J’ai poste le tutoriel sur screencast: http://www.screencast.com/t/R7ndyktfNXk
vmware workstation 2008R2 cluster

pour les adeptes de Youtube, je l’ai posté aussi (mais qualité inférieure):

Dedibox pro & VMware: l’aventure!

2

Utiliser une dedibox pro pour faire de la virtualisation n’est pas aussi simple qu’on pourrait le penser. Deux solutions de virtualisation ont été essayées:

  • VMware ESXi
  • VMware Server sur CentOS

VMware ESXi

Les galères sont multiples dont une rédibitoire:

  • Il faut le KVM IP. IPMI ne permet pas de voir l’installation se dérouler et faire le nécessaire. Il faut prendre rendez-vous au moins la veille avant. La mise à disposition n’est que par demi journée. L’accès au KVM est pratiquement publique (toujours le même compte). Attention donc…
  • La distrib ESXi ne connait pas l’ICH9R. Il faut donc ajouter un pack de pilotes de la communauté, mais il a fallu reprendre un package plus ancien pour qu’il voit les disques! Dans le bios, il faut ahci (raid non supporté)
  • Seulement la deuxième carte réseau est vue. La première est censée utilisée le pilote e1000e mais pas moyen!
  • Il n’y a pas moyen de monter l’iso pour installation via ipmi. Il reste 2 solutions: envoyer un CD chez dedibox ou homemade.Voici la version home made!
  1. Démarrer en mode rescue. /tmp est en mémoire (important pour la suite). Cela correspond à un ramdisk. Si vous poussez le dd à venir depuis un accès ADSL, copiez le aussi sur le dedibackup ou le deuxième disque. Au reboot, tout ce qui est dedans sera perdu, et il y a peu de chance que ca fonctionne du premier coup…
  2. Installer ESXi ailleurs, comme dans une VM. J’ai fait un tutoriel pas à pas ici.
  3. Il faut enrichir ESXi avec les pilotes de la communauté (voir plus haut) (penser à enrichir aussi simple.map comme indiqué)
  4. faire un DD de l’installation, et le déposer dans /tmp via scp
  5. Copier le contenu du DD dans le premier disque (/dev/sda)
  6. reboot!
  • Il faut maintenant le KVM IP pour configurer ESXi. Le minimum est de mettre la carte réseau en dhcp (dedibox fourni vos adresses via DHCP sur les deux cartes)
  • Vous pouvez aller sur le site web afin de télécharger le client VI.

A ce stade, on pourrait se dire “champagne”. Sauf que Dedibox n’autorise qu’une seule et unique adresse MAC par interface. Une demande de dérogation au support sera un échec. Sur la carte réseau fonctionnelle, on a donc déjà au moins l’adresse MAC de la carte elle même et on ne peut même pas en présenter une en plus (une VM pour faire routeur). VMware laisse modifier l’adresse MAC d’une VM, mes les 3 premiers digits sont imposés. Modifier le VMX à la main ne change rien, il bloque le démarrage de la VM. Modifier l’adresse MAC dans la VM fonctionne, mais dès qu’elle veut joindre l’extérieur, le cisco de dedibox bloque le port ethernet! Je pense que ESXi ignore l’adresse MAC source est positionne quand même celle prévue.

On a donc un ESXi prêt à fonctionner, on peut créer des VM, mais aucun accès au réseau :’(.

VMware Server

Cela va “presque” tout seul. Il suffit d’installer un linux, je recommande CentOS 5.1 64 bits. L’idée est d’activer la fonction raid dans le bios (via IPMI ou KVM IP).
La carte mère supporte deux EPROM raid:

  • LSI
  • Intel Matrix Storage

Avec Debian (que je préfère), même avec la dernière version 5, aucun des deux raid n’est pris en charge. Avec CentOS, seul LSI fonctionne.

Après cela tout se passe très bien. Attention au firewall intégré à CentOS. Il vous bloquera le traffic autre qu’ICMP pour les VM utilisant des ip failover (IP dédiée à la VM pour avoir du traffic entrant).

Pour attribuer une IP failover à une VM, pas mal de tutoriels existent:

http://blog.guiguiabloc.fr/index.php/tag/vmware-server/

http://www.superkikim.com/vmware/ip-forwarding-pour-les-serveurs-ovh-avec-vmware-server-2/

1er tutoriel Lotp: installer pas à pas ESXi sur VmWare Workstation 6.5

14

Voici une vidéo de 10 minutes qui explique comment installer ESXi à l’intérieur d’une VM Workstation 6.5!
l’objectif étant d’évaluer ESXi sans pour autant lui dédier une machine…

N’hésitez pas me dire ce que vous en pensez par commentaire ou mail ! Si ce procédé vous plait, il se pourrait que j’en fasse d’autres :)

 

VmWare: vbscript pour defrag & shrink de tous les vmdk (batch)

0

Si comme moi, vous commencer à avoir pas mal de VM, compresser et faire un shrink de tous les volumes devient impossible.

J’ai donc écrit un vbscript qui:

  • Parcours de façon récursive tous les dossiers depuis une racine
  • Fais un defrag de tous les vmdk qu’il trouve (vdiskmanager se charge de vérifier si c’est possible)
  • Fais un shrink de tous les vmdk qu’il trouve (vdiskmanager se charge de vérifier si c’est possible

En lançant le vbscript avec cscript, vous avez même le log de vdiskmanager qui s’affiche:

vmware_compressor

Deux variables à changer dans le script suivant votre environnement:

  • Où est installé vmware workstation:
VmWareInstallFolder="C:\" & """" & "Program Files (x86)"
& """" & "\VMware\" & """" & "VMware Workstation" &
""""
  • Où sont les VMDK (dossier racine de toutes les VM):
VmdkRootFolder="F:\vmware"

Mon environnement:

  • Windows vista SP1 64 bit
  • VmWare Workstation 6

Téléchargement: vmware_compressor

VmWare: se débarasser des beep du speaker provenant des VM

0

Si, comme moi, les beeps systèmes générés par vos VM vous agacent fortement, voici comment s’en débarrasser:

Ajoutez cette variable: mks.noBeep = true

Sur Vista:
C:\Users\XXXXX\AppData\Roaming\VMware\preferences.ini

Sur XP:
%USERPROFILE%\Application Data\VMware\preferences.ini

Go to Top