Projet

Général

Profil

Openstack Management TTNN » Historique » Version 15

Laurent GUERBY, 19/10/2014 18:06

1 3 Mehdi Abaakouk
{{>toc}}
2 3 Mehdi Abaakouk
3 1 Mehdi Abaakouk
h1. Openstack Management TTNN
4 1 Mehdi Abaakouk
5 11 Mehdi Abaakouk
6 11 Mehdi Abaakouk
openstack tools for ttnn:  http://chiliproject.tetaneutral.net/projects/git-tetaneutral-net/repository/openstack-tools
7 11 Mehdi Abaakouk
8 4 Mehdi Abaakouk
h2. Opération sur les VMs (des membres)
9 1 Mehdi Abaakouk
10 1 Mehdi Abaakouk
h3. Reboot VM en error
11 1 Mehdi Abaakouk
12 1 Mehdi Abaakouk
<pre>
13 1 Mehdi Abaakouk
nova reset-state --active xxx.tetaneutral.net
14 1 Mehdi Abaakouk
nova reboot --hard --poll xxx.tetaneutral.net
15 1 Mehdi Abaakouk
</pre>
16 1 Mehdi Abaakouk
17 6 Laurent GUERBY
h3. Shutdown une VM
18 5 Laurent GUERBY
19 5 Laurent GUERBY
<pre>
20 5 Laurent GUERBY
nova stop xxx.tetaneutral.net
21 5 Laurent GUERBY
</pre>
22 5 Laurent GUERBY
23 5 Laurent GUERBY
A noter que suspend fait une sauvegarde de la RAM comme sur un laptop. shelve est bugué ne pas utiliser.
24 1 Mehdi Abaakouk
25 7 Laurent GUERBY
h3. Effacer une VM
26 6 Laurent GUERBY
27 6 Laurent GUERBY
<pre>
28 1 Mehdi Abaakouk
nova delete xxx.tetaneutral.net
29 7 Laurent GUERBY
</pre>
30 7 Laurent GUERBY
31 7 Laurent GUERBY
h3. Disques de VM
32 7 Laurent GUERBY
33 7 Laurent GUERBY
Pour renommer (et permettre a boot-disk de recreer) ou effacer :
34 7 Laurent GUERBY
35 7 Laurent GUERBY
<pre>
36 7 Laurent GUERBY
cinder list
37 7 Laurent GUERBY
cinder rename <ID> <newname>
38 7 Laurent GUERBY
cinder delete <ID_or_Name>
39 6 Laurent GUERBY
</pre>
40 5 Laurent GUERBY
41 1 Mehdi Abaakouk
h3. Agrandissement d'un disque
42 1 Mehdi Abaakouk
43 1 Mehdi Abaakouk
Sur la machine 'openstack':
44 1 Mehdi Abaakouk
45 1 Mehdi Abaakouk
<pre>
46 1 Mehdi Abaakouk
root@openstack:~/tools ./os-grow-disk.sh 
47 1 Mehdi Abaakouk
usage: os-grow-disk.sh CINDER_VOLUME_ID SIZE_GB
48 1 Mehdi Abaakouk
49 1 Mehdi Abaakouk
root@openstack:~/tools# ./os-grow-disk.sh bc6f01cb-c6b6-4413-b2ef-1f7df0031049 60
50 1 Mehdi Abaakouk
Cinder:
51 1 Mehdi Abaakouk
bc6f01cb-c6b6-4413-b2ef-1f7df0031049 , test4-bootdisk | 40 -> 60
52 1 Mehdi Abaakouk
 
53 1 Mehdi Abaakouk
Enter YES to update
54 1 Mehdi Abaakouk
YES
55 1 Mehdi Abaakouk
Testing g3 ssh connection...
56 1 Mehdi Abaakouk
Resizing the kvm blockdevice...
57 1 Mehdi Abaakouk
Block device 'vda' is resized
58 1 Mehdi Abaakouk
Updating cinder database with the new value...
59 1 Mehdi Abaakouk
Update finish
60 1 Mehdi Abaakouk
</pre>
61 1 Mehdi Abaakouk
62 1 Mehdi Abaakouk
Puis sur la VM:
63 1 Mehdi Abaakouk
64 1 Mehdi Abaakouk
Il faut avoir un 'parted' récent ou patché avec le support du 'online resizepart':
65 1 Mehdi Abaakouk
66 1 Mehdi Abaakouk
'online resizepart' est natif depuis parted >= 3.1: 
67 1 Mehdi Abaakouk
* debian >= jessie
68 1 Mehdi Abaakouk
* ubuntu >= 14.10
69 1 Mehdi Abaakouk
70 1 Mehdi Abaakouk
'online resizepart' backporté dans:
71 1 Mehdi Abaakouk
* ubuntu >= 13.10 < 14.10 
72 1 Mehdi Abaakouk
73 1 Mehdi Abaakouk
Pour debian wheezy, utilisation les packages ubuntu de 14.04 devrait marcher 
74 1 Mehdi Abaakouk
(pas encore testé, à voir si le kernel veut bien reload la table des partitions après)
75 1 Mehdi Abaakouk
76 1 Mehdi Abaakouk
<pre> 
77 1 Mehdi Abaakouk
root@test4:~# parted /dev/vda print | grep vda
78 1 Mehdi Abaakouk
Disk /dev/vda: 64.4GB
79 1 Mehdi Abaakouk
 
80 1 Mehdi Abaakouk
root@test4# parted /dev/vda resizepart 1 
81 1 Mehdi Abaakouk
Warning: Partition /dev/vda1 is being used. Are you sure you want to continue?
82 1 Mehdi Abaakouk
Yes/No? Yes                                                               
83 1 Mehdi Abaakouk
End?  [42.9GB]? 64.4GB   # METTRE ICI LA TAILLE VU AU DESSUS                                                 
84 1 Mehdi Abaakouk
Information: You may need to update /etc/fstab.                           
85 1 Mehdi Abaakouk
86 1 Mehdi Abaakouk
root@test4:~# resize2fs /dev/vda1
87 1 Mehdi Abaakouk
resize2fs 1.42.9 (4-Feb-2014)
88 1 Mehdi Abaakouk
Filesystem at /dev/vda1 is mounted on /; on-line resizing required
89 1 Mehdi Abaakouk
old_desc_blocks = 3, new_desc_blocks = 4
90 1 Mehdi Abaakouk
The filesystem on /dev/vda1 is now 15722400 blocks long.
91 1 Mehdi Abaakouk
92 1 Mehdi Abaakouk
root@test4:~# df -h | grep vda
93 1 Mehdi Abaakouk
/dev/vda1        60G  797M   56G   2% /
94 1 Mehdi Abaakouk
</pre>
95 1 Mehdi Abaakouk
96 14 Laurent GUERBY
Méthode plus risquée et manuelle pour wheezy :
97 14 Laurent GUERBY
98 15 Laurent GUERBY
<pre>
99 14 Laurent GUERBY
sfdisk -d /dev/vda > vda.mbr
100 14 Laurent GUERBY
cp vda.mbr vda.mbr.ori
101 14 Laurent GUERBY
vi vda.mbr 
102 14 Laurent GUERBY
# mettre un tres grand nombre pour la fin de la partition
103 14 Laurent GUERBY
sfdisk -L -n --no-reread /dev/vda < vda.mbr
104 14 Laurent GUERBY
# cela va faire une erreur avec le max a mettre pour la fin de la partition
105 14 Laurent GUERBY
# changer la fin de la partition avec ce chiffre
106 14 Laurent GUERBY
sfdisk -L --no-reread /dev/vda < vda.mbr
107 14 Laurent GUERBY
reboot
108 14 Laurent GUERBY
</pre>
109 14 Laurent GUERBY
110 1 Mehdi Abaakouk
h3. Ajout d'une interface réseau à une VM:
111 1 Mehdi Abaakouk
112 1 Mehdi Abaakouk
<pre>
113 1 Mehdi Abaakouk
$ neutron net-list | grep vlan3199
114 1 Mehdi Abaakouk
| 460f49ce-f5ed-449e-9e0f-7626bcee4379 | vlan3199         | ba3f12af-074a-4a31-9a7c-a621993e13bb 192.168.99.0/24     |
115 1 Mehdi Abaakouk
116 1 Mehdi Abaakouk
$ neutron port-create 460f49ce-f5ed-449e-9e0f-7626bcee4379 --name nagios-eth2 --fixed-ips type=dict list=true ip_address=192.168.99.248
117 1 Mehdi Abaakouk
Created a new port:
118 1 Mehdi Abaakouk
+-----------------------+---------------------------------------------------------------------------------------+
119 1 Mehdi Abaakouk
| Field                 | Value                                                                                 |
120 1 Mehdi Abaakouk
+-----------------------+---------------------------------------------------------------------------------------+
121 1 Mehdi Abaakouk
| admin_state_up        | True                                                                                  |
122 1 Mehdi Abaakouk
| allowed_address_pairs |                                                                                       |
123 1 Mehdi Abaakouk
| binding:host_id       |                                                                                       |
124 1 Mehdi Abaakouk
| binding:profile       | {}                                                                                    |
125 1 Mehdi Abaakouk
| binding:vif_details   | {}                                                                                    |
126 1 Mehdi Abaakouk
| binding:vif_type      | unbound                                                                               |
127 1 Mehdi Abaakouk
| binding:vnic_type     | normal                                                                                |
128 1 Mehdi Abaakouk
| device_id             |                                                                                       |
129 1 Mehdi Abaakouk
| device_owner          |                                                                                       |
130 1 Mehdi Abaakouk
| fixed_ips             | {"subnet_id": "ba3f12af-074a-4a31-9a7c-a621993e13bb", "ip_address": "192.168.99.248"} |
131 1 Mehdi Abaakouk
| id                    | 918e0ec7-0909-423c-9a67-15b5ef7c7ae0                                                  |
132 1 Mehdi Abaakouk
| mac_address           | fa:16:3e:6b:32:07                                                                     |
133 1 Mehdi Abaakouk
| name                  | nagios-eth2                                                                           |
134 1 Mehdi Abaakouk
| network_id            | 460f49ce-f5ed-449e-9e0f-7626bcee4379                                                  |
135 1 Mehdi Abaakouk
| security_groups       | b6d5b5fb-a053-4f97-b964-9e1a12d243b1                                                  |
136 1 Mehdi Abaakouk
| status                | DOWN                                                                                  |
137 1 Mehdi Abaakouk
| tenant_id             | ed980105f9d047e2bee738b3f261f126                                                      |
138 1 Mehdi Abaakouk
+-----------------------+---------------------------------------------------------------------------------------+
139 1 Mehdi Abaakouk
140 1 Mehdi Abaakouk
$ nova interface-attach --port-id 918e0ec7-0909-423c-9a67-15b5ef7c7ae0   nagios.tetaneutral.net
141 1 Mehdi Abaakouk
</pre>
142 1 Mehdi Abaakouk
143 1 Mehdi Abaakouk
Dans la VM:
144 1 Mehdi Abaakouk
145 1 Mehdi Abaakouk
<pre>
146 1 Mehdi Abaakouk
$ dmesg | tail 
147 1 Mehdi Abaakouk
[ 1315.826088] virtio-pci 0000:00:06.0: using default PCI settings
148 1 Mehdi Abaakouk
[ 1315.826102] virtio-pci 0000:00:07.0: no hotplug settings from platform
149 1 Mehdi Abaakouk
[ 1315.826102] virtio-pci 0000:00:07.0: using default PCI settings
150 1 Mehdi Abaakouk
[ 1315.826116] pci 0000:00:08.0: no hotplug settings from platform
151 1 Mehdi Abaakouk
[ 1315.826117] pci 0000:00:08.0: using default PCI settings
152 1 Mehdi Abaakouk
[ 1315.826382] virtio-pci 0000:00:08.0: enabling device (0000 -> 0003)
153 1 Mehdi Abaakouk
[ 1315.829281] virtio-pci 0000:00:08.0: setting latency timer to 64
154 1 Mehdi Abaakouk
[ 1315.829535] virtio-pci 0000:00:08.0: irq 50 for MSI/MSI-X
155 1 Mehdi Abaakouk
[ 1315.829555] virtio-pci 0000:00:08.0: irq 51 for MSI/MSI-X
156 1 Mehdi Abaakouk
[ 1315.829563] virtio-pci 0000:00:08.0: irq 52 for MSI/MSI-X
157 1 Mehdi Abaakouk
158 1 Mehdi Abaakouk
$ ip l   show dev eth2
159 1 Mehdi Abaakouk
4: eth2: <BROADCAST,MULTICAST> mtu 1500 qdisc noop state DOWN mode DEFAULT qlen 1000
160 1 Mehdi Abaakouk
    link/ether fa:16:3e:6b:32:07 brd ff:ff:ff:ff:ff:ff
161 1 Mehdi Abaakouk
162 1 Mehdi Abaakouk
$ tail -4 /etc/network/interfaces
163 1 Mehdi Abaakouk
auto eth2
164 1 Mehdi Abaakouk
iface eth2 inet static
165 1 Mehdi Abaakouk
   address 192.168.99.248
166 1 Mehdi Abaakouk
   netmask 255.255.255.0
167 1 Mehdi Abaakouk
168 1 Mehdi Abaakouk
$ ifup eth2
169 1 Mehdi Abaakouk
$ ping 192.169.99.250
170 1 Mehdi Abaakouk
PING 192.169.99.250 (192.169.99.250) 56(84) bytes of data.
171 1 Mehdi Abaakouk
64 bytes from 192.169.99.250: icmp_req=1 ttl=119 time=170 ms
172 1 Mehdi Abaakouk
64 bytes from 192.169.99.250: icmp_req=2 ttl=119 time=204 ms
173 1 Mehdi Abaakouk
^C
174 1 Mehdi Abaakouk
</pre>
175 1 Mehdi Abaakouk
176 2 Mehdi Abaakouk
h3. Exemple de migration de ganeti à openstack:
177 2 Mehdi Abaakouk
178 2 Mehdi Abaakouk
Sur h4:
179 2 Mehdi Abaakouk
<pre>
180 2 Mehdi Abaakouk
$ gnt-instance stop VMNAME.tetaneutral.net
181 2 Mehdi Abaakouk
$ gnt-instance activate-disks VMNAME.tetaneutral.net
182 2 Mehdi Abaakouk
h5.tetaneutral.net:disk/0:/dev/drbd34
183 2 Mehdi Abaakouk
</pre>
184 2 Mehdi Abaakouk
185 2 Mehdi Abaakouk
186 2 Mehdi Abaakouk
Sur g1, mettre l'image dans cinder
187 2 Mehdi Abaakouk
<pre>
188 2 Mehdi Abaakouk
name=VMNAME.tetaneutral.net
189 2 Mehdi Abaakouk
</pre>
190 2 Mehdi Abaakouk
191 2 Mehdi Abaakouk
Crée un volume (remplacer 20 par la taille du disque désiré):
192 2 Mehdi Abaakouk
193 2 Mehdi Abaakouk
<pre>
194 2 Mehdi Abaakouk
cinder create --volume_type ceph --display-name ${name}-bootdisk 20    # mettre ici un peu plus grand que le vrai disque.
195 2 Mehdi Abaakouk
volume_id=$(cinder show ${name}-bootdisk | awk '/ id /{print $4}')
196 2 Mehdi Abaakouk
</pre>
197 2 Mehdi Abaakouk
198 2 Mehdi Abaakouk
On remplace le volume rbd par le disque de la VM:
199 2 Mehdi Abaakouk
200 2 Mehdi Abaakouk
<pre>
201 1 Mehdi Abaakouk
rbd -p disks mv volume-$volume_id disks/volume-${volume_id}.old
202 9 Laurent GUERBY
socat -u tcp4-listen:505555 - | rbd -p disks import --image-format 2 - volume-$volume_id
203 2 Mehdi Abaakouk
</pre>
204 2 Mehdi Abaakouk
205 2 Mehdi Abaakouk
Sur la machine hX qui as le disque (ici h5 et le disque drbd34)
206 2 Mehdi Abaakouk
<pre>
207 2 Mehdi Abaakouk
cat /dev/drbd34 | socat -u - tcp4:g1:505555
208 2 Mehdi Abaakouk
# ou avec une bar de progression
209 2 Mehdi Abaakouk
apt-get install pv 
210 2 Mehdi Abaakouk
pv /dev/drbd34 | socat -u - tcp4:g1:505555
211 2 Mehdi Abaakouk
</pre>
212 2 Mehdi Abaakouk
213 2 Mehdi Abaakouk
<pre>
214 2 Mehdi Abaakouk
# On peut voir l'avancement via:
215 2 Mehdi Abaakouk
watch -n1 -- rbd -p disks info volume-$volume_id
216 2 Mehdi Abaakouk
</pre>
217 2 Mehdi Abaakouk
218 2 Mehdi Abaakouk
On change la taille de l'image pour mettre la meme que le volume créé par openstack
219 2 Mehdi Abaakouk
220 2 Mehdi Abaakouk
<pre>
221 2 Mehdi Abaakouk
$ rbd -p disks info volume-$volume_id.old
222 2 Mehdi Abaakouk
rbd image 'volume-$volume_id.old':
223 12 Laurent GUERBY
	size **XXX** MB in 5120 objects
224 2 Mehdi Abaakouk
	order 22 (4096 kB objects)
225 2 Mehdi Abaakouk
	block_name_prefix: rbd_data.752a15a94252f
226 2 Mehdi Abaakouk
	format: 2
227 1 Mehdi Abaakouk
	features: layering
228 12 Laurent GUERBY
$ # ou bien
229 13 Laurent GUERBY
$ rbd -p disks info --pretty-format --format json volume-$volume_id.old | grep size
230 12 Laurent GUERBY
$ # puis
231 12 Laurent GUERBY
$ rbd -p disks resize --size XXX volume-$volume_id
232 2 Mehdi Abaakouk
</pre>
233 2 Mehdi Abaakouk
234 2 Mehdi Abaakouk
Booter la VM avec ce disque (le disque existant déjà le script l'utilisera):
235 2 Mehdi Abaakouk
236 2 Mehdi Abaakouk
<pre>
237 8 Laurent GUERBY
/root/tools/boot-vm.sh --ip A.B.C.D --flavor Xvcpu-Yram ${name}
238 2 Mehdi Abaakouk
</pre>
239 2 Mehdi Abaakouk
240 2 Mehdi Abaakouk
_Note: Si le disque a été agrandi, on peut utiliser dans la VM "growpart /dev/vda 1" ou 'parted resizepart' pour récupérer l'espace disponible (fonctionne bien sous jessie ou dernier ubuntu)_
241 2 Mehdi Abaakouk
242 2 Mehdi Abaakouk
Quand c'est fini sur h4:
243 2 Mehdi Abaakouk
244 2 Mehdi Abaakouk
<pre>
245 2 Mehdi Abaakouk
gnt-instance deactivate-disks VMNAME.tetaneutral.net
246 2 Mehdi Abaakouk
</pre>
247 2 Mehdi Abaakouk
248 2 Mehdi Abaakouk
S'il faut changer la RAM et vCPU
249 2 Mehdi Abaakouk
250 2 Mehdi Abaakouk
<pre>
251 2 Mehdi Abaakouk
nova flavor-list
252 2 Mehdi Abaakouk
nova list
253 2 Mehdi Abaakouk
nova resize ${name} FLAVOR_ID --poll
254 2 Mehdi Abaakouk
nova resize-confirm VM_ID
255 1 Mehdi Abaakouk
</pre>
256 1 Mehdi Abaakouk
257 10 Mehdi Abaakouk
h3. Convertion des images rbd au format 2 (pour les premieres VMs migrées de ganeti)
258 10 Mehdi Abaakouk
259 10 Mehdi Abaakouk
<pre>
260 10 Mehdi Abaakouk
$ nova stop <vm_name>
261 10 Mehdi Abaakouk
$ rbd -p disks export volume-XXXXXXXXXXXXXX - | rbd import --image-format 2 -p disks - volume-XXXXXXXXXXXXXX.converted
262 10 Mehdi Abaakouk
$ rbd -p disks mv volume-XXXXXXXXXXXXXX volume-XXXXXXXXXXXXXX.old
263 10 Mehdi Abaakouk
$ rbd -p disks mv volume-XXXXXXXXXXXXXX.converted volume-XXXXXXXXXXXXXX
264 10 Mehdi Abaakouk
$ rbd -p disks rm volume-XXXXXXXXXXXXXX.old
265 10 Mehdi Abaakouk
$ nova start <vm_name>
266 10 Mehdi Abaakouk
</pre>
267 10 Mehdi Abaakouk
268 10 Mehdi Abaakouk
269 1 Mehdi Abaakouk
h2. VM de management (nommé openstack)
270 1 Mehdi Abaakouk
271 1 Mehdi Abaakouk
h3. Live Migration d'un host à l'autre
272 1 Mehdi Abaakouk
273 1 Mehdi Abaakouk
Cela fait tout à notre place niveau kvm/libvirt/ceph
274 1 Mehdi Abaakouk
275 1 Mehdi Abaakouk
<pre>
276 1 Mehdi Abaakouk
virsh migrate --persistent --undefinesource --live --p2p openstack qemu+ssh://g2:2222/system
277 1 Mehdi Abaakouk
</pre>
278 1 Mehdi Abaakouk
279 1 Mehdi Abaakouk
h3. Recover depuis une perte de la machine hote:
280 1 Mehdi Abaakouk
281 1 Mehdi Abaakouk
Créé un fichier openstack.xml à partir d'un backup de '/etc/libvirt/qemu/openstack.xml' ou utiliser l'exemple ici: attachment:openstack.xml
282 1 Mehdi Abaakouk
283 1 Mehdi Abaakouk
_Note: il faut surement viré les uuid des interfaces openvswitch qui sont différent suivant le hosts_
284 1 Mehdi Abaakouk
285 1 Mehdi Abaakouk
Puis on recréé la VM
286 1 Mehdi Abaakouk
287 1 Mehdi Abaakouk
<pre>
288 1 Mehdi Abaakouk
$ virsh create openstack.xml
289 1 Mehdi Abaakouk
$ virsh start openstack.xml
290 1 Mehdi Abaakouk
</pre>