Projet

Général

Profil

Ceph-Sharing-Disk » Historique » Version 21

bikepunk bikepunk, 01/05/2015 01:44

1 3 Laurent GUERBY
{{>toc}}
2 3 Laurent GUERBY
3 1 Mehdi Abaakouk
h1. Ceph-Sharing-Disk
4 1 Mehdi Abaakouk
5 3 Laurent GUERBY
h2. Objectif
6 3 Laurent GUERBY
7 4 Laurent GUERBY
Un-e adherent-e tetaneutral.net souhaite heberger une machine efficace energetiquement et prenant peu de place comme un NUC/Brix ce qui arrange tetaneutral.net mais limite la partie stockage disque. L'idée est que l'adherent-e achete en plus des disques 3.5 classiques, nous les mettons dans le cluster Ceph/openstack et nous exportons un pool de stockage Ceph a la machine.
8 4 Laurent GUERBY
9 3 Laurent GUERBY
h2. Cluster
10 3 Laurent GUERBY
11 1 Mehdi Abaakouk
Sur le cluster ceph:
12 1 Mehdi Abaakouk
13 6 Laurent GUERBY
Création de l'utilisateur et du pool ceph pour cet utilisateur
14 1 Mehdi Abaakouk
15 1 Mehdi Abaakouk
http://chiliproject.tetaneutral.net/projects/git-tetaneutral-net/repository/openstack-tools/revisions/master/entry/ceph-create-ext-pool.sh
16 1 Mehdi Abaakouk
17 1 Mehdi Abaakouk
<pre>
18 18 Laurent GUERBY
# # ./ceph-create-ext-pool.sh <username> <size en giga> 
19 9 Laurent GUERBY
# ./ceph-create-ext-pool.sh sileht 100  
20 1 Mehdi Abaakouk
creating ceph.client.sileht.keyring
21 1 Mehdi Abaakouk
imported keyring
22 1 Mehdi Abaakouk
pool 'sileht-pool' created
23 1 Mehdi Abaakouk
set pool 70 size to 2
24 1 Mehdi Abaakouk
set pool 70 min_size to 2
25 1 Mehdi Abaakouk
set-quota max_bytes = 107374182400 for pool sileht-pool
26 9 Laurent GUERBY
# cat ceph.client.sileht.keyring 
27 9 Laurent GUERBY
...
28 9 Laurent GUERBY
# ceph auth get client.sileht
29 9 Laurent GUERBY
... (identical to file)
30 1 Mehdi Abaakouk
</pre>
31 9 Laurent GUERBY
32 10 Laurent GUERBY
Le fichier important pour le client est ./ceph.client.sileht.keyring
33 1 Mehdi Abaakouk
34 3 Laurent GUERBY
h2. Client
35 1 Mehdi Abaakouk
36 7 Mehdi Abaakouk
h3. Installation de ceph
37 7 Mehdi Abaakouk
38 7 Mehdi Abaakouk
h4. Debian jessie
39 7 Mehdi Abaakouk
40 7 Mehdi Abaakouk
<pre>
41 7 Mehdi Abaakouk
apt-get install ceph
42 7 Mehdi Abaakouk
</pre>
43 7 Mehdi Abaakouk
44 7 Mehdi Abaakouk
h4. Debian wheezy/squeeze, Ubuntu precise/quantal/raring/saucy/trusty
45 7 Mehdi Abaakouk
46 7 Mehdi Abaakouk
<pre>
47 7 Mehdi Abaakouk
apt-get install lsb-release
48 7 Mehdi Abaakouk
wget -q -O- 'https://ceph.com/git/?p=ceph.git;a=blob_plain;f=keys/release.asc' | sudo apt-key add -
49 7 Mehdi Abaakouk
echo deb http://ceph.com/debian-firefly/ $(lsb_release -sc) main | sudo tee /etc/apt/sources.list.d/ceph.list
50 7 Mehdi Abaakouk
apt-get update
51 7 Mehdi Abaakouk
apt-get install ceph
52 7 Mehdi Abaakouk
</pre>
53 7 Mehdi Abaakouk
54 12 Laurent GUERBY
Un kernel plus recent que 3.9 (ou 3.16) est aussi necessaire, pour wheezy :
55 12 Laurent GUERBY
<pre>
56 12 Laurent GUERBY
echo "deb http://http.debian.net/debian wheezy-backports main" > /etc/apt/sources.list.d/wheezy-backports.list
57 12 Laurent GUERBY
apt-get update
58 12 Laurent GUERBY
apt-get install -t wheezy-backports  linux-image-amd64
59 12 Laurent GUERBY
</pre>
60 12 Laurent GUERBY
61 7 Mehdi Abaakouk
h3. Configuration de ceph
62 12 Laurent GUERBY
63 6 Laurent GUERBY
Sur le client rbd :
64 1 Mehdi Abaakouk
65 16 Laurent GUERBY
La machine machine doit être configuré avec une ip sur le vlan 3199, si eth0 n'est pas dans un bridge :
66 16 Laurent GUERBY
67 17 Laurent GUERBY
<pre>
68 16 Laurent GUERBY
ip link add link eth0 name eth0.3199 type vlan id 3199
69 16 Laurent GUERBY
ip link set dev eth0.3199 txqueuelen 100
70 16 Laurent GUERBY
ip link set eth0.3199 up
71 16 Laurent GUERBY
ip addr add 192.168.99.XXX/24 dev eth0.3199 # XXX donne par les admin ttnn
72 17 Laurent GUERBY
</pre>
73 16 Laurent GUERBY
74 21 bikepunk bikepunk
pour que la config du VLAN se lance automatiquement au boot, on peut rajouter dans /etc/network/interfaces
75 21 bikepunk bikepunk
76 21 bikepunk bikepunk
<pre>
77 21 bikepunk bikepunk
# Vlan pour ceph
78 21 bikepunk bikepunk
auto eth0.3199
79 21 bikepunk bikepunk
iface eth0.3199 inet manual
80 21 bikepunk bikepunk
    up ip link set dev eth0.3199 txqueuelen 100
81 21 bikepunk bikepunk
    up ip link set eth0.3199 up
82 21 bikepunk bikepunk
    up ip addr add 192.168.99.222/24 dev eth0.3199
83 21 bikepunk bikepunk
</pre>
84 21 bikepunk bikepunk
85 16 Laurent GUERBY
Installation de ceph :
86 1 Mehdi Abaakouk
87 1 Mehdi Abaakouk
<pre>
88 1 Mehdi Abaakouk
apt-get install ceph
89 1 Mehdi Abaakouk
</pre>
90 1 Mehdi Abaakouk
91 5 Laurent GUERBY
Le membre récupére son  keyring (ceph.client.sileht.keyring ici) et le copie dans /etc/ceph/
92 1 Mehdi Abaakouk
93 19 Laurent GUERBY
94 19 Laurent GUERBY
<pre>
95 19 Laurent GUERBY
# cat /etc/ceph/ceph.client.sileht.keyring
96 19 Laurent GUERBY
[client.sileht]
97 19 Laurent GUERBY
	key = xxxxxxxxxyyyy==
98 19 Laurent GUERBY
	caps mon = "allow profile simple-rados-client"
99 19 Laurent GUERBY
	caps osd = "allow rwx pool=sileht-pool"
100 19 Laurent GUERBY
</pre>
101 19 Laurent GUERBY
102 1 Mehdi Abaakouk
Il peut ensuite créer le fichier /etc/ceph/ceph.conf
103 1 Mehdi Abaakouk
104 1 Mehdi Abaakouk
<pre>
105 1 Mehdi Abaakouk
[global]
106 1 Mehdi Abaakouk
fsid = 1fe74663-8dfa-486c-bb80-3bd94c90c967
107 1 Mehdi Abaakouk
auth_supported = cephx
108 1 Mehdi Abaakouk
auth_cluster_required = cephx
109 1 Mehdi Abaakouk
auth_service_required = cephx
110 1 Mehdi Abaakouk
auth_client_required = cephx
111 1 Mehdi Abaakouk
mon_host = 192.168.99.251,192.168.99.252,192.168.99.253
112 1 Mehdi Abaakouk
113 1 Mehdi Abaakouk
[client.sileht]
114 1 Mehdi Abaakouk
keyring = /etc/ceph/ceph.client.sileht.keyring
115 1 Mehdi Abaakouk
</pre>
116 1 Mehdi Abaakouk
117 5 Laurent GUERBY
On vérifie que cela marche :
118 1 Mehdi Abaakouk
119 1 Mehdi Abaakouk
<pre>
120 1 Mehdi Abaakouk
$ rbd --id sileht -p sileht-pool ls
121 11 Laurent GUERBY
$ echo $?
122 11 Laurent GUERBY
0
123 1 Mehdi Abaakouk
</pre>
124 1 Mehdi Abaakouk
125 20 Laurent GUERBY
Si il n'y a pas d'erreur c'est bon, maintenant on créée un volume rbd , size en megabyte :
126 1 Mehdi Abaakouk
127 1 Mehdi Abaakouk
<pre>
128 1 Mehdi Abaakouk
$ rbd --id sileht --pool sileht-pool create --size 100000 backup
129 1 Mehdi Abaakouk
$ rbd --id sileht -p sileht-pool ls
130 1 Mehdi Abaakouk
backup
131 1 Mehdi Abaakouk
</pre>
132 1 Mehdi Abaakouk
133 5 Laurent GUERBY
On configure le mapping automatique du volume rbd :
134 1 Mehdi Abaakouk
135 1 Mehdi Abaakouk
<pre>
136 1 Mehdi Abaakouk
$ echo sileht-pool/backup  id=sileht >> /etc/ceph/rbdmap
137 1 Mehdi Abaakouk
$ service rbdmap restart
138 1 Mehdi Abaakouk
RBD Mapping: 'sileht-pool/backup'...done.
139 1 Mehdi Abaakouk
</pre>
140 1 Mehdi Abaakouk
141 1 Mehdi Abaakouk
142 5 Laurent GUERBY
le disque est prêt, on peut soit le formater directement :
143 1 Mehdi Abaakouk
144 1 Mehdi Abaakouk
<pre>
145 1 Mehdi Abaakouk
$ mkfs.ext4 /dev/rbd/sileht-pool/backup 
146 1 Mehdi Abaakouk
$ mount /dev/rbd/sileht-pool/backup  /backup
147 1 Mehdi Abaakouk
</pre>
148 1 Mehdi Abaakouk
149 1 Mehdi Abaakouk
soit le chiffrer:
150 1 Mehdi Abaakouk
151 1 Mehdi Abaakouk
<pre>
152 1 Mehdi Abaakouk
$ sudo cryptsetup luksFormat /dev/rbd/sileht-pool/backup
153 1 Mehdi Abaakouk
154 1 Mehdi Abaakouk
WARNING!
155 1 Mehdi Abaakouk
========
156 1 Mehdi Abaakouk
This will overwrite data on /dev/rbd/sileht-pool/backup irrevocably.
157 1 Mehdi Abaakouk
158 1 Mehdi Abaakouk
Are you sure? (Type uppercase yes): YES
159 1 Mehdi Abaakouk
Enter passphrase:
160 1 Mehdi Abaakouk
Verify passphrase:
161 1 Mehdi Abaakouk
</pre>
162 1 Mehdi Abaakouk
163 1 Mehdi Abaakouk
<pre>
164 1 Mehdi Abaakouk
$ cryptsetup luksOpen /dev/rbd/sileht-pool/backup backup1
165 1 Mehdi Abaakouk
$ mkfs.ext4 /dev/mapper/backup1
166 1 Mehdi Abaakouk
$ mount /dev/mapper/backup1 /backup
167 1 Mehdi Abaakouk
</pre>
168 1 Mehdi Abaakouk
169 2 Laurent GUERBY
Attention : ne pas remplir le device de données aleatoires comme suggéré dans les tutoriaux luks cela ferait perdre le provisionning progressif de ceph (utilisation effective uniquement sur les blocks non zero)
170 2 Laurent GUERBY
171 5 Laurent GUERBY
Ajout de la configuration persistante via un keyfile (attention : c'est une clé privée qui permet d'ouvrir le volume cryptfs sans passphrase) :
172 1 Mehdi Abaakouk
173 1 Mehdi Abaakouk
<pre>
174 1 Mehdi Abaakouk
$ dd if=/dev/urandom of=/etc/luks.key bs=1024 count=4
175 1 Mehdi Abaakouk
$ chmod 0400 /etc/luks.key
176 1 Mehdi Abaakouk
$ cryptsetup luksAddKey /dev/rbd/sileht-pool/backup /etc/luks.key
177 1 Mehdi Abaakouk
178 1 Mehdi Abaakouk
$ sudo blkid | grep -e rbd0 -e backup1
179 1 Mehdi Abaakouk
/dev/rbd0: UUID="1a268f70-6f6d-41f7-9216-43ba0bd0750b" TYPE="crypto_LUKS"
180 1 Mehdi Abaakouk
/dev/mapper/backup1: UUID="51db13d9-4ac4-4e47-bb7a-b111994cdefd" TYPE="ext4" 
181 1 Mehdi Abaakouk
182 1 Mehdi Abaakouk
183 1 Mehdi Abaakouk
$ echo "backup1 UUID=1a268f70-6f6d-41f7-9216-43ba0bd0750b /etc/luks.key luks" >> /etc/crypttab 
184 13 Mehdi Abaakouk
$ echo "UUID=51db13d9-4ac4-4e47-bb7a-b111994cdefd  /backup ext4   defaults,noatime,_netdev       0       2" >> /etc/fstab
185 1 Mehdi Abaakouk
</pre>
186 14 Laurent GUERBY
187 14 Laurent GUERBY
Effacement d'une image :
188 14 Laurent GUERBY
189 15 Laurent GUERBY
<pre>
190 14 Laurent GUERBY
# Editer /etc/ceph/rbdmap et enlever la ligne "backup"
191 15 Laurent GUERBY
# service rbdmap restart
192 14 Laurent GUERBY
# rbd --id sileht --pool -pool rm backup
193 15 Laurent GUERBY
</pre>