Projet

Général

Profil

Ceph-Sharing-Disk » Historique » Version 36

Laurent GUERBY, 17/11/2016 19:48

1 3 Laurent GUERBY
{{>toc}}
2 3 Laurent GUERBY
3 1 Mehdi Abaakouk
h1. Ceph-Sharing-Disk
4 1 Mehdi Abaakouk
5 3 Laurent GUERBY
h2. Objectif
6 3 Laurent GUERBY
7 4 Laurent GUERBY
Un-e adherent-e tetaneutral.net souhaite heberger une machine efficace energetiquement et prenant peu de place comme un NUC/Brix ce qui arrange tetaneutral.net mais limite la partie stockage disque. L'idée est que l'adherent-e achete en plus des disques 3.5 classiques, nous les mettons dans le cluster Ceph/openstack et nous exportons un pool de stockage Ceph a la machine.
8 4 Laurent GUERBY
9 3 Laurent GUERBY
h2. Cluster
10 3 Laurent GUERBY
11 1 Mehdi Abaakouk
Sur le cluster ceph:
12 1 Mehdi Abaakouk
13 22 Laurent GUERBY
http://chiliproject.tetaneutral.net/projects/git-tetaneutral-net/repository/openstack-tools/revisions/master/entry/ceph-create-ext-pool-v2.sh
14 22 Laurent GUERBY
15 22 Laurent GUERBY
<pre>
16 25 Mehdi Abaakouk
# ./ceph-create-ext-pool-v2.sh <pool> <username> <size en giga> 
17 25 Mehdi Abaakouk
./ceph-create-ext-pool-v2.sh ec4p1 sileht 4096 # GB  
18 22 Laurent GUERBY
</pre>
19 22 Laurent GUERBY
20 10 Laurent GUERBY
21 1 Mehdi Abaakouk
22 3 Laurent GUERBY
h2. Client
23 1 Mehdi Abaakouk
24 7 Mehdi Abaakouk
h3. Installation de ceph
25 7 Mehdi Abaakouk
26 29 Mehdi Abaakouk
h4. Debian et Ubuntu
27 7 Mehdi Abaakouk
28 7 Mehdi Abaakouk
<pre>
29 7 Mehdi Abaakouk
apt-get install lsb-release
30 7 Mehdi Abaakouk
wget -q -O- 'https://ceph.com/git/?p=ceph.git;a=blob_plain;f=keys/release.asc' | sudo apt-key add -
31 33 Laurent GUERBY
echo deb http://download.ceph.com/debian-jewel/ $(lsb_release -sc) main | sudo tee /etc/apt/sources.list.d/ceph.list
32 7 Mehdi Abaakouk
apt-get update
33 34 Laurent GUERBY
apt-get install ceph rbd-nbd
34 12 Laurent GUERBY
</pre>
35 12 Laurent GUERBY
36 7 Mehdi Abaakouk
h3. Configuration de ceph
37 12 Laurent GUERBY
38 6 Laurent GUERBY
Sur le client rbd :
39 1 Mehdi Abaakouk
40 1 Mehdi Abaakouk
La machine machine doit être configuré avec une ip sur le vlan 3199, si eth0 n'est pas dans un bridge :
41 16 Laurent GUERBY
42 16 Laurent GUERBY
<pre>
43 17 Laurent GUERBY
ip link add link eth0 name eth0.3199 type vlan id 3199
44 1 Mehdi Abaakouk
ip link set dev eth0.3199 txqueuelen 100
45 16 Laurent GUERBY
ip link set eth0.3199 up
46 16 Laurent GUERBY
ip addr add 192.168.99.XXX/24 dev eth0.3199 # XXX donne par les admin ttnn
47 1 Mehdi Abaakouk
</pre>
48 16 Laurent GUERBY
49 1 Mehdi Abaakouk
pour que la config du VLAN se lance automatiquement au boot, on peut rajouter dans /etc/network/interfaces
50 16 Laurent GUERBY
51 17 Laurent GUERBY
<pre>
52 16 Laurent GUERBY
# Vlan pour ceph
53 21 bikepunk bikepunk
auto eth0.3199
54 21 bikepunk bikepunk
iface eth0.3199 inet manual
55 21 bikepunk bikepunk
    up ip link set dev eth0.3199 txqueuelen 100
56 1 Mehdi Abaakouk
    up ip link set eth0.3199 up
57 1 Mehdi Abaakouk
    up ip addr add 192.168.99.222/24 dev eth0.3199
58 21 bikepunk bikepunk
</pre>
59 21 bikepunk bikepunk
60 21 bikepunk bikepunk
Le membre récupére son  keyring (ceph.client.sileht.keyring ici) et le copie dans /etc/ceph/
61 1 Mehdi Abaakouk
62 16 Laurent GUERBY
63 1 Mehdi Abaakouk
<pre>
64 1 Mehdi Abaakouk
# cat /etc/ceph/ceph.client.sileht.keyring
65 1 Mehdi Abaakouk
[client.sileht]
66 5 Laurent GUERBY
	key = xxxxxxxxxyyyy==
67 1 Mehdi Abaakouk
</pre>
68 1 Mehdi Abaakouk
69 19 Laurent GUERBY
Il peut ensuite créer le fichier /etc/ceph/ceph.conf
70 19 Laurent GUERBY
71 19 Laurent GUERBY
<pre>
72 19 Laurent GUERBY
[global]
73 19 Laurent GUERBY
fsid = 1fe74663-8dfa-486c-bb80-3bd94c90c967
74 19 Laurent GUERBY
auth_supported = cephx
75 19 Laurent GUERBY
auth_cluster_required = cephx
76 19 Laurent GUERBY
auth_service_required = cephx
77 19 Laurent GUERBY
auth_client_required = cephx
78 1 Mehdi Abaakouk
mon_host = 192.168.99.251,192.168.99.252,192.168.99.253
79 1 Mehdi Abaakouk
80 1 Mehdi Abaakouk
[client.sileht]
81 1 Mehdi Abaakouk
keyring = /etc/ceph/ceph.client.sileht.keyring
82 1 Mehdi Abaakouk
</pre>
83 1 Mehdi Abaakouk
84 36 Laurent GUERBY
Si c'est une migration commenter toutes les lignes dans /etc/ceph/rbdmap
85 36 Laurent GUERBY
86 31 Mehdi Abaakouk
On configure le mapping automatique du volume rbd :
87 1 Mehdi Abaakouk
88 1 Mehdi Abaakouk
<pre>
89 31 Mehdi Abaakouk
rbd-nbd map --id sileht disks/sileht-vol
90 1 Mehdi Abaakouk
</pre>
91 24 Mehdi Abaakouk
92 1 Mehdi Abaakouk
le disque est prêt, on peut soit le formater directement :
93 1 Mehdi Abaakouk
94 1 Mehdi Abaakouk
<pre>
95 31 Mehdi Abaakouk
$ mkfs.ext4 /dev/nbd0
96 31 Mehdi Abaakouk
$ echo /dev/nbd0  /backup ext4   defaults,discard,noatime,_netdev       0       2" >> /etc/fstab
97 24 Mehdi Abaakouk
$ mount /backup
98 26 Mehdi Abaakouk
</pre>
99 1 Mehdi Abaakouk
100 11 Laurent GUERBY
soit le chiffrer:
101 11 Laurent GUERBY
102 1 Mehdi Abaakouk
<pre>
103 31 Mehdi Abaakouk
$ sudo cryptsetup luksFormat /dev/nbd0
104 24 Mehdi Abaakouk
105 1 Mehdi Abaakouk
WARNING!
106 1 Mehdi Abaakouk
========
107 31 Mehdi Abaakouk
This will overwrite data on /dev/nbd0 irrevocably.
108 24 Mehdi Abaakouk
109 1 Mehdi Abaakouk
Are you sure? (Type uppercase yes): YES
110 5 Laurent GUERBY
Enter passphrase:
111 1 Mehdi Abaakouk
Verify passphrase:
112 1 Mehdi Abaakouk
</pre>
113 1 Mehdi Abaakouk
114 1 Mehdi Abaakouk
<pre>
115 35 Laurent GUERBY
$ cryptsetup luksOpen /dev/nbd0 backup1 --allow-discards
116 24 Mehdi Abaakouk
$ mkfs.ext4 /dev/mapper/backup1
117 1 Mehdi Abaakouk
$ mount /dev/mapper/backup1 /backup
118 5 Laurent GUERBY
</pre>
119 1 Mehdi Abaakouk
120 1 Mehdi Abaakouk
Attention : ne pas remplir le device de données aleatoires comme suggéré dans les tutoriaux luks cela ferait perdre le provisionning progressif de ceph (utilisation effective uniquement sur les blocks non zero)
121 1 Mehdi Abaakouk
122 1 Mehdi Abaakouk
Ajout de la configuration persistante via un keyfile (attention : c'est une clé privée qui permet d'ouvrir le volume cryptfs sans passphrase) :
123 1 Mehdi Abaakouk
124 1 Mehdi Abaakouk
<pre>
125 1 Mehdi Abaakouk
$ dd if=/dev/urandom of=/etc/luks.key bs=1024 count=4
126 1 Mehdi Abaakouk
$ chmod 0400 /etc/luks.key
127 31 Mehdi Abaakouk
$ cryptsetup luksAddKey /dev/nbd0 /etc/luks.key
128 26 Mehdi Abaakouk
129 1 Mehdi Abaakouk
$ sudo blkid | grep -e rbd0 -e backup1
130 1 Mehdi Abaakouk
/dev/rbd0: UUID="1a268f70-6f6d-41f7-9216-43ba0bd0750b" TYPE="crypto_LUKS"
131 1 Mehdi Abaakouk
/dev/mapper/backup1: UUID="51db13d9-4ac4-4e47-bb7a-b111994cdefd" TYPE="ext4" 
132 1 Mehdi Abaakouk
133 1 Mehdi Abaakouk
134 24 Mehdi Abaakouk
$ echo "backup1 UUID=1a268f70-6f6d-41f7-9216-43ba0bd0750b /etc/luks.key luks,discard" >> /etc/crypttab 
135 2 Laurent GUERBY
$ echo "UUID=51db13d9-4ac4-4e47-bb7a-b111994cdefd  /backup ext4   defaults,discard,noatime,_netdev       0       2" >> /etc/fstab
136 2 Laurent GUERBY
</pre>
137 24 Mehdi Abaakouk
138 24 Mehdi Abaakouk
h2. Vieille methode
139 24 Mehdi Abaakouk
140 24 Mehdi Abaakouk
Création de l'utilisateur et du pool ceph pour cet utilisateur
141 24 Mehdi Abaakouk
142 24 Mehdi Abaakouk
http://chiliproject.tetaneutral.net/projects/git-tetaneutral-net/repository/openstack-tools/revisions/master/entry/ceph-create-ext-pool.sh
143 24 Mehdi Abaakouk
144 24 Mehdi Abaakouk
<pre>
145 24 Mehdi Abaakouk
# # ./ceph-create-ext-pool.sh <username> <size en giga> 
146 24 Mehdi Abaakouk
# ./ceph-create-ext-pool.sh sileht 100  
147 24 Mehdi Abaakouk
creating ceph.client.sileht.keyring
148 24 Mehdi Abaakouk
imported keyring
149 24 Mehdi Abaakouk
pool 'sileht-pool' created
150 24 Mehdi Abaakouk
set pool 70 size to 2
151 24 Mehdi Abaakouk
set pool 70 min_size to 2
152 24 Mehdi Abaakouk
set-quota max_bytes = 107374182400 for pool sileht-pool
153 24 Mehdi Abaakouk
# cat ceph.client.sileht.keyring 
154 24 Mehdi Abaakouk
...
155 24 Mehdi Abaakouk
# ceph auth get client.sileht
156 24 Mehdi Abaakouk
... (identical to file)
157 24 Mehdi Abaakouk
</pre>
158 24 Mehdi Abaakouk
159 24 Mehdi Abaakouk
Le fichier important pour le client est ./ceph.client.sileht.keyring