Projet

Général

Profil

Management Cluster Ceph » Historique » Version 47

Fabien ADAM, 19/09/2020 21:09
exemples

1 10 Mehdi Abaakouk
{{>toc}}
2 1 Mehdi Abaakouk
3 10 Mehdi Abaakouk
h1. Management Cluster Ceph
4 9 Mehdi Abaakouk
5 8 Mehdi Abaakouk
h2. Liens
6 8 Mehdi Abaakouk
7 45 Mehdi Abaakouk
* [[Cluster with libvirt]]
8 44 Mehdi Abaakouk
* [[HOWTO add a VM]]
9 44 Mehdi Abaakouk
* [[Management_Cluster_Ceph]]
10 44 Mehdi Abaakouk
* [[Ceph]]
11 8 Mehdi Abaakouk
* [[Ceph-Sharing-Disk]]
12 46 Mehdi Abaakouk
* [[Openstack Management TTNN]] (obsolete)
13 44 Mehdi Abaakouk
* [[Openstack Setup VM pas dans openstack]] (obsolete)
14 44 Mehdi Abaakouk
* [[Openstack Installation TTNN]] (obsolete)
15 44 Mehdi Abaakouk
* [[Openstack Installation nouvelle node du cluster]] (obsolete)
16 44 Mehdi Abaakouk
* "Openstack tools for ttnn":/projects/git-tetaneutral-net/repository/openstack-tools
17 8 Mehdi Abaakouk
18 2 Mehdi Abaakouk
h2. Ajout d'un OSD classique
19 2 Mehdi Abaakouk
20 20 Mehdi Abaakouk
21 20 Mehdi Abaakouk
22 20 Mehdi Abaakouk
<pre>
23 1 Mehdi Abaakouk
$ ceph-disk prepare --zap-disk --cluster-uuid 1fe74663-8dfa-486c-bb80-3bd94c90c967 --fs-type=ext4 /dev/sdX
24 34 Laurent GUERBY
$ tune2fs -c 0 -i 0 -m 0 /dev/sdX1
25 1 Mehdi Abaakouk
$ smartctl --smart=on /dev/sdX  # Pour le monitoring.
26 1 Mehdi Abaakouk
</pre>
27 1 Mehdi Abaakouk
28 1 Mehdi Abaakouk
Récuperer l'id avec (c'est celui tout en bas pas accroché à l'arbre):
29 1 Mehdi Abaakouk
30 1 Mehdi Abaakouk
<pre>
31 1 Mehdi Abaakouk
ceph osd tree
32 1 Mehdi Abaakouk
</pre>
33 1 Mehdi Abaakouk
34 26 Mehdi Abaakouk
*DEBUT WORKAROUND BUG PREPARE*
35 26 Mehdi Abaakouk
36 26 Mehdi Abaakouk
Dans le cas ou l'osd est DOWN après le prepare c'est surement ce bug
37 26 Mehdi Abaakouk
38 26 Mehdi Abaakouk
ID est le premier numero libre d'osd en partant de zero (en bas du ceph osd tree)
39 26 Mehdi Abaakouk
40 26 Mehdi Abaakouk
<pre>
41 26 Mehdi Abaakouk
mkdir /var/lib/ceph/osd/ceph-<ID>
42 26 Mehdi Abaakouk
chown ceph:ceph /var/lib/ceph/osd/ceph-<ID>
43 26 Mehdi Abaakouk
ceph-disk activate /dev/sd<X>1
44 26 Mehdi Abaakouk
systemctl status ceph-osd@<ID>
45 26 Mehdi Abaakouk
</pre>
46 26 Mehdi Abaakouk
47 26 Mehdi Abaakouk
*FIN WORKAROUND BUG PREPARE*
48 26 Mehdi Abaakouk
49 17 Mehdi Abaakouk
Pour un HDD: 
50 2 Mehdi Abaakouk
<pre>
51 2 Mehdi Abaakouk
$ ceph osd crush add osd.<ID> 0 root=default host=<host>
52 1 Mehdi Abaakouk
</pre>
53 2 Mehdi Abaakouk
54 17 Mehdi Abaakouk
Pour un SSD:
55 2 Mehdi Abaakouk
<pre>
56 2 Mehdi Abaakouk
$ ceph osd crush add osd.<ID> 0 root=ssd host=<host>-ssd
57 2 Mehdi Abaakouk
</pre>
58 2 Mehdi Abaakouk
59 42 Mehdi Abaakouk
Ensuite, autoriser Ceph à mettre des data dessus WEIGHT == 1 par 1To (ie: 4To -> 4)
60 2 Mehdi Abaakouk
61 2 Mehdi Abaakouk
<pre>
62 42 Mehdi Abaakouk
$ ceph osd crush reweight osd.<ID> <WEIGHT>
63 19 Mehdi Abaakouk
</pre>
64 19 Mehdi Abaakouk
65 35 Mehdi Abaakouk
h3. helper
66 35 Mehdi Abaakouk
67 36 Mehdi Abaakouk
<pre>
68 35 Mehdi Abaakouk
add_osd(){
69 35 Mehdi Abaakouk
  dev="$1"
70 35 Mehdi Abaakouk
  type="$2"
71 35 Mehdi Abaakouk
  host=$(hostname -s)
72 35 Mehdi Abaakouk
  [ "$type" == "ssd" ] && host="${host}-ssd"
73 39 Mehdi Abaakouk
74 39 Mehdi Abaakouk
  found=0 ; next=-1 ; for i in $(ceph osd ls); do next=$((next+1)) ; [ $(($i - $next)) -gt 0 ] && found=1 && break; done ; [ $found -eq 0 ] && next=$((next+1))
75 39 Mehdi Abaakouk
76 35 Mehdi Abaakouk
  mkdir /var/lib/ceph/osd/ceph-$next
77 35 Mehdi Abaakouk
  chown ceph:ceph /var/lib/ceph/osd/ceph-$next
78 35 Mehdi Abaakouk
79 41 Mehdi Abaakouk
  ceph-disk prepare --zap-disk --cluster-uuid 1fe74663-8dfa-486c-bb80-3bd94c90c967 --fs-type=ext4 $dev
80 37 Mehdi Abaakouk
  tune2fs -c 0 -i 0 -m 0 ${dev}1
81 1 Mehdi Abaakouk
  smartctl --smart=on $dev
82 37 Mehdi Abaakouk
83 37 Mehdi Abaakouk
  systemctl start ceph-osd@$next
84 35 Mehdi Abaakouk
  systemctl status ceph-osd@$next
85 35 Mehdi Abaakouk
86 38 Mehdi Abaakouk
  sleep 1
87 35 Mehdi Abaakouk
  ceph osd crush add osd.$next 0 root=${type} host=${host}
88 35 Mehdi Abaakouk
}
89 36 Mehdi Abaakouk
</pre>
90 35 Mehdi Abaakouk
91 47 Fabien ADAM
Exemple: @add_osd /dev/sdb default@ pour un HDD
92 47 Fabien ADAM
93 19 Mehdi Abaakouk
h2. Vider un OSD:
94 19 Mehdi Abaakouk
95 1 Mehdi Abaakouk
<pre>
96 35 Mehdi Abaakouk
vider_osd(){
97 19 Mehdi Abaakouk
  name="$1"
98 19 Mehdi Abaakouk
  ceph osd out ${name}
99 19 Mehdi Abaakouk
  ceph osd crush reweight ${name} 0
100 19 Mehdi Abaakouk
  ceph osd reweight ${name} 0
101 19 Mehdi Abaakouk
}
102 19 Mehdi Abaakouk
</pre>
103 19 Mehdi Abaakouk
104 19 Mehdi Abaakouk
h2. Suppression d'un OSD:
105 19 Mehdi Abaakouk
106 19 Mehdi Abaakouk
<pre>
107 19 Mehdi Abaakouk
remove_osd(){
108 19 Mehdi Abaakouk
 name="$1" 
109 19 Mehdi Abaakouk
 ceph osd out ${name}
110 19 Mehdi Abaakouk
 systemctl stop ceph-osd@${name#osd.}
111 19 Mehdi Abaakouk
 ceph osd crush remove ${name}
112 19 Mehdi Abaakouk
 ceph auth del ${name}
113 19 Mehdi Abaakouk
 ceph osd rm ${name}
114 19 Mehdi Abaakouk
 ceph osd tree
115 19 Mehdi Abaakouk
}
116 19 Mehdi Abaakouk
</pre>
117 47 Fabien ADAM
118 47 Fabien ADAM
Exemple : @remove_osd osd.21@
119 19 Mehdi Abaakouk
120 19 Mehdi Abaakouk
h2. Arrêter les IO de recovery:
121 19 Mehdi Abaakouk
122 19 Mehdi Abaakouk
<pre>
123 19 Mehdi Abaakouk
ceph osd set nobackfill 
124 19 Mehdi Abaakouk
ceph osd set norebalance
125 19 Mehdi Abaakouk
ceph osd set norecover
126 19 Mehdi Abaakouk
</pre>
127 19 Mehdi Abaakouk
128 23 Mehdi Abaakouk
h2. Procédure d'upgrade
129 23 Mehdi Abaakouk
130 23 Mehdi Abaakouk
+
131 23 Mehdi Abaakouk
_*/!\Lire la release note (contient très très souvent des trucs à faire en plus) /!\*_+
132 23 Mehdi Abaakouk
133 23 Mehdi Abaakouk
134 23 Mehdi Abaakouk
h4. Upgrade des MONs:
135 23 Mehdi Abaakouk
136 23 Mehdi Abaakouk
Mettre le flags noout:
137 23 Mehdi Abaakouk
138 23 Mehdi Abaakouk
<pre>ceph osd set noout</pre>
139 23 Mehdi Abaakouk
140 23 Mehdi Abaakouk
Sur chaque MONs (g1/g2/g3)
141 23 Mehdi Abaakouk
<pre>
142 23 Mehdi Abaakouk
apt-get upgrade -y
143 23 Mehdi Abaakouk
systemctl restart ceph-mon@g*
144 23 Mehdi Abaakouk
ceph -s
145 23 Mehdi Abaakouk
</pre>
146 23 Mehdi Abaakouk
147 23 Mehdi Abaakouk
Note que seulement le node 'leader/master' va provoquer une micro/nano coupure, souvent c'est même invisible.
148 23 Mehdi Abaakouk
149 23 Mehdi Abaakouk
h4. Upgrade des OSDs:
150 23 Mehdi Abaakouk
151 23 Mehdi Abaakouk
Pour chaque machine
152 23 Mehdi Abaakouk
<pre>
153 23 Mehdi Abaakouk
apt-get upgrade -y
154 23 Mehdi Abaakouk
systemctl restart ceph-osd@*
155 23 Mehdi Abaakouk
</pre>
156 23 Mehdi Abaakouk
157 23 Mehdi Abaakouk
Puis attendre que le recovery termine avant de faire la suivante.
158 23 Mehdi Abaakouk
159 23 Mehdi Abaakouk
Une fois toutes les OSDs upgrader et relancer, faire:
160 23 Mehdi Abaakouk
161 23 Mehdi Abaakouk
<pre>ceph osd unset noout</pre>
162 23 Mehdi Abaakouk
163 19 Mehdi Abaakouk
h2. Remplacement à froid d'un tier cache:
164 19 Mehdi Abaakouk
165 19 Mehdi Abaakouk
upstream  doc: http://docs.ceph.com/docs/master/rados/operations/cache-tiering/
166 19 Mehdi Abaakouk
167 19 Mehdi Abaakouk
<pre>
168 19 Mehdi Abaakouk
ceph osd tier cache-mode ec8p2c forward
169 19 Mehdi Abaakouk
rados -p ec8p2c cache-flush-evict-all
170 19 Mehdi Abaakouk
ceph osd tier remove-overlay ec8p2
171 19 Mehdi Abaakouk
ceph osd tier remove ec8p2 ec8p2c
172 19 Mehdi Abaakouk
173 19 Mehdi Abaakouk
rados rmpool ec8p2c ec8p2c  --yes-i-really-really-mean-ita
174 19 Mehdi Abaakouk
ceph osd pool create ec8p2c 128 128 replicated
175 19 Mehdi Abaakouk
176 19 Mehdi Abaakouk
ceph osd tier add ec8p2 ec8p2c
177 19 Mehdi Abaakouk
ceph osd tier cache-mode ec8p2c writeback
178 19 Mehdi Abaakouk
ceph osd tier set-overlay ec8p2 ec8p2c
179 19 Mehdi Abaakouk
180 19 Mehdi Abaakouk
ceph osd pool set ec8p2c size 3
181 19 Mehdi Abaakouk
ceph osd pool set ec8p2c min_size 2
182 19 Mehdi Abaakouk
ceph osd pool set ec8p2c hit_set_type bloom
183 19 Mehdi Abaakouk
184 19 Mehdi Abaakouk
ceph osd pool set ec8p2c hit_set_count 1
185 19 Mehdi Abaakouk
ceph osd pool set ec8p2c hit_set_period 3600
186 19 Mehdi Abaakouk
ceph osd pool set ec8p2c target_max_bytes 200000000000
187 19 Mehdi Abaakouk
ceph osd pool set ec8p2c target_max_objects 10000000
188 19 Mehdi Abaakouk
ceph osd pool set ec8p2c cache_target_dirty_ratio 0.4
189 19 Mehdi Abaakouk
ceph osd pool set ec8p2c cache_target_full_ratio 0.8
190 19 Mehdi Abaakouk
</pre>
191 19 Mehdi Abaakouk
192 16 Mehdi Abaakouk
h2. Ajout d'un OSD qui partage le SSD avec l'OS (OBSOLETE PLUS COMPATIBLE AVEC LES FUTURES VERSION DE CEPH)
193 2 Mehdi Abaakouk
194 2 Mehdi Abaakouk
195 2 Mehdi Abaakouk
En général avec ceph, on donne un disque, ceph créé 2 partitions une pour le journal de l'OSD, l'autre pour les datas
196 2 Mehdi Abaakouk
mais pour le SSD de tetaneutral qui a aussi l'OS, voici la méthode
197 2 Mehdi Abaakouk
198 2 Mehdi Abaakouk
Création manuelle de la partition de data ceph /dev/sda2 ici
199 7 Mehdi Abaakouk
200 7 Mehdi Abaakouk
Debian (MBR format):
201 2 Mehdi Abaakouk
<pre>
202 5 Mehdi Abaakouk
apt-get install partprobe
203 5 Mehdi Abaakouk
fdisk /dev/sda
204 5 Mehdi Abaakouk
205 2 Mehdi Abaakouk
n
206 14 Mehdi Abaakouk
p
207 14 Mehdi Abaakouk
<enter>
208 14 Mehdi Abaakouk
<enter>
209 14 Mehdi Abaakouk
<enter>
210 14 Mehdi Abaakouk
<enter>
211 14 Mehdi Abaakouk
w
212 14 Mehdi Abaakouk
213 14 Mehdi Abaakouk
$ partprobe
214 14 Mehdi Abaakouk
</pre>
215 14 Mehdi Abaakouk
216 14 Mehdi Abaakouk
Ubuntu (GPT format):
217 2 Mehdi Abaakouk
<pre>
218 2 Mehdi Abaakouk
# parted /dev/sdb
219 2 Mehdi Abaakouk
GNU Parted 2.3
220 13 Mehdi Abaakouk
Using /dev/sdb
221 13 Mehdi Abaakouk
Welcome to GNU Parted! Type 'help' to view a list of commands.
222 13 Mehdi Abaakouk
(parted) print                                                            
223 18 Mehdi Abaakouk
Model: ATA SAMSUNG MZ7KM480 (scsi)
224 13 Mehdi Abaakouk
Disk /dev/sdb: 480GB
225 13 Mehdi Abaakouk
Sector size (logical/physical): 512B/512B
226 13 Mehdi Abaakouk
Partition Table: msdos
227 13 Mehdi Abaakouk
228 13 Mehdi Abaakouk
Number  Start   End     Size    Type     File system     Flags
229 2 Mehdi Abaakouk
 1      1049kB  20.0GB  20.0GB  primary  ext4            boot
230 2 Mehdi Abaakouk
 2      20.0GB  36.0GB  16.0GB  primary  linux-swap(v1)
231 15 Mehdi Abaakouk
232 15 Mehdi Abaakouk
(parted) mkpart                                                           
233 15 Mehdi Abaakouk
Partition type?  primary/extended?                                        
234 15 Mehdi Abaakouk
Partition type?  primary/extended? primary
235 15 Mehdi Abaakouk
File system type?  [ext2]? xfs                                            
236 15 Mehdi Abaakouk
Start?                                                                    
237 15 Mehdi Abaakouk
Start? 36.0GB                                                             
238 15 Mehdi Abaakouk
End? 100%                                                                 
239 1 Mehdi Abaakouk
(parted) print                                                            
240 1 Mehdi Abaakouk
Model: ATA SAMSUNG MZ7KM480 (scsi)
241 1 Mehdi Abaakouk
Disk /dev/sdb: 480GB
242 1 Mehdi Abaakouk
Sector size (logical/physical): 512B/512B
243 1 Mehdi Abaakouk
Partition Table: msdos
244 1 Mehdi Abaakouk
245 1 Mehdi Abaakouk
Number  Start   End     Size    Type     File system     Flags
246 1 Mehdi Abaakouk
 1      1049kB  20.0GB  20.0GB  primary  ext4            boot
247 1 Mehdi Abaakouk
 2      20.0GB  36.0GB  16.0GB  primary  linux-swap(v1)
248 1 Mehdi Abaakouk
 3      36.0GB  480GB   444GB   primary
249 1 Mehdi Abaakouk
250 1 Mehdi Abaakouk
(parted) quit                                                             
251 1 Mehdi Abaakouk
Information: You may need to update /etc/fstab.
252 1 Mehdi Abaakouk
</pre>
253 1 Mehdi Abaakouk
254 1 Mehdi Abaakouk
On prepare le disk comme normalement
255 1 Mehdi Abaakouk
256 1 Mehdi Abaakouk
<pre>
257 1 Mehdi Abaakouk
ceph-disk prepare --fs-type=ext4 --cluster-uuid 1fe74663-8dfa-486c-bb80-3bd94c90c967 /dev/sda2
258 1 Mehdi Abaakouk
ceph-disk activate /dev/sda2
259 1 Mehdi Abaakouk
ceph osd crush add osd.<ID> 0 root=ssd host=g3-ssd
260 1 Mehdi Abaakouk
</pre>
261 1 Mehdi Abaakouk
262 1 Mehdi Abaakouk
Ensuite, autoriser Ceph à mettre des data dessus:
263 1 Mehdi Abaakouk
264 1 Mehdi Abaakouk
<pre>
265 1 Mehdi Abaakouk
$ /root/tools/ceph-reweight-osds.sh osd.<ID>
266 1 Mehdi Abaakouk
</pre>
267 28 Laurent GUERBY
268 28 Laurent GUERBY
h2. inconsistent pg
269 28 Laurent GUERBY
270 32 Laurent GUERBY
* Analyse d'une erreur de coherence detectee par ceph
271 32 Laurent GUERBY
** https://lists.tetaneutral.net/pipermail/technique/2017-August/002859.html
272 32 Laurent GUERBY
273 28 Laurent GUERBY
<pre>
274 28 Laurent GUERBY
root@g1:~# ceph health detail
275 28 Laurent GUERBY
HEALTH_ERR 1 pgs inconsistent; 2 scrub errors
276 28 Laurent GUERBY
pg 58.22d is active+clean+inconsistent, acting [9,47,37]
277 28 Laurent GUERBY
2 scrub errors
278 28 Laurent GUERBY
root@g1:~# rados list-inconsistent-obj 58.22d  --format=json-pretty
279 28 Laurent GUERBY
{
280 28 Laurent GUERBY
    "epoch": 269000,
281 28 Laurent GUERBY
    "inconsistents": [
282 28 Laurent GUERBY
        {
283 28 Laurent GUERBY
            "object": {
284 28 Laurent GUERBY
                "name": "rbd_data.11f20f75aac8266.00000000000f79f9",
285 28 Laurent GUERBY
                "nspace": "",
286 28 Laurent GUERBY
                "locator": "",
287 28 Laurent GUERBY
                "snap": "head",
288 28 Laurent GUERBY
                "version": 9894452
289 28 Laurent GUERBY
            },
290 28 Laurent GUERBY
            "errors": [
291 28 Laurent GUERBY
                "data_digest_mismatch"
292 28 Laurent GUERBY
            ],
293 28 Laurent GUERBY
            "union_shard_errors": [
294 28 Laurent GUERBY
                "data_digest_mismatch_oi"
295 28 Laurent GUERBY
            ],
296 31 Laurent GUERBY
            "selected_object_info": 
297 31 Laurent GUERBY
"58:b453643a:::rbd_data.11f20f75aac8266.00000000000f79f9:head(261163'9281748 osd.9.0:6221608 dirty|data_digest|omap_digest s 4194304 uv 9894452 dd 2193d055 od ffffffff alloc_hint [0 0])",
298 28 Laurent GUERBY
            "shards": [
299 28 Laurent GUERBY
                {
300 28 Laurent GUERBY
                    "osd": 9,
301 28 Laurent GUERBY
                    "errors": [],
302 28 Laurent GUERBY
                    "size": 4194304,
303 28 Laurent GUERBY
                    "omap_digest": "0xffffffff",
304 28 Laurent GUERBY
                    "data_digest": "0x2193d055"
305 28 Laurent GUERBY
                },
306 28 Laurent GUERBY
                {
307 28 Laurent GUERBY
                    "osd": 37,
308 28 Laurent GUERBY
                    "errors": [
309 28 Laurent GUERBY
                        "data_digest_mismatch_oi"
310 28 Laurent GUERBY
                    ],
311 28 Laurent GUERBY
                    "size": 4194304,
312 28 Laurent GUERBY
                    "omap_digest": "0xffffffff",
313 28 Laurent GUERBY
                    "data_digest": "0x05891fb4"
314 28 Laurent GUERBY
                },
315 28 Laurent GUERBY
                {
316 28 Laurent GUERBY
                    "osd": 47,
317 28 Laurent GUERBY
                    "errors": [],
318 28 Laurent GUERBY
                    "size": 4194304,
319 28 Laurent GUERBY
                    "omap_digest": "0xffffffff",
320 28 Laurent GUERBY
                    "data_digest": "0x2193d055"
321 28 Laurent GUERBY
                }
322 28 Laurent GUERBY
            ]
323 28 Laurent GUERBY
        }
324 28 Laurent GUERBY
    ]
325 28 Laurent GUERBY
}
326 29 Laurent GUERBY
root@g1:~# ceph osd map disks rbd_data.11f20f75aac8266.00000000000f79f9
327 29 Laurent GUERBY
osdmap e269110 pool 'disks' (58) object 'rbd_data.11f20f75aac8266.00000000000f79f9' -> pg 58.5c26ca2d (58.22d) -> up ([9,47,37], p9) acting ([9,47,37], p9)
328 29 Laurent GUERBY
329 30 Laurent GUERBY
330 30 Laurent GUERBY
root@g8:/var/lib/ceph/osd/ceph-9/current/58.22d_head# find . -name '*11f20f75aac8266.00000000000f79f9*'
331 30 Laurent GUERBY
./DIR_D/DIR_2/DIR_A/DIR_C/rbd\udata.11f20f75aac8266.00000000000f79f9__head_5C26CA2D__3a
332 30 Laurent GUERBY
333 30 Laurent GUERBY
root@g10:/var/lib/ceph/osd/ceph-37/current/58.22d_head# find . -name '*11f20f75aac8266.00000000000f79f9*'
334 30 Laurent GUERBY
./DIR_D/DIR_2/DIR_A/DIR_C/rbd\udata.11f20f75aac8266.00000000000f79f9__head_5C26CA2D__3a
335 30 Laurent GUERBY
336 30 Laurent GUERBY
$ scp g8:/var/lib/ceph/osd/ceph-9/current/58.22d_head/DIR_D/DIR_2/DIR_A/DIR_C/rbd*data.11f20f75aac8266.00000000000f79f9__head_5C26CA2D__3a g8data
337 30 Laurent GUERBY
$ scp g10:/var/lib/ceph/osd/ceph-37/current/58.22d_head/DIR_D/DIR_2/DIR_A/DIR_C/rbd*data.11f20f75aac8266.00000000000f79f9__head_5C26CA2D__3a g10data
338 30 Laurent GUERBY
339 30 Laurent GUERBY
$ md5sum *
340 30 Laurent GUERBY
bd85c0ef1f30829ce07e5f9152ac2d2f  g10data
341 30 Laurent GUERBY
4297d0bc373e6603e0ad842702e0ecaa  g8data
342 30 Laurent GUERBY
$ $ diff -u <(od -x g10data) <(od -x g8data)
343 30 Laurent GUERBY
--- /dev/fd/63	2017-08-13 10:43:52.837097740 +0200
344 30 Laurent GUERBY
+++ /dev/fd/62	2017-08-13 10:43:52.833097808 +0200
345 30 Laurent GUERBY
@@ -2617,7 +2617,7 @@
346 30 Laurent GUERBY
 0121600 439b 14f4 bb4c 5f14 6ff7 4393 9ff8 a9a9
347 30 Laurent GUERBY
 0121620 29a8 56a4 1133 b6a8 2206 4821 2f42 4b2c
348 30 Laurent GUERBY
 0121640 3d86 41a2 785f 9785 8b48 4243 e7b9 f0aa
349 30 Laurent GUERBY
-0121660 29b6 be0c 0455 bf97 1c0d 49e5 75dd e1ed
350 30 Laurent GUERBY
+0121660 29a6 be0c 0455 bf97 1c0d 49e5 75dd e1ed
351 30 Laurent GUERBY
 0121700 2519 d6ac 1047 1111 0344 38be 27a1 db07
352 30 Laurent GUERBY
 0121720 dff6 c002 75d8 4396 6154 eba9 3abd 5d20
353 30 Laurent GUERBY
 0121740 8ae4 e63a 298b d754 0208 9705 1bb8 3685
354 30 Laurent GUERBY
</pre>
355 30 Laurent GUERBY
356 30 Laurent GUERBY
Donc un seul bit flip 29b6 vs 29a6  
357 30 Laurent GUERBY
358 30 Laurent GUERBY
<pre>
359 30 Laurent GUERBY
>>> bin(0xa)
360 30 Laurent GUERBY
'0b1010'
361 30 Laurent GUERBY
>>> bin(0xb)
362 30 Laurent GUERBY
'0b1011'
363 28 Laurent GUERBY
</pre>
364 29 Laurent GUERBY
365 29 Laurent GUERBY
* http://cephnotes.ksperis.com/blog/2013/08/20/ceph-osd-where-is-my-data
366 33 Laurent GUERBY
* https://superuser.com/questions/969889/what-is-the-granularity-of-a-hard-disk-ure-unrecoverable-read-error