Projet

Général

Profil

SSD » Historique » Version 2

Mehdi Abaakouk, 04/11/2011 17:35

1 2 Mehdi Abaakouk
2 2 Mehdi Abaakouk
3 2 Mehdi Abaakouk
h1. NBD (Network Block Device)
4 2 Mehdi Abaakouk
5 2 Mehdi Abaakouk
h2. Installation de nbd côté serveur
6 2 Mehdi Abaakouk
7 2 Mehdi Abaakouk
<pre>
8 2 Mehdi Abaakouk
apt-get install nbd-server
9 2 Mehdi Abaakouk
echo '[general]' > /etc/nbd-server/conf
10 2 Mehdi Abaakouk
/etc/init.d/nbd-server restart
11 2 Mehdi Abaakouk
</pre>
12 2 Mehdi Abaakouk
13 2 Mehdi Abaakouk
h2. Configuration d'un nouveau volume réseau
14 2 Mehdi Abaakouk
15 2 Mehdi Abaakouk
h3. Configuration sur le serveur
16 2 Mehdi Abaakouk
17 2 Mehdi Abaakouk
<pre>
18 2 Mehdi Abaakouk
lvcreate -n debug-gnt -L 2G vgssd
19 2 Mehdi Abaakouk
mkfs.ext4 /dev/vgssd/debug-gnt
20 2 Mehdi Abaakouk
# tune2fs -o discard /dev/vgssd/debug-gnt # ne marche pas sur squeeze
21 2 Mehdi Abaakouk
</pre>
22 2 Mehdi Abaakouk
23 2 Mehdi Abaakouk
Le port est par convention pour tetaneutral :
24 2 Mehdi Abaakouk
1 + 3 last ip digit (ie: 1231 pour 91.224.149.231)
25 2 Mehdi Abaakouk
26 2 Mehdi Abaakouk
<pre>
27 2 Mehdi Abaakouk
cat >> /etc/nbd-server/conf <<EOF
28 2 Mehdi Abaakouk
[debug-gnt]
29 2 Mehdi Abaakouk
    exportname = /dev/vgssd/debug-gnt
30 2 Mehdi Abaakouk
    port = 1231
31 2 Mehdi Abaakouk
    authfile = /etc/nbd-server/allow-231
32 2 Mehdi Abaakouk
EOF
33 2 Mehdi Abaakouk
34 2 Mehdi Abaakouk
cat > /etc/nbd-server/allow-231 <<EOF
35 2 Mehdi Abaakouk
91.224.149.231
36 2 Mehdi Abaakouk
EOF
37 2 Mehdi Abaakouk
</pre>
38 2 Mehdi Abaakouk
39 2 Mehdi Abaakouk
h3. Configuration sur le client
40 2 Mehdi Abaakouk
41 2 Mehdi Abaakouk
<pre>
42 2 Mehdi Abaakouk
apt-get install nbd-client
43 2 Mehdi Abaakouk
44 2 Mehdi Abaakouk
cat > /etc/nbd-client <<EOF
45 2 Mehdi Abaakouk
KILLALL="true"
46 2 Mehdi Abaakouk
NBD_DEVICE[0]=/dev/nbd0
47 2 Mehdi Abaakouk
NBD_TYPE[0]=f
48 2 Mehdi Abaakouk
NBD_HOST[0]=ssd1
49 2 Mehdi Abaakouk
NBD_PORT[0]=1231 # < 1 + 3 last ip digit
50 2 Mehdi Abaakouk
NBD_EXTRA[0]=
51 2 Mehdi Abaakouk
EOF
52 2 Mehdi Abaakouk
53 2 Mehdi Abaakouk
mkdir /myssd1
54 2 Mehdi Abaakouk
55 2 Mehdi Abaakouk
cat >> /etc/fstab <<EOF
56 2 Mehdi Abaakouk
/dev/nbd0           /myssd      ext4    defaults,discard,noauto        0       2
57 2 Mehdi Abaakouk
EOF
58 2 Mehdi Abaakouk
59 2 Mehdi Abaakouk
/etc/init.d/nbd-client restart
60 2 Mehdi Abaakouk
mount -a
61 2 Mehdi Abaakouk
</pre>
62 2 Mehdi Abaakouk
63 2 Mehdi Abaakouk
64 2 Mehdi Abaakouk
h1. ISCSI (Internet Small Computer Systems Interface)
65 2 Mehdi Abaakouk
66 2 Mehdi Abaakouk
h2. Installation de iscsi côté server
67 2 Mehdi Abaakouk
68 2 Mehdi Abaakouk
<pre>
69 2 Mehdi Abaakouk
apt-get install tgt
70 2 Mehdi Abaakouk
</pre>
71 2 Mehdi Abaakouk
72 2 Mehdi Abaakouk
dans /etc/rc.local ajouter: 
73 2 Mehdi Abaakouk
74 2 Mehdi Abaakouk
<pre>
75 2 Mehdi Abaakouk
tgtd
76 2 Mehdi Abaakouk
</pre>
77 2 Mehdi Abaakouk
78 2 Mehdi Abaakouk
h2. Configuration d'un nouveau volume réseau
79 2 Mehdi Abaakouk
80 2 Mehdi Abaakouk
h3. Configuration sur le serveur
81 2 Mehdi Abaakouk
82 2 Mehdi Abaakouk
<pre>
83 2 Mehdi Abaakouk
lvcreate -n debug-gnt-2 -L 2G vgssd
84 2 Mehdi Abaakouk
mkfs.ext4 /dev/vgssd/debug-gnt-2
85 2 Mehdi Abaakouk
# tune2fs -o discard /dev/vgssd/debug-gnt-2 # ne marche pas sur squeeze
86 2 Mehdi Abaakouk
</pre>
87 2 Mehdi Abaakouk
88 2 Mehdi Abaakouk
dans /etc/rc.local ajouter: 
89 2 Mehdi Abaakouk
90 2 Mehdi Abaakouk
<pre>
91 2 Mehdi Abaakouk
tgt-setup-lun -n debug-gnt -d /dev/vgssd/debug-gnt-2 91.224.149.231
92 2 Mehdi Abaakouk
</pre>
93 2 Mehdi Abaakouk
94 2 Mehdi Abaakouk
puis on exécute cette même ligne 
95 2 Mehdi Abaakouk
96 2 Mehdi Abaakouk
En iscsi, on peut aussi utiliser des login/password en plus des ip pour les ACL
97 2 Mehdi Abaakouk
98 2 Mehdi Abaakouk
h3. Configuration sur le client
99 2 Mehdi Abaakouk
100 2 Mehdi Abaakouk
<pre>
101 2 Mehdi Abaakouk
apt-get install open-iscsi
102 2 Mehdi Abaakouk
/etc/init.d/open-iscsi start
103 2 Mehdi Abaakouk
iscsi_discovery  91.224.149.251
104 2 Mehdi Abaakouk
105 2 Mehdi Abaakouk
cat >> /etc/fstab <<EOF
106 2 Mehdi Abaakouk
/dev/sda    /myssd2     ext4    discard,noatime,_netdev     0       0
107 2 Mehdi Abaakouk
EOF
108 2 Mehdi Abaakouk
mkdir /myssd2
109 2 Mehdi Abaakouk
/etc/init.d/open-iscsi restart
110 2 Mehdi Abaakouk
</pre>
111 2 Mehdi Abaakouk
112 2 Mehdi Abaakouk
113 2 Mehdi Abaakouk
h1. AoE (ATA over Ethernet)
114 2 Mehdi Abaakouk
115 2 Mehdi Abaakouk
h2. Installation de AoE côté serveur
116 2 Mehdi Abaakouk
117 2 Mehdi Abaakouk
<pre>
118 2 Mehdi Abaakouk
apt-get install vblade vblade-persist
119 2 Mehdi Abaakouk
</pre>
120 2 Mehdi Abaakouk
121 2 Mehdi Abaakouk
h2. Configuration d'un nouveau volume réseau
122 2 Mehdi Abaakouk
123 2 Mehdi Abaakouk
h3. Configuration sur le serveur
124 2 Mehdi Abaakouk
125 2 Mehdi Abaakouk
<pre>
126 2 Mehdi Abaakouk
lvcreate -n debug-gnt-3 -L 2G vgssd
127 2 Mehdi Abaakouk
mkfs.ext4 /dev/vgssd/debug-gnt-3
128 2 Mehdi Abaakouk
# tune2fs -o discard /dev/vgssd/debug-gnt-3 # ne marche pas sur squeeze
129 2 Mehdi Abaakouk
</pre>
130 2 Mehdi Abaakouk
131 2 Mehdi Abaakouk
<pre>
132 2 Mehdi Abaakouk
vblade-persist setup 0 0 eth0 /dev/vgssd/debug-gnt-3
133 2 Mehdi Abaakouk
vblade-persist mac 0 0 add aa:00:00:be:8f:d0 
134 2 Mehdi Abaakouk
vblade-persist auto 0 0 
135 2 Mehdi Abaakouk
vblade-persist restart 0 0
136 2 Mehdi Abaakouk
</pre> 
137 2 Mehdi Abaakouk
138 2 Mehdi Abaakouk
Le 0 0 est un identifiant unique du disque
139 2 Mehdi Abaakouk
Dans AoE les acl s'applique sur les adresses MAC
140 2 Mehdi Abaakouk
141 2 Mehdi Abaakouk
AoE communique sur la couche ethernet comme son nom l'indique
142 2 Mehdi Abaakouk
Il n'est donc pas routable
143 2 Mehdi Abaakouk
144 2 Mehdi Abaakouk
145 2 Mehdi Abaakouk
146 2 Mehdi Abaakouk
h3. Configuration sur le client
147 2 Mehdi Abaakouk
148 2 Mehdi Abaakouk
<pre>
149 2 Mehdi Abaakouk
apt-get install aoe-tools
150 2 Mehdi Abaakouk
</pre>
151 2 Mehdi Abaakouk
152 2 Mehdi Abaakouk
dans /etc/default/aoetools changer INTERFACES comme ceci:
153 2 Mehdi Abaakouk
154 2 Mehdi Abaakouk
<pre>
155 2 Mehdi Abaakouk
INTERFACES="eth0"
156 2 Mehdi Abaakouk
</pre>
157 2 Mehdi Abaakouk
158 2 Mehdi Abaakouk
<pre>
159 2 Mehdi Abaakouk
/etc/init.d/aoetools start
160 2 Mehdi Abaakouk
aoe-discover
161 2 Mehdi Abaakouk
162 2 Mehdi Abaakouk
cat >> /etc/fstab <<EOF
163 2 Mehdi Abaakouk
/dev/etherd/e0.0    /myssd2     ext4    discard,noatime,_netdev     0       0
164 2 Mehdi Abaakouk
EOF
165 2 Mehdi Abaakouk
166 2 Mehdi Abaakouk
mkdir /myssd2
167 2 Mehdi Abaakouk
168 2 Mehdi Abaakouk
/etc/init.d/aoetools restart
169 2 Mehdi Abaakouk
mount -a
170 2 Mehdi Abaakouk
</pre>
171 2 Mehdi Abaakouk
172 2 Mehdi Abaakouk
173 2 Mehdi Abaakouk
h1. Installation d'une machine SSDx
174 2 Mehdi Abaakouk
175 2 Mehdi Abaakouk
h2. Préparation du disque sur h5 et h6
176 2 Mehdi Abaakouk
177 2 Mehdi Abaakouk
<pre>
178 2 Mehdi Abaakouk
root@h5:~# fdisk /dev/sda
179 2 Mehdi Abaakouk
180 2 Mehdi Abaakouk
WARNING: DOS-compatible mode is deprecated. It's strongly recommended to
181 2 Mehdi Abaakouk
         switch off the mode (command 'c') and change display units to
182 2 Mehdi Abaakouk
         sectors (command 'u').
183 2 Mehdi Abaakouk
184 2 Mehdi Abaakouk
Command (m for help): c
185 2 Mehdi Abaakouk
DOS Compatibility flag is not set
186 2 Mehdi Abaakouk
187 2 Mehdi Abaakouk
Command (m for help): p
188 2 Mehdi Abaakouk
189 2 Mehdi Abaakouk
Disk /dev/sda: 40.0 GB, 40020664320 bytes
190 2 Mehdi Abaakouk
255 heads, 63 sectors/track, 4865 cylinders
191 2 Mehdi Abaakouk
Units = cylinders of 16065 * 512 = 8225280 bytes
192 2 Mehdi Abaakouk
Sector size (logical/physical): 512 bytes / 512 bytes
193 2 Mehdi Abaakouk
I/O size (minimum/optimal): 512 bytes / 512 bytes
194 2 Mehdi Abaakouk
Disk identifier: 0x0001def5
195 2 Mehdi Abaakouk
196 2 Mehdi Abaakouk
   Device Boot      Start         End      Blocks   Id  System
197 2 Mehdi Abaakouk
/dev/sda1   *           1        1216     9764864   83  Linux
198 2 Mehdi Abaakouk
/dev/sda2            1216        1703     3906560   82  Linux swap / Solaris
199 2 Mehdi Abaakouk
200 2 Mehdi Abaakouk
Command (m for help): n
201 2 Mehdi Abaakouk
Command action
202 2 Mehdi Abaakouk
   e   extended
203 2 Mehdi Abaakouk
   p   primary partition (1-4)
204 2 Mehdi Abaakouk
p
205 2 Mehdi Abaakouk
Partition number (1-4): 3
206 2 Mehdi Abaakouk
First cylinder (1703-4865, default 1703):
207 2 Mehdi Abaakouk
Using default value 1703
208 2 Mehdi Abaakouk
Last cylinder, +cylinders or +size{K,M,G} (1703-4865, default 4865):
209 2 Mehdi Abaakouk
Using default value 4865
210 2 Mehdi Abaakouk
211 2 Mehdi Abaakouk
Command (m for help): t
212 2 Mehdi Abaakouk
Partition number (1-4): 3
213 2 Mehdi Abaakouk
Hex code (type L to list codes): 8e
214 2 Mehdi Abaakouk
Changed system type of partition 3 to 8e (Linux LVM)
215 2 Mehdi Abaakouk
216 2 Mehdi Abaakouk
Command (m for help): w
217 2 Mehdi Abaakouk
The partition table has been altered!
218 2 Mehdi Abaakouk
</pre>
219 2 Mehdi Abaakouk
220 2 Mehdi Abaakouk
Création du lvm
221 2 Mehdi Abaakouk
222 2 Mehdi Abaakouk
<pre>
223 2 Mehdi Abaakouk
pvcreate /dev/sda3
224 2 Mehdi Abaakouk
vgcreate kvmvgssd /dev/sda3
225 2 Mehdi Abaakouk
</pre>
226 2 Mehdi Abaakouk
227 2 Mehdi Abaakouk
228 2 Mehdi Abaakouk
*Création de la vm, sur le master node (ie: h1):*
229 2 Mehdi Abaakouk
230 2 Mehdi Abaakouk
La taille du disque sera de 24680M: 24680M + 128M (drbd) = 24808M dispo sur le SSD
231 2 Mehdi Abaakouk
232 2 Mehdi Abaakouk
233 2 Mehdi Abaakouk
<pre>
234 2 Mehdi Abaakouk
gnt-instance add -t drbd -B memory=512,vcpus=2 --disk 0:size=24680M,vg=kvmvgssd -n h5:h6 -o debootstrap+default --no-wait-for-sync -H kvm:boot_order=cdrom,cdrom_image_path=/root/debian-6.0.3-amd64-netinst.iso ssd1
235 2 Mehdi Abaakouk
</pre>
236 2 Mehdi Abaakouk
237 2 Mehdi Abaakouk
Ensuite se connecter en vnc pour faire l'installe classic, uniquement SSH server est installé
238 2 Mehdi Abaakouk
Le FS c'est un VG appeler vgssd, puis un lv 'root' de 4G en ext4 avec l'option discard et noatime
239 2 Mehdi Abaakouk
240 2 Mehdi Abaakouk
Pour le vnc, il faut redigiré de la mahine ou tourne la vm (ie: h5 pour ssd1) sur le port retourné par la commande suivante:
241 2 Mehdi Abaakouk
<pre>
242 2 Mehdi Abaakouk
gnt-instance list -o network_port ssd1
243 2 Mehdi Abaakouk
</pre>
244 2 Mehdi Abaakouk
245 2 Mehdi Abaakouk
246 2 Mehdi Abaakouk
*Un fois la vm installé voici la configuration à effectuer:*
247 2 Mehdi Abaakouk
Via un terminal sur la vm (en vnc toujours)
248 2 Mehdi Abaakouk
249 2 Mehdi Abaakouk
<pre>
250 2 Mehdi Abaakouk
cat >> /etc/apt/sources.list <<EOF
251 2 Mehdi Abaakouk
deb http://backports.debian.org/debian-backports squeeze-backports main
252 2 Mehdi Abaakouk
deb-src http://backports.debian.org/debian-backports squeeze-backports main
253 2 Mehdi Abaakouk
EOF
254 2 Mehdi Abaakouk
255 2 Mehdi Abaakouk
sed -i -e 's/^.*Port.*$/Port 2222/' -e 's/^[# ]*PasswordAuthentication.*$/PasswordAuthentication no/' $TARGET/etc/ssh/sshd_configentication.*$/PasswordAuthentication no/' /etc/ssh/sshd_config
256 2 Mehdi Abaakouk
257 2 Mehdi Abaakouk
cat > /etc/resolv.conf <<EOF
258 2 Mehdi Abaakouk
domain tetaneutral.net
259 2 Mehdi Abaakouk
search tetaneutral.net
260 2 Mehdi Abaakouk
nameserver 91.224.149.254
261 2 Mehdi Abaakouk
nameserver 8.8.8.8
262 2 Mehdi Abaakouk
EOF
263 2 Mehdi Abaakouk
264 2 Mehdi Abaakouk
cat >/etc/hosts <<EOF
265 2 Mehdi Abaakouk
127.0.0.1       localhost
266 2 Mehdi Abaakouk
267 2 Mehdi Abaakouk
# The following lines are desirable for IPv6 capable hosts
268 2 Mehdi Abaakouk
::1     ip6-localhost ip6-loopback
269 2 Mehdi Abaakouk
fe00::0 ip6-localnet
270 2 Mehdi Abaakouk
ff00::0 ip6-mcastprefix
271 2 Mehdi Abaakouk
ff02::1 ip6-allnodes
272 2 Mehdi Abaakouk
ff02::2 ip6-allrouters
273 2 Mehdi Abaakouk
274 2 Mehdi Abaakouk
91.224.149.251      ssd1.tetaneutral.net ssd1
275 2 Mehdi Abaakouk
2a01:6600:8081:fb00::1     ssd1.tetaneutral.net ssd1
276 2 Mehdi Abaakouk
EOF
277 2 Mehdi Abaakouk
278 2 Mehdi Abaakouk
279 2 Mehdi Abaakouk
cat > /etc/network/interfaces <<EOF
280 2 Mehdi Abaakouk
# This file describes the network interfaces available on your system
281 2 Mehdi Abaakouk
# and how to activate them. For more information, see interfaces(5).
282 2 Mehdi Abaakouk
283 2 Mehdi Abaakouk
# The loopback network interface
284 2 Mehdi Abaakouk
auto lo
285 2 Mehdi Abaakouk
iface lo inet loopback
286 2 Mehdi Abaakouk
287 2 Mehdi Abaakouk
# The primary network interface
288 2 Mehdi Abaakouk
auto eth0
289 2 Mehdi Abaakouk
iface eth0 inet static
290 2 Mehdi Abaakouk
        address 91.224.149.251
291 2 Mehdi Abaakouk
        netmask 255.255.255.0
292 2 Mehdi Abaakouk
        network 91.224.149.0
293 2 Mehdi Abaakouk
        broadcast 91.224.149.255
294 2 Mehdi Abaakouk
        gateway 91.224.149.254
295 2 Mehdi Abaakouk
296 2 Mehdi Abaakouk
iface eth0 inet6 static
297 2 Mehdi Abaakouk
   address 2a01:6600:8081:fb00::1
298 2 Mehdi Abaakouk
   netmask 56
299 2 Mehdi Abaakouk
   gateway fe80::31
300 2 Mehdi Abaakouk
EOF
301 2 Mehdi Abaakouk
302 2 Mehdi Abaakouk
cat >> /etc/default/grub <<EOF
303 2 Mehdi Abaakouk
GRUB_CMDLINE_LINUX="\$GRUB_CMDLINE_LINUX elevator=noop console=ttyS0,38400"
304 2 Mehdi Abaakouk
GRUB_TERMINAL=console
305 2 Mehdi Abaakouk
EOF
306 2 Mehdi Abaakouk
</pre>
307 2 Mehdi Abaakouk
308 2 Mehdi Abaakouk
# Décommenter cette ligne dans /etc/inittab
309 2 Mehdi Abaakouk
<pre>
310 2 Mehdi Abaakouk
T0:23:respawn:/sbin/getty -L ttyS0 9600 vt100
311 2 Mehdi Abaakouk
</pre>
312 2 Mehdi Abaakouk
313 2 Mehdi Abaakouk
<pre>
314 2 Mehdi Abaakouk
update-grub
315 2 Mehdi Abaakouk
apt-get install -t  squeeze-backports linux-image-2.6.39-bpo.2-amd64
316 2 Mehdi Abaakouk
</pre>
317 2 Mehdi Abaakouk
318 2 Mehdi Abaakouk
h1. Doc initial
319 1 Laurent GUERBY
320 1 Laurent GUERBY
http://dl.sileht.net/public/setupssdvm.txt