{{toc}}

h1. Ajout Cluster Ceph

Copié depuis https://pad.tetaneutral.net/p/cluster-new-host

h2. sur la machine g22:

faire une config réseau depus l'impi (uniquement ipv4 avec gw par defaut, plus simple à taper)

Une fois le link up sur le vlan 3132, faire un ssh et faire la config réseau via rc.local (cf section suivante "h2. Sur la machine g1.t": )

Ne pas oublier : 

dans /etc/default/grub

<pre>GRUB_CMDLINE_LINUX_DEFAULT="net.ifnames=0"</pre>

Copier /etc/systemd/system/rc-local.service depuis g21.

Faire un fichier /etc/udev/rules.d/70-persistent-net.rules avec le contenu pour renomer les interfaces réseaux (voir example sur g21)

Penser a disable le service : systemd-resolved.service pour avoir un resolv.conf utilisable...

rm /etc/resolv.conf

copier le resolv.conf d'une autre machine

h2. Sur la machine g20:

installer ce paquet : http://apt.puppetlabs.com/eol-releases/puppet5-release-bionic.deb à la main (ça dépose les fichiers pour avoir le répo puppet, on pourra le dégager une fois que le puppet ttnn sera passé)

Puis faire:

<pre>

apt update -y

apt install puppet-agent bridge-utils

</pre>

h2. Sur la machine puppet.t:

dans /etc/puppetlabs/code/environments/production/manifests/nodes/openstack.pp ajouter la machine dans le variable suivante:

<pre>

$os_ring_bgp = {

  ...

  "g20"  => [ 65014, "89.234.156.69", "2a03:7220:8083:4500::1" ],

}

</pre>

Et ajouter une nouvelle node:

<pre>

node "g20.tetaneutral.net" {

  class { 'ttnn_os_ceph_server': }

  class { 'ttnn_os_compute': }

  include ceph::profile::client

}

</pre>

h2. Sur la machine g1.t:

Ajouter la machine et toutes ces IPs dans le /etc/rc.local: 

<pre>

vlan3132_ipv4["g20"]="89.234.156.69"

vlan3132_ipv6["g20"]="2a03:7220:8083:4500::1"

vlan3132_ipv6_local["g20"]="fe80::83:45"

vlan3175_ipv4["g20"]="192.168.3.120"

vlan3199_ipv4["g20"]="192.168.99.235"

netconsole_cfg["g20"]="192.168.128.220"

</pre>

Ajouter la machine g20 dans /root/tools/tools-common et /root/tools/libvirt/func.inc

<pre>

HOSTS="stri g1 g2 g3 g4 g5 g6 n7 g8 g9 g10 g11 g12 g20"

</pre>

Copier le /etc/rc.local sur g20

h2. Sur la machine g20

/!\ ATTENTION ICI CA COUPE LE RESEAU /!\

Exécuter le /etc/rc.local ou reboot la machine 

Bien vérifier les trois bridges et leur ici:

vlan3132

vlan3175

vlan3199

Une fois le réseau setup correctement:

<pre>

$ puppet agent -vt --certname g20.tetaneutral.net --server puppet.tetaneutral.net

Info: Creating a new SSL key for g20.tetaneutral.net

Info: Caching certificate for ca

Info: csr_attributes file loading from /etc/puppet/csr_attributes.yaml

Info: Creating a new SSL certificate request for g20.tetaneutral.net

Info: Certificate Request fingerprint (SHA256): BF:C8:2A:B1:48:63:3A:C9:F2:A0:84:A2:89:0E:74:0E:91:C6:51:4C:B6:DA:1D:50:07:A3:E8:6A:C7:62:D4:4C

Info: Caching certificate for ca

Exiting; no certificate found and waitforcert is disabled

</pre>

h2. Puis sur la machine puppet:

<pre>

$ puppetserver ca sign --certname g20.tetaneutral.net

Successfully signed certificate request for g20.tetaneutral.net

</pre>

h2. Puis sur la machine g20:

<pre>

$ puppet agent -vt --certname g20.tetaneutral.net --server puppet.tetaneutral.net

</pre>

... prendre un café ... ne pas avoir peur des 200 erreurs qui vont s'afficher (y'a quelque dépendances entre certain étape manquante, mais c'est pas bien grave)

Relancer plusieurs fois (Je l'ai fait 4x pour g20) , jusqu’à ce qu'il n'y est plus d'erreur

<pre>

$ puppet agent -vt --certname g20.tetaneutral.net --server puppet.tetaneutral.net

</pre>

Le dernier sort:

<pre>

$ puppet agent -vt --certname g20.tetaneutral.net --server puppet.tetaneutral.net

Info: Using configured environment 'production'

Info: Retrieving pluginfacts

Info: Retrieving plugin

Info: Retrieving locales

Info: Loading facts

Info: Caching catalog for g20.tetaneutral.net

Info: /Stage[main]/Ttnn::Puppet/Tidy[/var/lib/puppet/clientbucket]: File does not exist

Info: /Stage[main]/Ttnn::Puppet/Tidy[/opt/puppetlabs/server/data/puppetserver/reports/]: File does not exist

Info: Applying configuration version '1611852800'

Notice: /Stage[main]/Ttnn::Prometheus::Exporters/Ttnn::Prometheus::Exporter[libvirt]/Prometheus::Daemon[libvirt_exporter]/Service[libvirt_exporter]/ensure: ensure changed 'stopped' to 'running' (corrective)

Info: /Stage[main]/Ttnn::Prometheus::Exporters/Ttnn::Prometheus::Exporter[libvirt]/Prometheus::Daemon[libvirt_exporter]/Service[libvirt_exporter]: Unscheduling refresh on Service[libvirt_exporter]

Notice: Applied catalog in 2.34 seconds

</pre>

h2. Enfin sur toutes les autres machines du cluster lancer:

    puppet agent -vt

    Cela va reconfigurer les bird pour ajouter g20

h2. Et pour finir sur h7.t:

     Ajouter dans /etc/bird/bird/openstack.conf

<pre>

protocol bgp OPENSTACK_G20 from mesh_openstack {

        neighbor 89.234.156.69 as 65014;

}

</pre>

    Ajouter dans /etc/bird/bird6.conf

<pre>

protocol bgp OPENSTACK_G20 from mesh_openstack {

        neighbor 2a03:7220:8083:4500::1 as 65014;

}

</pre>

Et faire:

    birdc conf

    birdc6 conf

h2. ne pas oublier sur puppet et nucnagios 

Il faut ajouter la machine dans quelques fichiers pour al supervision et autres.

puppet: dans puppetmaster => environments/production/manifests/files/libvirt/dump-and-sync-xml (liste des hosts)

nucnagios dans les fichiers : /omd/sites/ttnn/etc/check_mk :

* main.mk

* update_vm_parents.sh

Penser à lancer  le script ./client-plugins/install_plugins.sh

h2. secret et paquet

installer le paquet python-libvirt puis relancer le service 

  systemctl restart libvirt_exporter.service

copier les secrets ceph dans /etc/libvirt/secrets/ depuis g1

restart les services libvirt