1. Usar los siguientes comandos para saber como esta configurado el arbol de OSD y los pool que hay en cada uno.

ceph osd tree
ej: ceph pg dump

Es importante ver que no este comprometido el ratio de replicacion porque de estarlo se debe incrementar la capacidad lo antes posible.

1a. Luego dedetectar el que se desea eliminar se debe quitarle el peso que tiene de almacenaje.

ceph osd crush reweight osd.7 0

2. Sacarlo de la lista de OSD activos.

osd out {osd-num}
ej: ceph osd out 7

3. Esperar que el proceso de reorganizacion del cluster termine. Se puede monitorear con el comando 'ceph pg stat'. El proceso acaba cuando todo está 'active+clean'

4. Detener los OSD y desmontarlo del sistema de archivos.

stop ceph-osd id={osd-num}
ej: stop ceph-osd id={osd-num}
    ceph-osd stop 7
    umount /var/lib/ceph/osd/ceph-7

5. Eliminar el OSD del mapa CRSUH.

ceph osd crush remove {name}
ej: ceph osd crush remove osd.7

6. Eliminar las llaves de autentificacion.

ceph auth del osd.{osd-num}
ej ceph auth del osd.7

7. Eliminar el OSD del mapa de OSD's

ceph osd rm {osd-num}
ej: ceph osd rm 7

8. En este punto ya todo está como si el OSD no hubiera existido. Se puede proceder a crear el nuevo.

Addicionando un nuevo espacio

1 Crear el OSD logicamente

ceph osd create 

2 Crear el punto donde se va a montar el OSD

mkdir /var/lib/ceph/osd/ceph-7

3 Formatear el OSD (Se asume que ya esta la particion creada. De no estarlo se recomienda hacerlo con el parted)

mkfs -t xfs /dev/sdd1

4 Montar la particion en el lugar asignado

mount -o rw,relatime,inode64,logbsize=256k,delaylog,allocsize=4M /dev/sdd1 /var/lib/ceph/osd/ceph-7

5 Crear las llames de autentificacion

ceph-osd -i 7 --mkfs --mkkey

6 Adicionar las llaves y las reglas de acceso del OSD creado

ceph auth add osd.7 osd 'allow *' mon 'allow rwx' -i /var/lib/ceph/osd/ceph-7/keyring

7 Adicionar el OSD al mapa del CRUSH

ceph osd crush add {id-or-name} {weight}  [{bucket-type}={bucket-name} ...]
ej: ceph osd crush add osd.7 1.45 host=compute1

8 Iniciar el proceso del OSD

start ceph-osd id=7

9 Comprobar que se halla integrado al esquema de replicacion y que se este replicando todo.

ceph -w

ref: https://blueprints.launchpad.net/fuel/+spec/ceph-osd-remove http://docs.ceph.com/docs/master/rados/operations/add-or-rm-osds/

Exportar el mapa CRUSH

ceph osd getcrushmap -o salida
crushtool -d salida -o salida.decompile