Hay varios artículos para lidiar con este problema.

En nuestro caso pudimos aplicar este:
https://medium.com/opsops/recovering-ceph-from-reduced-data-availability-3-pgs-inactive-3-pgs-incomplete-b97cbcb4b5a1


La idea basica:

Detectar los PG incompletos.

Detener los osd donde estan.

Eliminarlos o marcarlos como completos.

Iniciar los OSD

Crear los PG si fueron eliminados.

Verificar

<code>
ceph osd set noout
systemctl stop ceph-osd@18
ceph osd tree
ceph-objectstore-tool --data-path /var/lib/ceph/osd/ceph-18 --op mark-complete --pgid 13.21
systemctl start ceph-osd@18
ceph osd tree
ceph osd unset noout
</code>