Hay varios artículos para lidiar con este problema.
En nuestro caso pudimos aplicar este: https://medium.com/opsops/recovering-ceph-from-reduced-data-availability-3-pgs-inactive-3-pgs-incomplete-b97cbcb4b5a1
La idea basica:
Detectar los PG incompletos.
Detener los osd donde estan.
Eliminarlos o marcarlos como completos.
Iniciar los OSD
Crear los PG si fueron eliminados.
Verificar
ceph osd set noout systemctl stop ceph-osd@18 ceph osd tree ceph-objectstore-tool --data-path /var/lib/ceph/osd/ceph-18 --op mark-complete --pgid 13.21 systemctl start ceph-osd@18 ceph osd tree ceph osd unset noout