[Santiago]

Eso no le pasa al que no lo hace (sólo le aligeran la cartera). Seguro que no te vuelve a pasar.
Ya puestos, no sé si sabrás que los remaches ya colocados se sacan muy fácilmente con un taladro. Colocas la broca del diámetro del cuerpo del remache y taladras la cabeza. Así debilitas el material de la misma y con un golpecito en el cuerpo con un botador, varilla de acero, destornillador o lo que sea, se va para adentro y yastá.
En tu caso, como te queda el vástago, lo tienes más crudo. Primero serrarlo con lo que sea (ideal una dremel con disco de corte), después hundirlo con un botador (si el soporte es suficientemente rígido, sino atacar directamente con la dremel la cabeza del remache) y luego taladro.
Suerte!