¿Has medido esa tensión al cabo de horas, o estando desconectado el convertidor de 12-5V?
Eso justificaría el cambio de polaridad en la medida, si fuera el convertidor el que genera esa tensión, que al absorberla el led y el voltímetro tendría sentido contrario.
Esquema del montaje y posible defecto, a ver si entre todos lo encontramos !!!