Para aislar el problema, yo probaría con una batería directamente conectada al molinete (desconectado de la instalación) con unos generosos cables de arranque de coche. Una batería que estuviera bien cargada. Cuidado los riñones al cargar por cubierta y agachado con los kilos de una batería....
Si sigue sin funcionar, el problema estaria en el molinete. Sino, pues empieza a tirar hacia atrás.
Supongo que tambien has probado con el motor en marcha y acelerado (sino el alternador no carga). Si aún así , tienes los 13 voltios EN LOS CABLES DE POTENCIA que entran en el rele, y 9 EN LOS DE SALIDA, el problema esta entre el rele, conexiones y molinete.
Cuando se solicita una potencia grande a las baterías, es normal que baje la tensión. Si haces la misma prueba midiendo la tensión al motor de arranque del barco (que suelen ser de potencia similar a un molinete) veras que tambien baja la tensión , normalmente sobre 10 voltios. Quizas 9 es demasiada caida....