Yo lo dejaría así:

[serial]
filename=/dev/ttyUSB0
direction=in
baud=38400
optional=yes

[tcp]
address=5.9.207.224
port=7409
persist=yes
direction=out
ofilter=+AIVDM:+AIVDO:-all
optional=yes

[broadcast]
address=146.0.32.170
port=35122
persist=yes
direction=out
ofilter=+AIVDM:+AIVDO:-all
optional=yes

[serial]
filename=/dev/ttyUSB1
direction=both
baud=38400
optional=yes

[tcp]
mode=server
port=10110
direction=both
optional=yes

Recuerda que las almohadillas (#) invalidan las lineas que van detrás.... no las pongas.

Respecto a lo de los USB que se mueven aleatoriamente es un problema común en todos los sistemas operativos cuando hay muchos dispositivos parecidos entre si.

En los sistemas Linux se soluciona con udev.

Es algo largo de explicar, pero en esencia se trata de crear un archivo en el que le decimos al sistema que cuando vea que el dispositivo X esta conectado le de el nombre de por ejemplo "ttyGPS" y cuando detecte el y lo nombre por ejemplo.... "ttyBROOK"

Eso se hace leyendo los identificadores de hardware que tiene cada dispositivo, por ejemplo cuando metes el comando lsusb.

Ahora no dispongo de mucho tiempo para aclararlo y se tarda mas en explicarlo que en solucionarlo. Te sugiero que bucees algo por la red acerca de las reglas udev.

Si las aplicas, en vez de usar estas normas en kplex para los dispositivos serie:

[serial]
filename=/dev/ttyUSB0
direction=in
baud=38400
optional=yes

[serial]
filename=/dev/ttyUSB1
direction=in
baud=38400
optional=yes

serian así....

[serial]
filename=/dev/ttyGPS
direction=in
baud=38400
optional=yes

[serial]
filename=/dev/ttyBROOK
direction=in
baud=38400
optional=yes

Y así no importa que numero usb se le asigne al dispositivo. Tanto si acaba como ttyUSB0 como ttyUSB1 tendrá asignado también el ttyGPS o el ttyBROOKy estos nunca fallarán.

Por cierto... ¿por que defines dos dispositivos serie? ¿No te entra todo desde el multiplexor?