No es tan sencillo. Los dispositivos se gestionan según criterios variados, entre ellos como gestionan la energía u otras cosas mas. Incluso en windows me he encontrado con ese problema.
Windows halla una solución intermedia a base de memorizar dispositivos y asociarlos a un puerto, pero que a veces crea conflictos si cambiamos con frecuencia de dispositivos o simplemente lo cambiamos de enchufe USB.

En Linux udev es la solución definitiva. Una vez creado el archivo de reglas es infalible. Da igual donde los conectes ni el orden de conexión, siempre funciona. lamentablemente, el crearlo no es que sea difícil pero es poco intuitivo, sobre todo si eres nuevo en Linux.

Yo lo he necesitado y a mi me ha funcionado siempre.