¡Estupendo! Unos chupitos de Glemorangie para calentar los ánimos con un poquito de "malta".

Respecto a tu pregunta... sí, puede ralentizarse pues de cuando en cuando debe escribir datos en la unidad USB y estas son relativamente lentas en comparación a un disco duro. A menos que uses un pendrive de tipo USB3 en una máquina con puertos USB3.

Con el tiempo ya te podrás plantear si te merece la pena migrar totalmente a Linux o no.