Bueno, pues el tema ya está solucionado!
Al final el problema estaba en el ventilador del habitáculo!.
Buscando alguna pista más y viendo que en español no había nada de nada sobre este asunto en modelos Toyota, encontré aquí la pista al problema:
https://priuschat.com/threads/need-help ... ing.99643/Por lo que me decidí a probar a desmontar el ventilador, con el problema de la centralita que está justo debajo del mismo. El principal escollo que tiene esta centralita es que también está atornillada en la pared del fondo, y resulta bastante difícil llegar a dicho tornillo. Al final pude llegar a dicho tornillo desatornillando los dos tornillos delanteros que sujetan la centralita al bastidor del climatizador y a continuación, una vez descolgada unos centímetros, llegar con un destornillador largo y de espada flexible al dichoso tornillo. Una vez desatornillado el tornillo del fondo, la centralita se puede echar fácilmente hacia un lado sin tener que desconectar ningún cable de la misma.
A partir de aquí, simplemente es desatornillar el ventilador con una punta torx y ya lo tienes fuera.
Pedí por autodoc uno compatible con el modelo, el cual me costó unos 40 pavos. El original de la casa creo que es una pasada de precio, se sube a unos 400 pavos, telita.
Al desmontar el antiguo, vi que soltaba una especie de carbonilla que manchaba bastante, me imagino que tendría las escobillas hechas polvo.
Ahora ya funciona el climatizador correctamente y a todas las velocidades!
Pongo esto aquí por si a alguien le pasa lo mismo, que sepa como se solucionó.
Saludos.