¿Puedo quitarle la patria potestad al papá de mi hija?

Quisiera saber si hay manera de quitarle la patria potestad al papá de mi hija y posteriormente sus apellidos.


El papá de mi hija y yo nunca nos casamos, vivimos en unión libre por 5 años. A él le gusta la marihuana y no había tenido problema con él hasta que tuvimos a nuestra hija, porque ya no me agradaba que hiciera eso, él lo hace como hobby, no es violento ni nada por el estilo, nunca quiso trabajar y prácticamente yo lo mantenía, en fin nos separamos hace un año.


Él no me brinda manutención económica, ya que no trabaja. No sé hace cargo de ella en ningún sentido, ahora estoy algo confundida porque quiero llevar a mi hija a California para llevarla a Disney y su papá no quiere darme consentimiento para tramitarle su pasaporte y mucho menos su visa.


Me dijo que jamás iba a permitir que yo sacara a su hija del país, aunque fueran por vacaciones, yo tengo mi trabajo estable y mi casa propia y no tengo ninguna necesidad de irme a vivir a otro lado. A raíz de todo esto hemos tenido muchos problemas, ya que yo estoy muy molesta con su actitud y sinceramente como él nunca se ha hecho cargo de mi hija.


No me parece justo que pueda influenciar en este tipo de decisiones, él no tiene trabajo, vive con sus papás todavía, ya tiene 30 años y no quiso terminar la universidad. Además a mí no me consta de que ya dejó el vicio de la marihuana, que aunque nunca ha sido violento ni mucho menos, no me gusta ese ejemplo para mi hija.


Mi pregunta es la siguiente:


¿Puedo yo quitarle la patria potestad y dejarle solo mis apellidos a mi hija, para que en un futuro no tenga que estarle pidiendo permiso de las decisiones sobre mi hija?


Cabe mencionar que mi hija tiene 3 años, de los cuales sólo el primer año convivió con su papá (que fue el año que estuvimos viviendo juntos con nuestra hija y yo lo mantenía).