¿Puedo pedir la patria potestad de mi hija?

Tuve a mi hija en 2013 a mis 16, su papá es mayor que yo. Viví en unión libre con él durante 1 año. Cuando nos separamos nunca me opuse a que él conviviera con ella, pero realmente nunca se ha hecho responsable económicamente de mi hija, siendo que yo no le he negado que la vea no se me hace justo que él no me apoye, que no se haga responsable pero que quiera seguir viéndola. Hace un año aproximadamente dejo de buscarla y cuando la "busco de nuevo" fue por medio de una demanda para mi, en la cual argumentaba cosas absurdas en cuanto a tiempo y a todas las circunstancias para no hacer mas problemas yo accedí a un convenio de conciliación y se determinó la convivencia y una "pensión" él se hizo la víctima diciendo que no trabajaba y la juez le pidió que diera $350 semanales que solo cumplió durante 4 meses. Me hizo firmarle recibos pero solo fueron pocos. Después dejo de dar la "pensión" pero aun así nunca le negué la convivencia. Mi pregunta es ¿puedo pelear la patria potestad,debido al tiempo? O ¿cuanto debo esperar? Últimamente ya no busca a mi hija y me enteré de que consume droga aparte de que toma. Nunca se ha preocupado en comprarle ropa o zapatos, o por los gastos médicos o de la guardería, cosa que estaba estipulada por la juez. Estoy por entrar a la universidad y me iré a estudiar fuera y no quiero tener problemas para llevarme a mi hija que acaba de cumplir 4 años. Él no dejara que me la lleve ya que quiere tener control sobre lo que hago y por medio de la niña busca detenerme.

Gracias