¿Puede perder la patria potestad de mi hija?

Buenas hace unos meses solicité el divorcio al papá de mi hija, él trató de matarme hace 3 años me aventó del auto y mi hija lo vio todo. Intenté hacerlo (el divorcio) por medio de justicia alternativa pero no funcionó, el señor se hecho para atrás al ultimo y ahora lo estoy tratando de hacer por el lado contencioso la juez le fijo una pensión provisional que tendría que depositar semanalmente y 3 días de visita a la semana, de la pensión solamente ha depositado 1 vez me argumenta que ya ha depositado 2 mil pesos pero que me los dará el día que sea una visita supervisada que esta programada para dentro de 1 semana y de los días que a el le tocaban no ha visto a la niña ni un solo día, de hecho en 3 años nada mas la ha visto como 5 o 6 ocasiones, yo ya tengo otra pareja desde hace 2 años y medio y mi niña a el le dice papá el va a las reuniones de la escuela y le ayuda con todo, mi pregunta es si con esto que no ha cumplido puede perder patria protestado de la niña a mi no me interesa la pensión me interesa el divorcio ya que mi pareja y yo trabajamos y me interesa la patria protestad de la niña.