¿Puedo quitarle la patria potestad a mi esposo de mi hija?

Hace 5 años me separe de él los primeros meses venia a visitar a la niña pero sin aportar nada de dinero aun así lo dejaba que la viera después de unos meses me junte con mi actual paraje él que nos empezó a mantener a mi hija y a mi cuando mi pareja empieza a mantenernos me pide de favor que le diga a mi esposo que si no va a portar nada para la niña que dejara de vicitarla por que no se le hacia justo que él la mantuviera y él de gratis la viera se lo dije al que es mi esposo y no le pareció fue y me puso una demanda de pencion alimenticia según él cuando fui a los juzgados me dijeron que era de divorcio total le dije que solo quería que mantuviera sus y obligaciones así como él me exigía sus derecho me dijo que si en las 2 semanas que duramos para firmar él acuerdo le día si acaso 500 para la niña y salio a pasiar con él ya cuando iba ser la firma yo no se la di por que me dijeron que era demanda de divorcio y pregunte entonces donde queda lo de los acuerdos de la demanda de alimentos me dijeron que no procedía por que yo la tenia que solicitar ay fue donde me levante y dije no te voy a dar él divorcio 1 por que me tragistes con engaños 2 por que es lo único que te importa 3 por que no es justo que quieras seguir viendo a la niña si no la mantienes y desde hay no a vuelto ni la busca ni la mantienen ni nada.