¿Qué puedo hacer para que el padre de mi hijo no tenga derecho a verlo?

Hola, soy madre soltera. Estuve en unión libre con el padre de mi hijo solo que a los dos meses quedé embarazada y decidí regresar con mis padres porque las cosas no funcionaron. En ese entonces el papá del niño sí se hizo cargo de los gatos, pero desde que nació mi hijo él solo lo ha visto una vez, fue cuando vino a registrarlo. Hoy mi hijo ya tiene 1 año y tres meses, su padre se excusa diciendo que vive lejos, él es de Reynosa además de que me manda 350 pesos semanales pero en varias ocasiones no me manda nada en más de 15 días.

Además, cabe señalar que no llama para preguntar por el niño ni siquiera manda mensajes, solo cuando deposita el dinero.

Anteriormente tuvimos algunas discusiones por teléfono por la misma cuestión de que tengo que ser yo la que le esté recordando que tiene que mandar el dinero porque yo no trabajo, los gastos que se generan los cubre mi padre.

Yo lo que quiero es saber si en caso de que venga me lo pueda quitar, necesito saber qué tengo que hacer para que no lo vea porque él lo ve solo como una obligación.