¿Pueden quitarme a mi peque por no dejar que vea a su papá?

Hola, yo soy Camila, tengo un hijo de casi 4 años, mi caso es que me separé del papá de mi peque, ya pronto se cumplirá el año. Lo dejé porque era un hombre agresivo y frecuentemente consumía bebidas alcohólicas, llegó a golpearme, insultarme e incluso amenazarme de muerte, él me demandó la convivencia, ya que en un principio cuando nos separamos firmamos un acuerdo en justicia alternativa donde él vería a su hijo diario, si no cumplí fue porque él no me pasaba gasto y no se me hacia justo que peleara un derecho cuando él no cumplía con sus obligaciones. Después comprendí que mi hijo no tenía la culpa y dejé que se lo llevara, pero dos veces me hizo en no regresar a mi hijo el día y la hora en que habíamos acordado por lo que opté en que si lo vería sería afuera de mi domicilio, a la fecha no permito ésto porque varias veces en las que hablaba según con mi hijo terminaba por insultarme a mi o a mi familia, mi pregunta es que si eso el lo puede usar en su contra ya que no lo ve ni permito que hablen por teléfono. Otra cosa, yo me volví a casar, él y su familia molestan a mi esposo, van a su trabajo y le hacen escándalos, dicen que me pueden quitar a mi hijo porque mi actual pareja es un drogadicto a lo que no es verdad, tiene un trabajo estable, es honesto, pero también se ha cansado de tener que soportar a esta familia.

El papá de mi hijo se excusa en que no tiene trabajo y por eso no puede dar pensión. Mis dudas son esas ¿Puede quitarme a mi hijo ya que no permito que tengan comunicación? ¿Puedo hacer que ya no vea a mi hijo? Pues tengo miedo de que le llenen la cabeza de ideas sobre mí y mi esposo.

¿Qué puedo hacer si el papá no trabaja y no pasa gasto?

Tengo entendido que él tiene que pagar lo que debe en pensión atrasada.

Espero respuestas, estoy desesperada, ¡gracias!