¿Puedo perder custodia por no dejar que lo saque del país?

Tengo un hijo de 11 años y tenemos separados el padre y yo 7 años, nos arreglamos extrajudicial para la pensión y visitas. Hace un año él perdió el trabajo y yo trabajo 8 horas quebradas. Ahora me pide que le deje llevarse al niño al extranjero, para que pueda conseguir más rápido la residencia porque aquí no encuentra empleo. Le dije que no que se vaya y que cuando esté establecido y el niño se quiere ir con el se vaya. Ahora me está amenazando con quitarme al niño porque trabajo y él se lo estaba quedando por las tardes y por lo mismo he decidido volver al acuerdo de visita de 3 días a la semana y una noche que el niño duerma con él. ¿Me puede quitar al niño si yo lo dejo al cuidado de mi familia?