Quiero ami hijo conmigo de vuelta

Tengo un hijo de 4 años de edad cuando nos separamos con su papa (hace 3 años) el niño se quedo en su casa ya que no tenia donde ir yo y solo tenía mi ropa nada más. Yo empecé a trabajar en una empresa agrícola ganaba bien empecé a comprarme mis cosas poco a poco. Hace dos meses tuve un problema con su padre de mi hijo debido a que mucha plata me sacaban mensual para el niño decidí no darles más. Se molestaron conmigo y me lo dieron a mi hijo ya que deje de darles plata.. No había niñera que lo cuide, o sea yo le pagaba a su abuela para que lo cuide como su niñera. Con ser que su papá no trabaja, vive de mantenido en esa misma casa. Entonces el podía cuidarlo pero no lo hacía. Bueno el niño vivió prácticamente toda su vida en esa casa porque desde que nació yo vivía con el ahí. Entonces hace dos meces que vive con migo. Yo tengo una pareja actual alquilamos un departamento. Y mi hijo se vino a vivir con nosotros cuando lo trajimos no nos quisieron dar nada de él. Simplemente como estaba vestido nada mas nosotros compramos todo lo que fuera necesario para que el niño tenga y no le falte nada ahora hace tres día el vino a mi casa diciendo que lo llevaría por un rato a pasear y luego me llamo diciendo que se quedaría nuevamente en su casa a vivir, que haga lo que quiera le meta juicio cualquier cosa pero que el niño no volvía conmigo ahora ¿no se qué hacer? Tengo miedo, allá vive mucha gente son 11 personas la cual 5 son niños y en mi casa solo vivimos yo y mi actual esposo y mi hijo obvio aquí no tiene otros niños con quien jugar y allá si. Entonces él en estos 2 meses que vivió conmigo un mes no quería ni volver a la casa de su padre pero en este otro mes le hablaban y el decía que quería ir yo entendía porque en mi cabeza estaba que seguro extrañaba a todos y quería jugar con los niños allá ya que aquí solo juega con nosotros entonces le decía que si el quería ir que vaya. Pero ahora lo llevaron y no lo quieren traer. No sé que puedo hacer, quiero a mi hijo conmigo. Pero tengo miedo que lo pueda quitar ya que ha vivido mucho tiempo con ellos, él tenía 1 año y medio cuando se me separé de su papa y él se quedo en su casa ahora tiene cuatro y recién dos meces viviendo con migo, ¿es posible que me lo quite si pongo una demanda para la custodia de mi hijo?