Concubinato e hijos

Buenas noches explico mi consulta.
Llevo aproximadamente 8 años en concubinato y tenemos un bebe de dos meses yo me quiero separar ya que desde hace mucho ya no tenemos una relación de pareja el tiene un problema con el alcohol y eso fue uno de los factores que deterioro la relación mi pregunta es que pasa si yo decido dejar la casa e irme con mi hijo me lo puede quitar Por qué el dice que me lo puede pelear
Gracias