¿Puede mi ex pareja quitarme la custodia de mi hijo?

Tenemos un bebé de 9 meses pero no estamos casados, sin embargo a mi hijo lo mantengo yo desde que estaba embarazada, todos los gastos corren por mi cuenta, así que tengo que trabajar casi todo el día para poder mantener a mi hijo, y ahorita quiero separarme de mi pareja pero me amenaza con quitarme a mi hijo argumentando que no tengo tiempo para cuidarlo (lo llevamos a guardería) mas que en la tarde noche que salgo de trabajar, dice que el puede cuidarlo mejor que yo, sin embargo el tiene otros dos hijos mas grandes (14 y 16 años) a los cuales si mantiene, todo su sueldo es para ellos, pero no gana mucho. También me amenaza diciendo que tiene influencias que puede hacer que le den la custodia total de mi hijo. Él todavía vive (entre comillas, porque esta siempre en mi casa) con su primera pareja y nadie de su familia sabe que tiene otro hijo. Yo no pretendo quitarle ningún derecho sobre el niño ni exigirle nada, solo quiero que nos separemos, pero el no quiere irse de la casa, dice que si se va se lleva al niño. Yo no quiero perjudicarlo pero me da miedo que me quite a mi hijo.