Si no estoy casada ¿me pueden quitar a mi niña?

Hola buen día. Quisiera ver si me podrían apoyar, tuve una niña con mi ex pareja, las cosas no funcionaron y pues cada quien su camino, pero si registramos a mi niña con su apellido. Desde que era bebé he sido accesible con él, en cuestión que nunca le negué el que conviviera con él ni con su familia, incluso hasta la niña se quedaba a dormir con el 2 días y me la regresaba, el solo apoya con agua, leche y pañales tampoco nunca le he exigido. Al día de hoy, mi niña tiene 2 años pero últimamente he tenido muchos problemas con él, le presto la niña hasta 3 días, y no me la regresa el día que fijamos, no me contesta el celular, me bloquea en whatsapp, me habla de mala manera como exigiendo, al tal grado que sus papás también están en su plan, se dicen saber mucho de leyes y me ha amenazado de quitarme a mi niña, yo incluso le dije que si ya no quería comprar leche, pañales y agua que no lo hiciera, vivo con mis papas, acabo de terminar mi carrera, ellos me mantienen a mi y a mi niña, ellos están criando a mi niña yo estoy en proceso de laborar. Desconozco del tema, y no quería llegar a esto, pero quiero fijar días y que se respeten, así como una pensión, ¿que derechos tiene él? ¿si me la puede quitar? quisiera ver si me podrían asesorar que puedo hacer, porque creo que he sido demasiado accesible. Pero lo que menos quiero es problemas, y ya me los están ocasionando tanto el como sus padres por meterse. Agradeciendo de antemano su atención, quedo en la espera de su respuesta.

¡Saludos!