En qué momento pierdo la custodia?

Buen día, abogados. Espero no extenderme y se me pueda orientar. Agradezco de antemano.

Tuve una relación de 2 años a distancia de la cual resulte embarazada, aún embarazada seguía mi relación "normal" pero empezaron a haber problemas y decidí terminar a los días de nacer mi bebé. Él solo pagó el hospital y algunas consultas previas al alumbramiento pero posteriormente nunca se hizo responsable económica ni emocionalmente, hasta la edad de 5 meses iba y venía pues el siempre ha vivido en un estado diferente al mío, sin embargo mi hijo conforme iba creciendo lo iba reconociendo, al punto de encariñarse y total, que él de la única manera que me brindaba apoyo era estando en una relación con él si no pues no, situación por la que en ocasiones accedía porque a veces necesitaba su apoyo, después tuvimos otro hijo y ahí si ya no respondió jamás por él.
Pero mi hijo mayor, a la edad de 4 años me pedía ver a su papá, yo ya me encontraba con el que es mi actual esposo y mi hijo no lo quería, yo lo buscaba para que lo visitara aunque no me diera nada de dinero, solo pedía que lo viera pero jamás accedió por yo tener nueva pareja.
Yo lo demandé por pensión de ambos pero jamás me resolvió el abogado, solo me pedía dinero y nunca me resolvió nada, más que la custodia, me dió una hoja donde decía que yo tenía la custodia de ambos.
Pero a los 5 años mi hijo me pide ver a su papá y ya para entonces el accede y estando con él mi hijo se pone inconsolable que se quería ir a vivir con su papá y yo acepté solamente por un año, porque él tenía que cursar el año completo escolar. No firmamos nada, solo fue un acuerdo de palabra en la cual yo le dije que nos olvidaramos de abogados, que no había necesidad de tirar dinero si nos podíamos arreglar. Y mi hija ya va a cumplir 9 años este junio y es tiempo que no me lo regresa, no me deja casi verlo ni hablar con él y mi hijo me dice que se quiere regresar conmigo pero yo no me quiero ver envuelta en pleitos legales porque él ya lo ha tenido en escuela allá donde viven, el vive en ciudad de México y yo en el estado de Querétaro.
Mi pregunta es si perdí la custodia por habérselo entregado y él haberlo inscrito a escuelas y haberse hecho cargo de él durante 4 años?
Cabe recalcar que de nuestro otro hijo jamás se ha hecho responsable económica ni emocionalmente, aunque tiene su apellido jamás lo ha visto.
Gracias