Deje a mi esposo y el se quedó con mi hija, pero quiero recuperarla

Hace dos años me separé de mi el papá de mi hija nunca nos casamos, en esa separación deje a mi hija y me fui a vivir con mi actual pareja.
Pero ahora el papá de mi hija la dejo a cargo de su abuela y le meten ideas sobre mi, no puedo hablar a solas con ella por qué siempre escuchan todo, no la dejan visitar a mis papás y vive en una casa con todos los hermanos (a) de mi expareja siento que esto no es favorable para ella, yo no le pasaba pensión por qué no trabajaba, ahora ya estoy trabajando y le he enviado lo que ha estado en mis posibilidades. Solo quiero saber si tengo posibilidad de recuperar la patria potestad. Nunca lo hicimos legal la separación ni la patria potestad.