El papá de mis hijos me los puede quitar si me voy de su casa con mis hijos?

Me quiero separar del papá de mis hijos,no estoy casada, tengo 2 niños uno de 6 años y una niña de 2, mi relación con mi pareja ya no esta bien, quiero salirme de su casa (La casa no es de Él, es de sus padres) pero tengo miedo a que me quite a mis hijos.
El no da todo al 100 pues su papá es el que se hace cargo de la alimentación, y gastos de la casa de nosotros.
No se si al salirme de su casa pueda que el me demande por abandono de hogar esa es una la otra
es que si en futuro llego a estar con alguien más me pueda meter una demanda por estar con alguien más.
Yo no puedo dar un paso por todos los temores que tengo al perder a mis hijos
He tratado de hablar con Él pero cuando toco el tema se hace el enojado pues su mamá intervine mucho en nuestra relación
Y ya no se que hacer, pues reitero que no puedo dar un paso por todo lo que pueda hacer para quitarme a mis hijos.