Soy su esposa legal hace 4 años

Hola, estoy preocupada, me case con mi esposo por el civil. con el tengo dos hijas una de 4 y otra de 2. Pero antes de hacerlo vivió en concubinato entre 3 y 4 años y tiene dos hijos uno de 13 y 12 años. El detalle está en que la ex pareja pretende demandarlo otra vez para quitarle más dinero y sacarme a mi y a mis hijas de una casa que adquirió antes del concubinato y que aún está pagando por medio del Infonavit, esta persona puede sacarme a mi y a mis hijas y dejarnos en la calle