¿Qué pasa con mi casa? el padre no tiene buen récord como padre.

Nada importa, tampoco a ti se te hace mas fácil, rápido el divorcio, debes demandar, reclamarle el pago de alimentos y embargarle los derechos que pueda tener de la casa conyugal (Que desafortunadamente los tiene debido a la igualdad ante la ley) y de esa manera quedarte con los inmuebles ante su incumplimiento.
Tu antecedente no le afecta para nada a os menores, quienes tienen derecho a permanecer en el hogar, que esta persona sea separada, y que se les garantizan sus alimentos con su parte de la casa y se les adjudique la misma en pago.