¿Qué tengo que hacer para ocupar la vivienda con mis hijas después del divorcio?

Tengo 3 años divorciada. Yo decidí salirme del domicilio con mis dos hijas y rentar una casa que pago yo. Mi ex esposo se quedó en la casa , la cual está a mi nombre con credito cofinavit, el paga al banco y yo al Infonavit. La cuestión es que yo quiero estar en esa casa con mis hijas, pero el señor no se quiere salir.
¿Lo puedo sacar? Para ocupar la casa con mis hijas