¿Pueden quitarme el terreno si mi esposo invirtió en la construcción?

Cuando se decidió comprar un terreno yo vendí unos terrenos herencia de parte de mi padre y con eso pagué el enganche de este terreno. Mi esposo fue el que siguió pagando los pagos pero llegamos a un acuerdo de que el terreno quedaría a mi nombre, pero ahora está construido con el financiamiento de él, además de que esto sería para nuestros hijos pero ahora mi esposo dice que él puede sacarme cuando él quiera, por lo que invirtió.