¿Pueden quitarme la casa con trato de palabra?

Tengo un problema hace algunos años tenia mis dos casas una era propia y la otra la estoy pagando a Infonavit, la situación es que un vecino le gusto la casa que estoy pagando a Infonavit y yo necesitaba dinero el problema era que yo acababa de sacar el crédito y prácticamente debía todo el crédito Infonavit. Mi vecino y yo nos conocemos hace mucho tiempo y debido a la gran confianza hicimos un trato de palabra. Entonces lo que hicimos fue que metimos papelería por mi casa (no la que estoy pagando a infonavit) y me pago prácticamente la mitad del valor de la casa debido a que el trato es que el viviría en la casa que debo a infonavit y yo me quedaría en mi casa y así paso estuvimos viviendo cada quien en su casa. Yo en la mía y él en la que estoy pagando a infonavit, pagando servicios y pre dial normalmente. Esto del trato y la venta fue hace 8 años y nunca habíamos tenido problema cada quien esta pagando su crédito infonavit. En el trato que hicimos de palabra quedamos que al terminar los créditos nos regresaríamos las escrituras de las casas para que yo me quedara con mi casa donde yo he vivido durante 30 años y el la que compre con infonavit hace 9 años. El problema surgió hace dos semanas que me dijo que se arrepentía del trato y que ahora quiere mi casa donde he vivido 30 años y no la que estoy pagando en infonavit y donde el vivió por 8 años cómo fue el trato, que puedo hacer para que el respete el trato que hicimos de palabra y no me quite mi casa donde he vivido por 30 años y ademas cuesta el doble de lo que pago, ¿cómo le puedo hacer para que el no venda mi casa a otra persona?