Recuperar un inmueble vendido hace seis años

Quiero recuperar una casa que vendí de la cual me dieron un adelanto y ahora después de seis años el comprador ya no quiere finiquitar y quiere que le devuelva el dinero adelantado. Indico que el dinero que me dió el comprador lo hizo en parcialidades las cuales no fueron pactadas cuando vendí la propiedad, informo que todo lo que hizo el comprador fue fuera del acuerdo de compraventa, es decir se aprovechó de la necesidad que tenía de vender la casa, para pagar o dar adelantos cuando y como el quería, desde un inicio me quiso pagar en especie y no como yo lo había pactado... Que debo hacer para recuperar mi propiedad y para no devolver el dinero que me dieron de adelanto, ya que todo este tiempo el ha ocupado mi propiedad para su beneficio.