¿Cómo proceder contra un invasor a casa habitación?

Tengo un vecino que desde hace aprox. 4 años se metió a la casa que esta junto a la mía, pero es demasiado molesto esta persona y la vez que le pedí que le bajara a la música casi me quería golpear diciendo que él estaba en su casa, lo cual realmente dudo, pero como puedo realizar una verificación y si es posible que se puede realizar en estos casos para desalojarlo, porque a mi me costaron 15 años de pagos y el solo como pedro por su casa se mete y la habita. Hable con infonavit y en pocas palabras me dijeron que acudiera a ciertas instancias legales y que se llegara a un acuerdo con esta persona. Yo no quiero ningún acuerdo con esta persona corriente, solo quiero saber si se puede desalojar y/o en un tiempo prudente mejor salirme yo. Gracias y quedo en espera de su respuesta. Saludos.