Mi casero me aumenta la renta a su gusto y si no pago, me corre

Tengo 5 años rentando una casa que estaba prácticamente en ruinas, la repare por mi cuenta y el casero me ha estado aumentando la renta a su gusto, por ejemplo: yo pagaba $3,500 mensuales en este 2017 y el enero me aumento a $4,000 y ahora en septiembre me dijo que ya son $4,500, le comente que es demasiado para mi y me dijo lo mismo de siempre, entonces vete, ahora si le conteste que estaba bien, que cuanto tiempo me daba y me contesto que el tiempo que quisiera, pero que en estos días, me mandaba una visita; la verdad no entiendo que es eso, pero ya me dio miedo y como es una persona muy agresiva, que cuando va a cobrar, nos empieza a gritar e insultar a mi madre (de la tercera edad) y ami; me podrían ayudar, por favor, ya que nunca nos entrego un contrato y me dijo que los recibos no los maneja y como la dueña es su esposa, lo único que puedo hacer, es que la Sra me firme en mi libreta, de donde le doy, puntual y sin falta, el pago de la renta; asesoría, por favor.