Necesito que me ayuden para ver un arreglo de una patria potestad de mis hijos

Mi caso es el siguiente. Me separé hace siete meses, él me corrió de su casa y no me dejó sacar a mis hijos y habíamos llegado a un acuerdo de que como yo trabajo que entre semana estuvieran con él de lunes a viernes hasta las 5 y de ahí yo hasta el lunes a las 8. Ahora me los quieren quitar diciendo que no tengo tiempo. ¿Qué debo hacer?