Soy hombre divorciado mi ex me cedió la guardia y custodia en el divorcio

Mi hijo tiene 11 años y mi hija 17 años con 9 meses, mi ex vive desde hace diez meses con su amante, yo me hago cargo al 100 % de alimentación, estudios diversión y hago todo el quehacer, solamente le pido a mi hija ayuda para lavar trastes y su ropa, y si no lo hace le quito el módem de Internet he ahí lo que la pone muy mal a mi hija , mi ex la solapa y mi hija se va a dormir con la mamá de mi ex para no hacer nada y para que mi hijo no se quede solo, acepto que también vaya el, el problema es que cuando llego por la noche de trabajar 11:45 pm su mamá se hace la dormida para no darme a mí hijo por que yo respeto la decisión de mi hija de dormir ahí, pero mi hijo quiere estar conmigo, alguien me comento que si sigo dejando que se duerman con mi ex suegra puedo perder la guardia y custodia: ¿es cierto? Gracias de ante mano y saludos.