¿Pueden demandarme por sustraccion de menores aún con el conocimiento del padre?

Me divorcié hace 8 años y al año decidí irme a vivir a otro Estado con mis hijos, ya que el padre casi no veía a mis hijos (él no pedía verlos) debido a eso, él nunca cumplió con la pensión alimenticia, ahora quiero reclamar el retroactivo de esos años y él dice que me va a demandar por sustracción de menores, yo me quedé con la patria potestad de ellos y siempre le notifiqué en dónde estábamos y nunca protestó, ni dijo nada al respecto. En las vacaciones, mis hijos podían estar con él si él quería, pero él nunca hizo nada para que lo visitaran, al contrario, yo corrí con todos los gastos para que mis hijos lo fueran a ver. Ellos querían verlo, inclusive les tuve que dar dinero para que esos días tuvieran para sus alimentos, porque él todo el tiempo dice que no tiene dinero, desde entonces no lo han visitado, pero es porque él no me lo ha solicitado, a veces me las veo muy difícil y le pido su apoyo para ellos y pues no lo hace así que quiero saber si él me puede demandar por ese hecho.