可以向法院起诉进行取消。离婚后，未与子女共同生活的一方，要是出现监护人对子女有犯罪行为、虐待行为或者对该子女明显不利的，未与子女共同生活的一方可以请求法院取消对方的监护人资格。

《民法典》第三十六条监护人有下列情形之一的,人民法院根据有关个人或者组织的申请,撤销其监护人资格,安排必要的临时监护措施,并按照最有利于被监护人的原则依法指定监护人:

(一)实施严重损害被监护人身心健康的行为;

(二)怠于履行监护职责,或者无法履行监护职责且拒绝将监护职责部分或者全部委托给他人,导致被监护人处于危困状态;

(三)实施严重侵害被监护人合法权益的其他行为。