根据我国《劳动合同法》第七十一条规定：“非全日制用工双方当事人任何一方都可以随时通知对方终止用工。终止用工，用人单位不向劳动者支付经济补偿。”

法律赋予非全日制用工的劳动者和用人单位双方任意解除权，但终止用工，应该通知另一方。通知可以采用书面形式，也可以采用口头的形式。

因此，用工单位可以随时辞掉兼职人员。