土地闲置费由国土资源部门根据国家《土地管理法》来征收的。

【法律依据】

根据《土地管理法》第三十七条，禁止任何单位和个人闲置、荒芜耕地。已经办理审批手续的非农业建设占用耕地，一年内不用而又可以耕种并收获的，应当由原耕种该幅耕地的集体或者个人恢复耕种，也可以由用地单位组织耕种；一年以上未动工建设的，应当按照省、自治区、直辖市的规定缴纳闲置费；连续二年未使用的，经原批准机关批准，由县级以上人民政府无偿收回用地单位的土地使用权；该幅土地原为农民集体所有的，应当交由原农村集体经济组织恢复耕种。