对于没有协议的话土地使用权所有人可以收回房屋的权利，但是有协议的规定的话房屋还是应该属于房屋建造者的。要结合自身的相关情况来确定。

【法律依据】

根据《中华人民共和国物权法》第一百五十三条“宅基地使用权的取得、行使和转让，适用土地管理法等法律和国家有关规定”