我和同村的土地紧挨着，我家因为盖房子需要和对方商量想在他家土地上盖房子。对方同意后我家盖了房子，房子盖了以后房子旁边还有一点剩余土地。到2010年我和对方商量想在这块剩余土地上打一口井，对方也同意了。我就打了一口井。随后他找我说有想养牛的意愿让我给他一片地。我也觉得也不能白占，关系好归关系好。我就把和他紧挨着的土地给他了作为交换，后来我就在房子旁边的这块剩地上盖了厕所，垫了一些土种了菜，也种了七棵果树。到2019年因为跟着他干了一点活，他因为自身原因干赔本了，我们只是跟着他干活，也没有任何合同。他说赔本了也不能让我们好过，心生不满，说一定得要回这块土地，中间我也找过他几回，我也说再拿出一块地给他，他出尔反尔，非得要回这块地。请问如果这件事对方起诉到人民法院，他能要回这块已经盖了房子的土地吗？如果起诉，我该怎么办？