承包土地是无法进行私下转让的，必须通过村组织对土地承包合同书进行修改，而且你们之间没有任何书面证明，于情于法你们的交易都是无效的，所以你可以拿回土地，但是必须赔偿对方的损失，包括盖房的费用，但是你们也可以主张自己的损失。
建议与律师面谈，了解详情，提供帮助。
