是土地流转政策吧？签了合同当然不会被支持收回，这是违约行为，不让施工可以起诉要求停止侵害；不过土地流转政策是不能改变土地用途的，没有经过合法的征地手续，在农用地上建房是违规行为。
要解决问题，关键在于2点，第一，你签的合同是否合法有效，包括你建房的用途是否合法；第二，如果合法，又迫于流氓的威胁，你要么起诉，要么要求他赔偿你的所有损失。
情节严重就敲诈勒索
