行，你当然可以不同意他的要求了，但关键是这样好吗？我个人觉得活在中国的人情社会，还是多想想好，如果你觉得心里不舒服，或是觉得有点亏，那就让他拿钱补偿嘛。如果他拒绝补偿，那就只能对不起了！面子我给你了，你接不住没办法！再一个，我国法律规定，禁止在农业用地、林地上修建房屋或是祠堂的！他要建是违法。
完全可以理直气壮拒绝。集体土地严禁擅自变更、私建祠堂
