我是卖家,中介和卖家连房都没看,就要买我的房,而且我告诉他们现在房子租出去了,我没跟租房子的人说,我不想卖房,后来他们就把我叫到中介去说去谈下,然后稀里糊涂签了买卖合同,签合同时我还说了我要去跟租客说下,如果租客不同意搬我就不付违约金,可是中介没写上,后来我跟租客说了,别人不同意搬,同时我发现房子卖低了,就不想卖了,现在定金中介收了,我只出示了身份证,其他的证件都没有,合同中说我押房产证就把定金转我,现在我不想卖了,不想付违约金,该怎么办?