不履行离婚协议，可以直接去法院起诉。根据婚姻法规定，一方拒不执行离婚协议中约定内容的，另一方可向人民法院提起诉讼，由人民法院依法强制执行。根据《中华人民共和国婚姻法》规定：第四十八条 对拒不执行有关扶养费、抚养费、赡养费、财产分割、遗产继承、探望子女等判决或裁定的，由人民法院依法强制执行。有关个人和单位应负协助执行的责任。
离婚后，如果男方不履行离婚协议，可以到法院起诉，至于是否推翻协议要根据具体情况。
