如果工厂噪音扰民的话,归当地环保局管辖,你可以拨打12369投诉举报,也可以直接到当地环保局投诉举报。
可以与工地协商,要求合理安排工作与施工时间,停止侵权行为。如果协商不成或仍不改变可以提起侵权诉讼。