《建筑法》第64条规定:“违反本法规定,未取得施工许可证或者开工报告未经批准擅自施工的,责令改正,对不符合开工条件的责令停止施工,可以处以罚款。”所以,依照本条规定,对违反建筑工程施工许可的规定擅自施工的行为,应根据不同情况分别作出相应的处理。