3X^(5+a)Y^4与-5X^3Y^(b+1)是同类项，∴5+a=3 , b+1=5 , 解得：a=-2，b=4，-2(ab-3a^2)-[a^2-5(ab-a^2)+2ab]=-2ab+6a^2-[a^2-5ab+5a^2+2ab]=-2ab+6a^2-6a^2+3ab=ab=(-2)×4=-8。
