如果是审判员担任审判长(即非院长担任),由院长决定;如果是院长担任审判长就要向审判委员会。但是说法官不公,要分清楚是哪方面啊,如果是因为法官跟对方当事人之间有什么亲戚关系啊利害关系或是其他关系是可以回避的,但是如果不是这些原因,只是法官认定事实主观上的错误不对,那你应该上诉或是申诉,申请再审