介词后面的成分在语法上称作介词宾语。形容词 averse 用作表语时通常要加“对......”的具体对象,以使语义表达完整。是的,在这种语义表达方式(句型)中,必须使用 to 引导的介词短语。这个句型中的介词短语在语法上称作“表语补足语。”
be averse to something的 to something是形容词补语。
be averse相当于一个动词dislike, 你可以说 dislike sth后面sth是宾语, 但不能说be averse 后面是宾语,因为形容词后面不能有宾语, 所以to something这部分叫形容词补语adjective complement. 类似be afraid of sth也是这个结构。
至于什么时候用of 什么时候用to或其他介词, 并没有规律可循,都是英语习惯,既定的。