trouser是裤腿的意思,一条裤子是两条裤腿,所以是trousers,sweater当然就不用了
裤子两条腿所以复数,同类的还有袜子,短裤等,但是上身的衣服就不用这样了
原因很简单:裤子有两条腿,类似的有:gloves手套;socks短袜;scissors剪刀(这样的词一般会说a pair of)sweater羊毛套衫只有一件
英语语言习惯而已