A、小球的加速度方向水向右,所以合外力方向水平向右不为0,故A错误;B、对小球进行受力分析,小球竖直方向受力平衡:Ncosα=mg,得凹槽对小铁球的支持力N= mg cosα ,故B错误;C、对小球进行受力分析得:mgtanα=ma,解得:a=gtanα,故C正确;D、对整体进行受力分析,根据牛顿第二定律得:F=(M+m)a=(M+m)gtanα,故D错误;故选:C.