案例分析题买方向卖方订购50公吨货物，合同规定A、B、C、D、E五种规格按同等数量搭配。卖方按合同开立发票，买方凭发票和其他单据付了款。货到后发现所有50公吨货物均为A规格，买方只同意接受其中的1/5，拒收其余的4/5，并要求退回4/5的货款。卖方争辩说，不同规格搭配不符合同，只能给予适当经济赔偿，不能拒收，更不能退款。于是诉诸法院。

你认为法官该如何判决？理由何在？