按法律规定，公司效益不好随便降工人工资的行为，属于克扣劳动者工资的行为，是违法行为。所以公司不能随便降劳动者工资。

【法律依据】

根据《劳动法》第九十一条，用人单位有下列侵害劳动者合法权益情形之一的，由劳动行政部门责令支付劳动者的工资报酬、经济补偿，并可以责令支付赔偿金：

（一）克扣或者无故拖欠劳动者工资的；

（二）拒不支付劳动者延长工作时间工资报酬的；

（三）低于当地最低工资标准支付劳动者工资的；

（四）解除劳动合同后，未依照本法规定给予劳动者经济补偿的。