Напрямую отказаться от вывоза мусора нельзя: это не предусмотрено законом, но у Вас есть право пересчитать уже произведенные начисления ....

В случае если на участке ни кто не проживал в период более 5 дней (т.е. 6 дней и более, при этом день приезда и отъезда в этот период не входит) … собственник в праве обратиться письменно  для перерасчета оплат за вывоз мусора.

Основание - Постановлением Правительства РФ от 06.05.2011 № 354 и ч. 11 ст. 155 ЖК РФ.

Подробнее - читаем полный текст статьи.