Если так надо оставить минусы — я бы сделал два счётчика — один для плюсов, другой для минусов. И да, отключил бы влияние кармы на что-либо.
Или даже больше счётчиков и кнопок, для разных эмоций.