చిలకలూరిపేటలో గ్రానైట్ యాజమాన్యాలు, కార్మికుల ఆందోళన