알바를 하면서 사대보험을 떼고 있는데, 연말정산 대상이 아닌가요?

지난 2023년 3월 18일부터 알바를 시작해서 지금까지 계속 하고 있습니다. 현재 사대보험을 떼고 있는데, 연말정산 대상이 아닌가요? 사장님께 여쭤봤더니 타 사업장에서 소득이 없으면 연말정산을 안 해도 된다고 하는군요. 하지만 제가 사대보험을 떼고 있고 연말대상자로 알고 있습니다. 정확한 상황을 알고 계신다면 조언 부탁드립니다.