퇴직자인데 연말정산을 어떻게 해야 할까요?

퇴직한 지 1년이 지났는데, 아직 연말정산을 어떻게 해야 하는지 궁금합니다. 직장 다닐 때는 보통 연초에 연말정산을 했었는데, 이제는 무직자이기 때문에 어디서 어떻게 해야 하는지 모르겠어요. 얼핏 들었을 때 5월에 해야 한다고 하는데, 정확한 정보를 알고 싶습니다. 세무서를 방문해야 할까요? 그렇다면 수수료를 내야 할까요? 세무서에 전화해서 물어보는 것은 민폐가 될까요? 도와주세요.. 지금 어떻게 해야 할지 막막합니다.