부동산 계약서 작성 후 생긴 의문

저번 주에 다가구주택 월세 부동산 계약서를 작성했어요. 처음 하는 일이라 정신이 없이 지나갔는데, 부동산 측에서 제 도장과 임대인의 도장을 만들어서 중개인이 임대인 측의 도장까지 찍었어요. 위임장이 필요한지 물어봤는데 필요 없다고 하셨고, 현재 위임장과 인감증명서를 받지 못했습니다. 임대인이 연세가 많으셔서 아프시다고 하셨어요. 계약금까지 보냈는데, 위임장이 없어서 계약이 무효일 수 있다는 주장이 있고 계약 취소를 할 수 있을지 궁금해요. 계약금은 그대로 돌려받을 수 있을까요? 집을 보고 계약까지 진행한 당일에 너무 서둘러서 이후에 집이 마음에 들지 않는다는 생각이 들었어요. 임대인을 만나보지도 않았는데, 이런 경우 어떻게 해야 할지 모르겠어요.