가계약금 반환 후 계약 파기 시 배액배상 요구 가능한가요?

월세집을 1000만 원에 가계약을 맺었습니다. 계약 당시 대리인이 온다는 말을 미리 고지받지 못했습니다. 실제 방문했을 때 남편이라고만 자신을 소개하고 위임장도 없이 인감만 갖고 왔습니다. 불안해서 집주인과 통화하며 가족관계증명서와 신분증 확인, 대리인란이 없던 계약서에 서명하여 계약을 체결하고 1000만 원을 집주인의 계좌로 송금했습니다. 나중에 문제가 될 수 있어 중개사를 통해 위임장과 인감증명서를 요구했지만, 중개사가 귀찮아하며 신분증만 제시하면 계약을 파기할 수 있다는 말을 듣고 계약금만 반환받고 계약을 파기하는 것으로 합의했습니다. 그러나 이후 중개인이 계약서를 폐기해야 한다며 계약서를 전달하라고 요청하는 상황입니다. 이러한 경우에 임대인이 계약을 파기한 것으로 보고 배액배상을 요구할 수 있을까요? 상식적으로 필요한 서류를 요구했지만 거부당하고 계약금만 반환받았으므로 이사를 다시 준비해야 하는 상황입니다. 집주인과는 중개사를 통해서만 연락했었는데 배액배상을 요구할 수 있는지, 거부할 경우 어떤 조치를 취해야 하는지 궁금합니다.