주택 매매계약 이후 고민 중

얼마 전 어머니 아버지 모실 주택을 계약했는데, 서류 작업을 하러 갔다가 이곳이 맹지임을 알게 되었습니다. 주인은 사용에 문제가 없다고 하지만 집 앞 길은 주인이 아닌 시가 깔아준 길이라고 합니다. 어른들이 마음에 들어하셔서 고민 중인데, 계약을 파기하려고 합니다. 이때 계약금은 어떻게 돌려받을 수 있을까요? 처음 집을 볼 때 길이 마을 도로인지 물어보았고, 불법 건축물에 대한 안내도 받지 못했습니다. 계약 파기 시 책임은 어떻게 되는 건가요?