가계약금 환불 가능한가요?

집을 알아보던 중 계약서 없이 5000에 50에 합의하여 가계약금 100만원을 낸 상황입니다. 그러나 대출 관련 특약 문제로 계약을 맺지 않기로 했습니다. 상대방은 특약을 수용해야 한다는 조건을 건의했지만, 이에 동의하지 않아 가계약금 환불을 요청했습니다. 상대방은 특약 동의를 주장하며 환불을 거부했습니다. 이런 경우에 가계약금을 돌려받을 수 있을까요? 가계약이 계약으로 성립되는 조건을 충족했음에도 불구하고 상대방의 주장이 이해되지 않아 질문드립니다.