대량의 자금 이체와 세무조사 문제

가령 한 사람의 계좌에서 대액인 1억 원이 다른 사람의 계좌로 이체되었다가 잠시 후에 다시 이전한 경우, 이후 세무 당국이 이를 조사할 때 문제가 될까요? 같은 금액이 단시간에 왔다 갔다 하는 상황이라도 세무상의 문제로 취급되지 않을까요? 이러한 자금 이체는 선물이나 증여로 간주되지 않고 과세될 가능성이 있는 걸까요?