DNS(Domain Name System)는 사용자가 입력한 도메인명을 IP 주소로 변환하는 인터넷의 핵심 구성 요소다. 하지만 전통적인 DNS는 평문(plain text)으로 전송되기 때문에, 제3자에 의한 감청, 위변조, 추적에 취약하다. 이러한 보안 문제를 해결하기 위해 등장한 기술이 DNS over HTTPS(DoH) 와 DNS over TLS(DoT) 이다. 두 기술 모두 DNS 트래픽을 암호화하여 프라이버시와 보안을 강화하지만, 작동 방식과 구현 환경에는 명확한 차이가 존재한다. 이 글에서는 DoH와 DoT의 구조, 보안성, 구현 방식, 실무 적용 고려사항 등을 비교 분석한다.
전통적인 DNS의 보안 문제
기존 DNS 요청은 UDP(또는 TCP) 53번 포트를 통해 암호화되지 않은 상태로 전달된다. 이 과정에서 발생하는 보안 리스크는 다음과 같다.
- 중간자 공격(MITM)에 의한 응답 변조
- 인터넷 사용자의 접속 이력 추적 가능
- DNS 스푸핑을 통한 악성 사이트 유도
- ISP 또는 공용 네트워크에서의 검열 및 감청
DNS over HTTPS (DoH)
DoH는 HTTPS 프로토콜(포트 443) 을 이용하여 DNS 쿼리를 암호화된 HTTP 요청으로 전송하는 방식이다. 웹 트래픽과 동일한 포트를 사용하므로, DNS 트래픽이 일반적인 HTTPS 요청과 구분되지 않아 감지나 차단이 어렵다.
구조 및 작동 방식
- 클라이언트가 DNS 쿼리를 HTTP/2 또는 HTTP/3 메시지로 변환
- TLS를 통해 암호화된 채널로 DoH 서버에 전송
- 응답도 암호화된 HTTPS 메시지로 수신
- 일반적인 DNS 응답처럼 처리하여 사용자에게 전달
장점
- 웹 트래픽과 동일한 포트를 사용해 필터링 회피 가능
- 프록시 및 CDN과 쉽게 연동 가능
- 브라우저 수준에서 구현 가능 (Chrome, Firefox 등)
단점
- HTTP 스택 의존성으로 인해 시스템 네이티브 DNS보다 느릴 수 있음
- 기업 보안 정책(예: DNS 로깅, 차단)이 무력화될 수 있음
DNS over TLS (DoT)
DoT는 DNS 쿼리를 TLS(Transport Layer Security) 로 암호화하여, 전용 포트 853을 통해 DNS 서버에 전송하는 방식이다. DoH와 달리 일반 DNS 요청 형식을 유지하면서 암호화만 추가하는 구조다.
구조 및 작동 방식
- 클라이언트가 DNS 요청을 생성
- TLS 핸드셰이크를 통해 보안 채널 설정
- 암호화된 채널을 통해 DNS 요청 전송
- 응답도 TLS를 통해 복호화되어 전달
장점
- 프로토콜 구조가 간단하여 성능상 오버헤드가 적음
- 시스템 DNS 스택과 자연스럽게 통합 가능
- ISP, 기업 환경에서도 정책 제어 용이
단점
- 포트 853 사용으로 인해 방화벽이나 ISP에 의해 차단될 가능성
- HTTPS와 달리 Web 트래픽과 섞이지 않아 트래픽 은닉성은 낮음
보안성 비교
| 항목 | DoH | DoT |
|---|---|---|
| 암호화 수준 | TLS 기반 동일 | TLS 기반 동일 |
| 트래픽 은닉성 | 높음 (HTTPS 포트 사용) | 낮음 (포트 853 고정) |
| 차단 우회 가능성 | 높음 | 낮음 |
| 보안 정책 통제 | 어려움 | 비교적 쉬움 |
| 감청/스푸핑 방지 | 동일 수준 제공 | 동일 수준 제공 |
두 방식 모두 암호화 수준 자체는 동등하지만, 트래픽 흐름의 가시성과 제어 가능성 측면에서 차이가 발생한다.
실무 적용 시 고려사항
1. 운영 환경에 맞는 선택
- 개인 사용자, 공용 Wi-Fi, 검열 우회 목적 → DoH 선호
- 기업, 학교, 기관망 등 보안 통제가 필요한 환경 → DoT 선호
2. DNS 서버 지원 확인
Cloudflare(1.1.1.1), Google Public DNS(8.8.8.8), Quad9 등 주요 DNS 제공 업체는 두 방식을 모두 지원한다. 사용하려는 클라이언트 소프트웨어와 DNS 서버의 호환성을 확인해야 한다.
3. 브라우저 vs 운영체제 적용 방식
- DoH는 브라우저(예: Firefox, Chrome) 단위로 설정하는 경우가 많음
- DoT는 OS 수준(예: Android, macOS, systemd-resolved)에서 설정 가능
4. 성능 영향
DoH는 HTTP/2, HTTP/3와 같은 복잡한 프로토콜을 사용하기 때문에 초기 요청 처리 시간이 다소 길 수 있다. 반면 DoT는 상대적으로 단순한 구조 덕분에 응답 속도가 빠른 경우가 많다.
결론: 보안성과 제어 수준에 따라 전략적 선택 필요
DoH와 DoT는 각각의 환경과 목적에 따라 장단점이 뚜렷하다. 둘 다 평문 DNS의 취약점을 보완하는 강력한 보안 기술이지만, 보안 정책 제어가 필요한 환경과 프라이버시 보호가 중요한 환경에서는 서로 다른 선택이 요구된다.
DoH는 사용자 프라이버시 보호에 강하고, DoT는 기업 환경의 통제와 성능 최적화에 유리하다. 사용자는 목적에 따라 두 기술을 올바르게 선택하고 구성함으로써, DNS 보안을 한층 강화할 수 있다.