[Network] 네트워크 보안과 침입 탐지 및 방지 - Firewall, IDS/IPS

들어가며

네트워크 보안의 최전선에는 방화벽과 침입 탐지/방지 시스템이 있습니다. 방화벽은 네트워크 경계를 보호하는 첫 번째 방어선으로, 허가되지 않은 트래픽을 차단하고 내부 네트워크를 외부 위협으로부터 격리시킵니다. 침입 탐지/방지 시스템은 한 단계 더 나아가 악의적인 행위를 실시간으로 감지하고 차단합니다. 이 두 기술은 현대 네트워크 보안 아키텍처에서 상호 보완적으로 작동하며, 다층 방어 전략의 핵심을 구성합니다.

이번 글에서는 방화벽의 패킷 필터링과 상태 기반 검사 기술, 그리고 침입 탐지/방지 시스템(IDS/IPS)의 동작 원리에 대해 정리하겠습니다.

---

1. 방화벽의 개념과 역할

방화벽이란?

방화벽(Firewall)은 미리 정의된 보안 규칙에 따라 네트워크 트래픽을 모니터링하고 제어하는 보안 시스템입니다. 신뢰할 수 있는 내부 네트워크와 신뢰할 수 없는 외부 네트워크(인터넷) 사이에 위치하여, 허가된 트래픽만 통과시키고 나머지는 차단합니다.

방화벽의 필요성

방화벽이 없다면 내부 네트워크의 모든 시스템이 외부 공격에 직접 노출됩니다. 방화벽은 다음과 같은 역할을 수행합니다.

• 접근 제어: 특정 IP, 포트, 프로토콜 기반으로 트래픽을 허용하거나 차단
• 네트워크 분리: 내부 네트워크를 외부 위협으로부터 격리
• 로깅 및 감사: 네트워크 트래픽을 기록하여 보안 분석 및 컴플라이언스 준수

---

2. 방화벽의 유형과 기술

2.1 패킷 필터링 방화벽 (Packet Filtering Firewall)

패킷 필터링은 가장 기본적인 방화벽 기술로, 각 패킷의 헤더 정보를 검사하여 허용 또는 차단을 결정합니다. 주로 네트워크 계층(Layer 3)과 전송 계층(Layer 4)에서 동작합니다.

검사 항목

• 출발지/목적지 IP 주소
• 출발지/목적지 포트 번호
• 프로토콜 타입 (TCP, UDP, ICMP 등)
• 패킷 방향 (인바운드/아웃바운드)

장점

• 처리 속도가 빠르고 오버헤드가 적음
• 구현이 간단하고 비용 효율적
• 네트워크 성능에 미치는 영향이 최소화

단점

• 패킷의 내용(페이로드)은 검사하지 못함
• 애플리케이션 레벨의 공격을 탐지할 수 없음
• 세션 상태를 추적하지 못하여 스푸핑 공격에 취약
• ACL 규칙이 복잡해질수록 관리가 어려움

Cisco 라우터에서 패킷 필터링 설정 예시

! HTTP 트래픽만 허용하는 ACL
access-list 101 permit tcp any any eq 80
access-list 101 permit tcp any any eq 443
access-list 101 deny ip any any

! 인터페이스에 ACL 적용
interface GigabitEthernet0/0
 ip access-group 101 in

2.2 상태 기반 검사 방화벽 (Stateful Inspection Firewall)

상태 기반 검사(Stateful Inspection)는 패킷 필터링의 한계를 극복하기 위해 개발된 기술입니다. 개별 패킷만 검사하는 것이 아니라, 연결 세션의 상태를 추적하여 컨텍스트 기반의 보안 결정을 내립니다.

동작 원리

상태 기반 방화벽은 상태 테이블(State Table)을 유지하여 모든 활성 연결을 추적합니다. 새로운 패킷이 도착하면 다음과 같은 과정을 거칩니다:

1. 기존 연결 확인: 패킷이 이미 확립된 세션에 속하는지 확인
2. 세션 상태 검증: 패킷이 현재 연결 상태에서 유효한지 확인
3. 규칙 적용: 새로운 연결 시도인 경우 보안 규칙을 적용
4. 상태 테이블 업데이트: 허용된 연결을 상태 테이블에 기록

상태 테이블 예시

출발지 IP	출발지 포트	목적지 IP	목적지 포트	프로토콜	상태	타임아웃
192.168.1.10	52341	8.8.8.8	53	UDP	ESTABLISHED	30s
192.168.1.20	35678	203.0.113.5	443	TCP	ESTABLISHED	3600s
192.168.1.15	49821	1.1.1.1	80	TCP	SYN_SENT	60s

 

장점

• TCP 3-way handshake 등 프로토콜의 상태를 이해하고 검증
• 비정상적인 패킷 시퀀스를 탐지하여 공격 차단
• 동적 포트를 사용하는 프로토콜(FTP, SIP 등)을 효과적으로 처리
• 스푸핑 공격, 세션 하이재킹 등에 대한 방어 능력 향상

단점

• 패킷 필터링보다 처리 오버헤드가 큼
• 상태 테이블 관리를 위한 메모리 필요
• 암호화된 트래픽 내부는 검사 불가
• DDoS 공격으로 상태 테이블이 포화될 수 있음

대표적인 상태 기반 방화벽인 Cisco ASA 방화벽의 설정 예시

! 인터페이스 보안 레벨 설정
interface GigabitEthernet0/0
 nameif outside
 security-level 0
 ip address 203.0.113.1 255.255.255.0

interface GigabitEthernet0/1
 nameif inside
 security-level 100
 ip address 192.168.1.1 255.255.255.0

! 내부에서 외부로의 트래픽 허용 (상태 기반 검사 자동 적용)
access-list INSIDE_IN extended permit ip 192.168.1.0 255.255.255.0 any
access-group INSIDE_IN in interface inside

! 외부에서 내부 웹 서버로의 접근 허용
access-list OUTSIDE_IN extended permit tcp any host 192.168.1.10 eq 80
access-list OUTSIDE_IN extended permit tcp any host 192.168.1.10 eq 443
access-group OUTSIDE_IN in interface outside

! NAT 설정
object network INSIDE_NET
 subnet 192.168.1.0 255.255.255.0
 nat (inside,outside) dynamic interface

object network WEB_SERVER
 host 192.168.1.10
 nat (inside,outside) static 203.0.113.10

2.3 차세대 방화벽 (Next-Generation Firewall, NGFW)

차세대 방화벽은 전통적인 방화벽 기능에 애플리케이션 인식, 침입 방지, 사용자 식별 등의 고급 기능을 통합한 솔루션입니다.

주요 기능

• 애플리케이션 제어: 포트 번호가 아닌 실제 애플리케이션을 식별하여 제어
• 사용자 식별: Active Directory 등과 연동하여 사용자 기반 정책 적용
• SSL/TLS 복호화: 암호화된 트래픽을 검사
• 통합 위협 관리: IPS, 안티바이러스, 안티스팸 등 통합
• 클라우드 기반 위협 인텔리전스: 실시간 위협 정보 업데이트

---

3. 침입 탐지 시스템 (IDS)

IDS란?

침입 탐지 시스템(Intrusion Detection System, IDS)은 네트워크나 시스템에서 악의적인 활동이나 정책 위반을 탐지하는 보안 솔루션입니다. IDS는 트래픽을 수동적으로 모니터링하며, 의심스러운 활동을 발견하면 관리자에게 경고를 보냅니다.

IDS의 유형

3.1 네트워크 기반 IDS (NIDS)

NIDS(Network-based IDS)는 네트워크 세그먼트를 통과하는 모든 트래픽을 분석합니다. 주로 스위치의 미러 포트(SPAN 포트)에 연결되어 모든 패킷의 사본을 수신합니다.

 

장점

• 네트워크 전체를 광범위하게 모니터링
• 호스트에 에이전트 설치 불필요
• 다수의 호스트를 하나의 센서로 보호

단점

• 암호화된 트래픽 분석 불가
• 스위치 환경에서는 SPAN 포트 설정 필요
• 고속 네트워크에서 패킷 드롭 가능성

3.2 호스트 기반 IDS (HIDS)

HIDS(Host-based IDS)는 개별 시스템에 설치되어 해당 호스트의 활동을 모니터링합니다. 시스템 로그, 파일 무결성, 프로세스 활동 등을 감시합니다.

모니터링 대상

• 시스템 로그 파일
• 파일 시스템 변경 사항
• 레지스트리 변경 (Windows)
• 프로세스 실행 및 네트워크 연결

장점

• 암호화된 트래픽도 분석 가능 (복호화 후)
• 호스트별 상세한 컨텍스트 제공
• 네트워크 구조와 무관하게 배치 가능

단점

• 각 호스트에 에이전트 설치 및 관리 필요
• 시스템 리소스 소비
• 호스트가 침해되면 IDS도 무력화될 수 있음

IDS 탐지 방법론

3.3 시그니처 기반 탐지 (Signature-based Detection)

시그니처 기반 탐지는 알려진 공격 패턴을 사전에 정의된 시그니처와 비교하여 탐지합니다. 백신 소프트웨어의 바이러스 정의 파일과 유사한 개념입니다.

 

동작 방식

1. 공격 패턴을 시그니처 데이터베이스에 저장
2. 네트워크 트래픽이나 시스템 활동을 실시간으로 수집
3. 수집된 데이터를 시그니처와 비교
4. 일치하는 패턴 발견 시 경고 생성

장점

• 낮은 오탐률 (False Positive)
• 빠른 탐지 속도
• 명확한 공격 분류 및 설명

단점

• 알려지지 않은 공격(Zero-day)은 탐지 불가
• 시그니처 데이터베이스의 지속적인 업데이트 필요
• 공격자가 시그니처를 회피하도록 변형 가능

3.4 이상 탐지 (Anomaly-based Detection)

이상 탐지는 정상적인 행위 패턴을 학습한 후, 이를 벗어나는 비정상적인 활동을 탐지합니다. 기계학습 및 통계적 분석을 활용합니다.

동작 방식

1. 정상 트래픽/행위의 베이스라인 구축
2. 통계적 모델 또는 머신러닝 모델 생성
3. 실시간 데이터를 베이스라인과 비교
4. 통계적으로 유의미한 편차 발견 시 경고

장점

• 알려지지 않은 새로운 공격 탐지 가능
• 내부자 위협이나 비정상 행위 탐지에 효과적
• 제로데이 공격에 대한 방어 가능

단점

• 높은 오탐률 (정상 행위의 변화를 공격으로 오인)
• 베이스라인 구축을 위한 학습 기간 필요
• 복잡한 설정 및 튜닝 요구

 

---

4. 침입 방지 시스템 (IPS)

IPS란?

침입 방지 시스템(Intrusion Prevention System, IPS)은 IDS의 확장된 형태로, 악의적인 활동을 탐지할 뿐만 아니라 자동으로 차단합니다. IPS는 네트워크 경로 상에 인라인으로 배치되어 모든 트래픽이 IPS를 통과하도록 합니다.

IDS와 IPS의 차이점

구분	IDS	IPS
배치 방식	네트워크 외부(미러 포트)	네트워크 인라인(직렬 연결)
동작 방식	수동적 모니터링	능동적 차단
대응	경고 생성 및 알림	실시간 차단 및 대응
장애 영향	네트워크 연결에 영향 없음	장애 시 네트워크 단절 가능
성능 요구	상대적으로 낮음	높은 처리 성능 필요

IPS 동작 방식

1. 트래픽 수신: 모든 네트워크 패킷이 IPS를 통과
2. 실시간 분석: 시그니처 및 이상 탐지 기법으로 검사
3. 위협 탐지: 악의적인 트래픽 식별
4. 자동 대응: 차단, 드롭, 리셋 등 즉각 조치
5. 로깅: 탐지 및 대응 내역 기록

IPS의 차단 방법

1. 패킷 드롭 (Packet Drop)

악의적인 패킷을 폐기하여 목적지에 도달하지 못하도록 함

2. TCP 리셋 (TCP Reset)

TCP 연결을 강제로 종료하는 RST 패킷을 양쪽 끝점에 전송

3. IP 차단 (IP Blocking)

공격 출발지 IP 주소를 일정 시간 동안 차단

4. 세션 종료 (Session Termination)

확립된 세션을 강제로 종료

 

IPS 운영 시 고려사항

오탐 (False Positive) 관리

정상 트래픽을 공격으로 오인하여 차단하는 것을 방지하기 위해 화이트리스트 관리 및 시그니처 튜닝이 필요합니다.

성능 영향

모든 트래픽이 IPS를 통과하므로 충분한 처리 성능이 확보되어야 합니다. 네트워크 대역폭과 IPS 처리 용량을 고려해야 합니다.

Fail-Open vs Fail-Close

• Fail-Open: IPS 장애 시 트래픽을 그대로 통과 (가용성 우선)
• Fail-Close: IPS 장애 시 트래픽을 차단 (보안 우선)

---

5. 방화벽과 IPS의 통합 운영

다층 방어 전략 (Defense in Depth)

현대 네트워크 보안은 단일 보안 장비에 의존하지 않고, 여러 계층의 보안 통제를 결합합니다.

통합 위협 관리 (UTM)

UTM(Unified Threat Management)은 방화벽, IPS, 안티바이러스, 웹 필터링, VPN 등 여러 보안 기능을 하나의 어플라이언스에 통합한 솔루션입니다.

 

UTM의 장점

• 단일 관리 콘솔로 통합 관리
• 하드웨어 및 운영 비용 절감
• 중소규모 네트워크에 적합

UTM의 단점

• 단일 장애점(Single Point of Failure)
• 대규모 네트워크에서 성능 제약
• 특화된 기능의 깊이가 부족할 수 있음

---

마무리 및 정리

방화벽과 침입 탐지/방지 시스템은 네트워크 보안의 핵심 구성 요소입니다. 방화벽은 네트워크 경계를 보호하는 첫 번째 방어선으로, 패킷 필터링부터 상태 기반 검사, 차세대 방화벽까지 발전해 왔습니다. IDS는 수동적으로 위협을 탐지하고 경고하는 반면, IPS는 능동적으로 위협을 차단합니다.

 

[핵심 개념 정리]

• 패킷 필터링은 빠르지만 제한적인 보안 제공
• 상태 기반 검사는 세션을 추적하여 더 강력한 보안 제공
• IDS는 탐지 및 경고에 집중, IPS는 실시간 차단 수행
• 시그니처 기반 탐지는 알려진 위협에 효과적, 이상 탐지는 새로운 위협 대응 가능
• 다층 방어 전략이 단일 보안 장비보다 효과적

다음 글에서는 암호화 프로토콜 (TLS, SSH)에 대해 다루며, 데이터 전송의 기밀성과 무결성을 보장하는 방법을 살펴보겠습니다.