전체 아티클 목록으로
Database • 2026-11-02 • 약 4분 분량

Elasticsearch - 기본개념

루씬(Lucene) 기반 오픈소스 분산 검색엔진 Elasticsearch의 핵심 개념, 역인덱스(Inverted Index) 구조 원리, 그리고 클러스터·노드·샤드·레플리카 아키텍처 완벽 정리.

#Elasticsearch #Search Engine #Inverted Index #Cluster #Shard
[광고 영역] AdSense Top Unit Slot

Elasticsearch - 기본개념

Elasticsearch 는 내용이 방대하기 때문에 시리즈로 나누어 정리할 예정이며, 첫 번째 글에서는 Elasticsearch의 핵심 개념과 클러스터 아키텍처를 살펴본다.


1. Elasticsearch의 개념과 역인덱스(Inverted Index)

1.1 Elasticsearch란?

공식 문서와 위키피디아의 정의를 요약하면 다음과 같다:

"Elasticsearch는 아파치 루씬(Apache Lucene) 검색 라이브러리를 기반으로 개발된 확장성이 뛰어난 오픈소스 분산 풀텍스트(Full-Text) 검색 및 분석 엔진이다. HTTP RESTful 웹 인터페이스와 스키마에서 자유로운 JSON 문서를 지원하며, 방대한 양의 데이터를 거의 실시간(NRT: Near Real-Time)으로 저장·검색·분석할 수 있다."

즉, 루씬 라이브러리를 기반으로 분산 환경과 고가용성을 얹어 쓰기 쉽게 만든 검색 엔진이라고 이해하면 된다.


1.2 검색에 특화된 역인덱스(Inverted Index) 구조

관계형 데이터베이스(RDB)는 텍스트 검색 시 LIKE '%keyword%' 같은 풀 테이블 스캔을 해야 하므로 데이터가 늘어날수록 급격히 느려진다.
반면 Elasticsearch는 데이터를 저장할 때 역인덱스(Inverted Index) 구조로 가공하여 저장(색인: Indexing)하므로 초고속 검색이 가능하다.

역인덱스(Inverted Index) 구조 예시

역인덱스 저장 방식 예시

다음과 같은 3개의 문서가 있다고 가정하자:

문서 ID 원본 내용
1 오늘은 비가 왔다
2 비가 오면 파전이 땡긴다.
3 파전에는 막걸리지

Elasticsearch는 텍스트를 형태소 분석기(Analyzer)를 통해 토큰(Token) 단위로 쪼갠 뒤, 해당 토큰이 어느 문서에 등장하는지를 매핑하여 저장한다:

토큰 (단어) 포함된 문서 ID
오늘 1
비 1, 2
파전 2, 3
땡긴다 2
막걸리 3

💡 비유로 이해하기: 일반적인 책을 읽을 때 1페이지부터 끝까지 넘겨가며 단어를 찾는 것이 RDB 방식이라면, 책 맨 뒷장에 있는 '색인(Index)' 페이지에서 단어를 찾고 바로 해당 페이지 번호로 건너뛰는 것이 바로 Elasticsearch의 역인덱스 방식이다.


2. 엘라스틱서치 클러스터 구조 (Cluster Architecture)

Elasticsearch는 단일 서버가 아닌 여러 대의 서버가 묶여 하나의 시스템처럼 동작하는 분산 클러스터를 기본 전제로 설계되었다.

Elasticsearch Cluster 아키텍처 다이어그램


3. 핵심 구성 요소 상세 분석

3.1 도큐먼트 (Document)

  • Elasticsearch에서 데이터 저장의 최소 기본 단위인 JSON 객체다.
  • RDB의 테이블 레코드(Row)에 해당한다.
  • 각 도큐먼트에는 시스템 구성을 위한 예약 필드가 자동으로 부여된다:
  • _index: 도큐먼트가 저장된 인덱스의 이름
  • _type: 도큐먼트의 유형 (7.0 이후 _doc으로 고정)
  • _id: 도큐먼트를 식별하는 고유한 유니크 키

3.2 타입 (Type)

  • RDB의 테이블(Table)에 해당하는 개념이었다.
  • ⚠️ 중요 변경사항: Elasticsearch 7.0 미만에서는 하나의 인덱스 안에 여러 개의 타입을 둘 수 있었으나, 루씬 내부 구조상 필드 충돌 등의 문제로 인해 7.0부터는 타입 개념이 폐기(Deprecated)되어 단 하나의 기본 타입(_doc)만 사용할 수 있다.

3.3 인덱스 (Index)

  • 도큐먼트들의 논리적인 집합으로, RDB의 데이터베이스(Database)에 해당한다.
  • 하나의 클러스터 내에 원하는 만큼의 인덱스를 생성할 수 있다.

3.4 샤드(Shard)와 복제셋(Replicas)

Elasticsearch가 대용량 데이터를 처리하고 무중단 가용성을 유지하는 핵심 비결이다.

[Index A (총 4개 샤드)]
├── Node 1: [Primary Shard 0]   [Replica Shard 1]
└── Node 2: [Primary Shard 1]   [Replica Shard 0]

① 프라이머리 샤드 (Primary Shard)

  • 인덱스에 저장되는 도큐먼트가 물리적 디스크 한계를 초과하지 않도록, 인덱스 데이터를 여러 조각으로 수평 분할(Partitioning)한 단일 루씬 인덱스다.
  • 데이터가 여러 노드에 분산 저장되므로 병렬 처리가 가능해진다.

② 복제셋 (Replica Shard)

  • 프라이머리 샤드의 데이터를 복제(Backup)해 둔 복사본이다.
  • 장애 복구(Failover): 노드가 다운되었을 때 데이터 손실 없이 레플리카를 즉시 프라이머리로 승격시킨다.
  • 검색 성능 향상: 읽기(Read) 요청을 프라이머리와 레플리카가 나누어 처리하므로 검색 처리량(Throughput)이 비약적으로 증가한다.

⚠️ 가용성 불변 규칙: 고가용성을 보장하기 위해 동일한 번호의 프라이머리 샤드와 레플리카 샤드는 절대로 같은 노드에 배치되지 않는다.


3.5 노드(Node)의 유형과 역할

노드는 클러스터에 참여하는 개별 Elasticsearch 프로세스(서버 인스턴스)다. 규모에 따라 역할을 분리하여 운영한다:

  • Master Node: 노드 추가/제거, 인덱스 생성/삭제, 샤드 할당 등 클러스터 전반의 메타데이터와 상태 관리를 총괄한다.
  • Data Node: 실제 샤드 데이터를 디스크에 저장하고, CRUD, 검색, 집계(Aggregation) 등 리소스 집약적 작업을 수행한다.
  • Ingest Node: 도큐먼트를 실제 색인하기 전 사전 가공/변환(파이프라인 전처리)을 담당한다.
  • Coordinating Node: 대규모 환경에서 클러스터 상태 변경이나 데이터 저장 없이, 들어온 요청을 분산 라우팅하고 결과를 취합(Merge)만 전담하는 게이트웨이 역할을 수행한다.

4. 관계형 데이터베이스(RDB) vs Elasticsearch 개념 비교

RDB (관계형 데이터베이스) Elasticsearch 설명
Database Index 최상위 데이터 저장 논리 단위
Table Type (_doc) 데이터 그룹 (7.0 이후 인덱스당 단일 타입)
Row Document 단일 데이터 레코드 (JSON 포맷)
Column Field 도큐먼트 내 개별 속성 키/값
Schema Mapping 각 필드의 데이터 타입과 형태소 분석기 정의
SQL Query DSL 데이터를 질의하고 조작하는 인터페이스

마치며

이번 글에서는 Elasticsearch가 빠른 검색을 구현할 수 있는 근본 원리인 역인덱스(Inverted Index) 구조와, 대용량 분산 처리를 위한 클러스터, 노드, 샤드, 레플리카의 아키텍처를 살펴보았다.

다음 포스팅에서는 실제로 데이터를 색인하고 검색하는 과정에서 데이터가 어떻게 처리되는지 다룰 예정이다.

[광고 영역] AdSense Bottom Unit Slot