Lexical 검색과 Semantic 검색

🧠 1. Lexical 검색 (문자 기반 검색)

**"단어 그 자체"**를 기준으로 일치하는 문서를 찾는 방식입니다.

✅ 특징

• 검색어와 문자 그대로 일치하는 단어가 포함된 문서를 찾음
• 대표 예시: TF-IDF, BM25, 일반적인 SQL LIKE 검색

✅ 예시

사용자 검색어: "냉장고 재료"

→ "냉장고에 들어있는 재료를 정리하는 법" ← ✅ 매치됨
→ "냉장고 요리" ← ❌ "재료"가 없으니 미매치

✅ 장점

• 빠르고 간단함
• 구현이 쉬움
• 키워드가 명확할 때 정확도 높음

❌ 단점

• 동의어, 의미 확장이 안됨 (ex: "냉장고 음식"은 매치 안 됨)
• 문장 구조나 의미는 고려하지 않음

---

🧠 2. Semantic 검색 (의미 기반 검색)

단어나 문장이 가진 **의미(semantic)**를 기반으로 유사한 문서를 찾는 방식입니다.

✅ 특징

• 검색어와 문서의 의미가 비슷하면 일치로 간주
• 임베딩을 사용해서 의미를 벡터화하고 비교
• 대표 예시: OpenAI Embeddings, Sentence Transformers, FAISS, Pinecone, Weaviate

✅ 예시

사용자 검색어: "냉장고 안에 뭐 있어?"

→ "냉장고 속 재료 분석 서비스" ← ✅ 의미가 유사하므로 매치됨
→ "남은 음식으로 요리 추천해줘" ← ✅ 관련성 있어 선택될 수 있음
→ "자동차 타이어 교체법" ← ❌ 의미가 전혀 달라 미매치

✅ 장점

• 동의어, 문장 구조, 표현 차이에 강함
• 자연어로 된 질문에도 잘 반응함
• 사용자 의도에 맞는 결과 제공 가능

❌ 단점

• 성능 높이려면 LLM or 임베딩 모델 필요
• 구축/운영 비용이 더 큼
• 벡터 검색 인프라 필요 (FAISS, Pinecone 등)

---

🔍 둘을 비교해보면?

 

기준	단어 일치	의미 유사도
기술	TF-IDF, BM25, SQL LIKE	임베딩 + 벡터 유사도
동의어 인식	❌ 안 됨	✅ 잘 됨
복잡도	낮음	높음
유용한 상황	키워드가 명확한 경우	질문이 다양하고 추상적일 때
대표 사용처	전통 검색 엔진, 뉴스 검색	챗봇, RAG, 추천 시스템 등

---

💡 그래서 언제 뭘 써야 돼?

 

상품명, 주소, 번호 등 정확히 일치해야 할 때	🔹 Lexical (BM25)
질문이 애매하거나 다양한 표현으로 올 수 있는 경우	🔹 Semantic (임베딩)
둘 다 중요할 때	🔹 하이브리드 검색 (Lexical + Semantic 점수 조합)

---

필요하시면:

• Semantic 검색 구축 예시 (Langchain + FAISS)
• Lexical + Semantic 조합 전략
• 실제 검색 품질 비교 테스트