LLM3 Retrievers - Retrievers는 특정 질문에 맞는 정보를 효율적으로 찾아내는 도구- LLM이 필요로 하는 관련 데이터를 빠르게 검색해주는 역할- 큰 데이터베이스나 여러 문서에서 적절한 답변에 필요한 정보를 추출해야 할 때 유용 LangChain의 Retrievers 주요 개념Retrievers의 역할:사용자의 질문에 맞는 관련 정보를 데이터베이스나 문서에서 찾아 필터링하는 작업을 수행합니다. 즉, 필요한 정보만을 빠르게 검색해 모델이 처리할 수 있도록 돕습니다.RAG(Retrieval-Augmented Generation)과의 관계:RAG는 Retrieval과 Generation을 결합한 방식으로, Retrievers는 이 중 Retrieval 역할을 담당합니다. 필요한 데이터를 먼저 찾아서, 그 데이터를 바탕.. 2024. 10. 29. 임베딩(Embedding) - 기계 학습, 특히 자연어 처리(NLP)에서 자주 사용되는 개념으로, 고차원 데이터를 저차원 벡터 공간으로 변환하는 방식- 텍스트, 이미지, 음성과 같은 비정형 데이터를 컴퓨터가 이해할 수 있는 숫자 벡터로 표현하는 데 사용- 임베딩은 데이터의 의미를 보존하면서 숫자 벡터 형태로 표현하는 것이 목적 임베딩의 정의:임베딩은 고차원 데이터를 저차원 벡터로 변환하는 방식입니다. 예를 들어, 자연어 처리에서 단어를 임베딩하면 단어의 의미를 담고 있는 벡터가 생성됩니다.이는 텍스트와 같은 데이터를 컴퓨터가 처리할 수 있도록 숫자 형태로 변환하는 작업입니다.차원 축소:임베딩은 고차원 공간에 있는 데이터를 낮은 차원(벡터)으로 매핑해줍니다. 차원을 줄이면서도 데이터의 중요한 정보를 유지하는 것이 핵심입니다. 예를.. 2024. 10. 17. LLM ( Large Language Model ) Large Language Model (LLM): 대규모 텍스트 데이터를 학습한 인공지능 모델로, 인간 언어를 이해하고 생성할 수 있음.자연어 처리(NLP) 모델: 인간의 언어를 다루는 다양한 작업에 사용됨(번역, 요약, 질문 응답 등).대규모 데이터 학습: 인터넷의 문서, 책, 뉴스 등 방대한 데이터를 학습해 언어의 구조와 의미를 파악함.수십억 개 이상의 파라미터: 학습한 정보를 저장하는 파라미터 수가 많아질수록 모델의 성능이 향상됨.문맥 이해: 단어 간의 관계와 문장의 의미를 문맥적으로 파악해 자연스러운 언어 생성 가능.다양한 작업 수행: 대화 생성, 질문 응답, 글쓰기 지원, 번역 등 다양한 언어 관련 작업을 처리함.사전 학습 + 미세 조정: 기본적으로 광범위한 데이터를 학습한 후 특정 작업에 맞춰.. 2024. 10. 10. 이전 1 다음