text splitters1 Text Splitters - LangChain에서 텍스트 데이터를 작은 단위로 나누어 AI 모델이 더 효율적으로 처리할 수 있게 해주는 중요한 도구- 긴 텍스트를 여러 부분으로 분할하는 작업은 LLM 이 긴 문서나 여러 페이지에 걸친 데이터를 다룰 때 필수- 모델이 메모리 제한 없이 텍스트를 분석하고, 질문에 대한 답변을 효율적으로 제공.Text Splitters의 주요 개념텍스트 분할의 필요성:대형 언어 모델은 한 번에 처리할 수 있는 토큰(token) 수에 제한이 있습니다. 예를 들어, GPT-3는 한 번에 4096개의 토큰을 처리할 수 있는 제한이 있어요. 그래서 긴 문서나 텍스트는 이 한계를 넘지 않도록 적절히 나누어야 합니다.긴 문서를 처리할 때, 텍스트를 작은 단위로 나누어 LLM이 더 잘 이해하고 응답할 수 있도록 .. 2024. 10. 25. 이전 1 다음