토크나이저(Tokenize)

 

📝 블로그 글귀: "토크나이저란 무엇인가요?"

---

자연어 처리에서 자주 들리는 단어, "토크나이저(Tokenizer)".
하지만 처음 접하면 무엇을 하는 도구인지, 왜 필요한지 헷갈릴 수 있어요.

사람은 글자를 보고 바로 이해할 수 있지만,
AI 모델은 텍스트를 그대로 이해하지 못합니다.
AI에게는 우리가 쓴 문장을 숫자로 바꿔줘야 하는데,
이 역할을 해주는 게 바로 토크나이저예요.

---

예를 들어,
"AI가 세상을 바꾼다"라는 문장을 입력하면,
토크나이저는 이를 다음과 같은 숫자 배열로 바꿉니다:

[10321, 283, 5192, 2019]

이 숫자들이 바로 모델이 이해하는 **"토큰(Token)"**입니다.
마치 사람이 외국어를 배우기 위해 단어장을 만드는 것처럼,
모델도 문장을 이해하려면 **미리 정의된 단어 목록(토큰 사전)**이 필요하죠.

---

또한 토크나이저는 단어를 쪼개는 방식도 담당합니다.
예를 들어 "바꾼다"라는 단어를 "바", "꾼다"처럼 나눠서 처리할 수도 있어요.
이렇게 하면 희귀 단어도 잘 처리할 수 있고,
모델의 효율도 높아집니다.

---

토크나이저의 핵심 기능은 다음과 같아요:

• ✏️ 텍스트를 토큰(숫자)으로 바꾸기 (Encode)
• 🔁 토큰을 다시 텍스트로 되돌리기 (Decode)
• 🔍 문장을 세부 단위로 나누기 (Tokenize)
• 🧠 특수 토큰(</s>, [PAD], <BOS> 등) 자동 처리

---

LLM을 직접 실행하거나 활용할 때,
토크나이저는 모델과 사용자 사이를 이어주는 통역사 같은 역할을 합니다.

즉,

🤖 모델은 생각보다 똑똑하지만, 우리의 언어를 바로 이해하진 못해요.
그래서 토크나이저라는 다리를 건너야만 제대로 소통할 수 있습니다.

---

📌 LLM을 처음 다뤄보신다면,
모델보다 먼저 '토크나이저'를 이해하는 것이 진짜 중요한 출발점이 될 수 있어요.

---