Токенізація та основи NLP: BPE, SentencePiece і WordPiece

Токенізація — це процес розбиття тексту на підодиниці (токени), які може обробляти модель. Цей процес, що є основою сучасних LLM, безпосередньо впливає на продуктивність моделі.

Що таке токенізація?

Токенізація — це перший крок у перетворенні сирцевого тексту на числові представлення:

"Hello world!" → ["Hello", "world", "!"] → [1234, 5678, 99]

Рівні токенізації

1. Побуквений рівень: Кожен символ є токеном.
2. Покуреневий рівень: Кожне слово є токеном.
3. Рівень підслів: Слова розділяються на менші підодиниці (сучасний підхід).

Токенізація на рівні слів

Простий підхід

1def word_tokenize(text):
2    return text.split()
3
4# Example
5text = "Artificial intelligence is shaping the future"
6tokens = word_tokenize(text)
7# ['Artificial', 'intelligence', 'is', 'shaping', 'the', 'future']

Проблеми

1. OOV (Out of Vocabulary): Зустрічання слів, яких не було під час тренування.
2. Великий словник: Неефективність керування сотнями тисяч слів.
3. Морфологічне різноманіття: У мовах із багатою морфологією кількість варіацій слів є дуже великою.
4. Складні слова: Питання, чи має «Artificial intelligence» бути одним поняттям чи двома.

Токенізація на рівні символів

1def char_tokenize(text):
2    return list(text)
3
4# Example
5text = "Hello"
6tokens = char_tokenize(text)
7# ['H', 'e', 'l', 'l', 'o']

Переваги

• Немає проблеми OOV.
• Малий розмір словника (~100 символів).

Недоліки

• Дуже довгі послідовності.
• Втрата контекстуального значення на рівні токенів.
• Вищі обчислювальні витрати моделі.

Токенізація підслів

Вибір сучасних LLM: баланс між рівнем слів і символів.

"tokenization" → ["token", "ization"]
"unhappiness" → ["un", "happiness"] або ["un", "happy", "ness"]

BPE (Byte Pair Encoding)

Найпоширеніший алгоритм токенізації підслів.

Алгоритм BPE

1. Розбити текст на окремі символи.
2. Знайти найчастішу пару сусідніх символів.
3. Об’єднати цю пару в новий токен.
4. Повторювати процес, доки не буде досягнуто потрібного розміру словника.

Приклад BPE

1Starting vocabulary: ['l', 'o', 'w', 'e', 'r', 'n', 's', 't', 'i', 'd']
2Corpus: "low lower newest lowest widest"
3
4Step 1: Most frequent pair 'e' + 's' → 'es'
5Step 2: Most frequent pair 'es' + 't' → 'est'
6Step 3: Most frequent pair 'l' + 'o' → 'lo'
7Step 4: Most frequent pair 'lo' + 'w' → 'low'
8...
9
10Final Result: ['low', 'est', 'er', 'new', 'wid', ...]

Реалізація BPE

1def get_stats(vocab):
2    pairs = {}
3    for word, freq in vocab.items():
4        symbols = word.split()
5        for i in range(len(symbols) - 1):
6            pair = (symbols[i], symbols[i + 1])
7            pairs[pair] = pairs.get(pair, 0) + freq
8    return pairs
9
10def merge_vocab(pair, vocab):
11    new_vocab = {}
12    bigram = ' '.join(pair)
13    replacement = ''.join(pair)
14    for word in vocab:
15        new_word = word.replace(bigram, replacement)
16        new_vocab[new_word] = vocab[word]
17    return new_vocab
18
19def train_bpe(corpus, num_merges):
20    vocab = get_initial_vocab(corpus)
21    
22    for i in range(num_merges):
23        pairs = get_stats(vocab)
24        if not pairs:
25            break
26        best_pair = max(pairs, key=pairs.get)
27        vocab = merge_vocab(best_pair, vocab)
28    
29    return vocab

WordPiece

Алгоритм, розроблений Google і використаний у таких моделях, як BERT.

BPE vs WordPiece

Приклад WordPiece

1"tokenization" → ["token", "##ization"]
2"playing" → ["play", "##ing"]
3## SentencePiece
4
5Незалежний від мови токенайзер, також розроблений Google.
6
7### Features
8
9- **Language Independent:** Не припускає, що пробіл є розділювачем слів.
10- **Byte-level:** Працює безпосередньо з сирим текстом.
11- **BPE + Unigram:** Підтримує декілька алгоритмів.
12- **Reversible:** Можлива ідеальна детокенізація.
13
14### SentencePiece Usage
15
16```python
17import sentencepiece as spm
18
19# Training the model
20spm.SentencePieceTrainer.train(
21    input='corpus.txt',
22    model_prefix='tokenizer',
23    vocab_size=32000,
24    model_type='bpe'  # or 'unigram'
25)
26
27# Loading and using the model
28sp = spm.SentencePieceProcessor()
29sp.load('tokenizer.model')
30
31# Encode
32tokens = sp.encode('Hello world', out_type=str)
33# ['▁Hello', '▁world']
34
35ids = sp.encode('Hello world', out_type=int)
36# [1234, 5678, 9012]
37
38# Decode
39text = sp.decode(ids)
40# 'Hello world'

▁ (Underscore) Symbol

SentencePiece позначає початок слів за допомогою ▁:

"Hello world" → ["▁Hello", "▁world"]
"New York" → ["▁New", "▁York"]

Tiktoken (OpenAI)

Спеціалізована реалізація BPE, яку використовує OpenAI.

1import tiktoken
2
3# Loading the encoder
4enc = tiktoken.encoding_for_model("gpt-4")
5
6# Encode
7tokens = enc.encode("Hello world!")
8# [12345, 67890, 999]
9
10# Decode
11text = enc.decode(tokens)
12# "Hello world!"
13
14# Check token count
15print(len(tokens))  # 3

Model-Encoder Mappings

Hugging Face Tokenizers

1from transformers import AutoTokenizer
2
3# Loading the tokenizer
4tokenizer = AutoTokenizer.from_pretrained("bert-base-uncased")
5
6# Encode
7encoded = tokenizer("Hello, world!", return_tensors="pt")
8# {
9#   'input_ids': tensor([[101, 7592, 1010, 2088, 999, 102]]),
10#   'attention_mask': tensor([[1, 1, 1, 1, 1, 1]])
11# }
12
13# Decode
14text = tokenizer.decode(encoded['input_ids'][0])
15# "[CLS] hello, world! [SEP]"
16
17# Token List
18tokens = tokenizer.tokenize("Hello, world!")
19# ['hello', ',', 'world', '!']

Fast Tokenizers

1from tokenizers import Tokenizer, models, trainers, pre_tokenizers
2
3# Creating a new tokenizer
4tokenizer = Tokenizer(models.BPE())
5tokenizer.pre_tokenizer = pre_tokenizers.Whitespace()
6
7trainer = trainers.BpeTrainer(
8    vocab_size=30000,
9    special_tokens=["[PAD]", "[UNK]", "[CLS]", "[SEP]", "[MASK]"]
10)
11
12tokenizer.train(files=["corpus.txt"], trainer=trainer)
13tokenizer.save("my_tokenizer.json")

Special Tokens

Common Special Tokens

Chat Tokens

1<|system|>You are a helpful assistant<|end|>
2<|user|>Hello!<|end|>
3<|assistant|>Hello! How can I help you today?<|end|>

Tokenization Challenges in Turkish

Morphological Richness

1"gelebileceklermiş" (they were said to be able to come) → A single word but complex structure
2gel (come) + ebil (can) + ecek (will) + ler (they) + miş (reportedly)
3
4Tokenization:
5- Poor: ["gelebileceklermiş"] (Single token, very rare)
6- Good: ["gel", "ebil", "ecek", "ler", "miş"]

Solutions

1. Turkish-optimized tokenizer training.
2. Integration of morphological analysis.
3. Suffix-aware BPE application.

Обмеження токенів і їхнє керування

Вікно контексту

Оцінка кількості токенів

1def estimate_tokens(text):
2    # Rough estimate: 1 token ≈ 4 characters (English)
3    # For Turkish: 1 token ≈ 3 characters
4    return len(text) // 3
5
6# More accurate calculation
7def count_tokens(text, model="gpt-4"):
8    enc = tiktoken.encoding_for_model(model)
9    return len(enc.encode(text))

Висновок

Токенізація є фундаментальним будівельним блоком NLP та LLM. Методи субслів, такі як BPE, WordPiece і SentencePiece, відіграють критичну роль в успіху сучасних мовних моделей. Вибір і налаштування правильного токенайзера безпосередньо впливає на кінцеву продуктивність моделі.

У Veni AI ми пропонуємо стратегії токенізації, спеціалізовані для рішень у сфері турецького NLP.