Βάσεις Δεδομένων Διανυσμάτων και Συστήματα Αναζήτησης Ενσωματώσεων

Οι βάσεις δεδομένων διανυσμάτων είναι εξειδικευμένες βάσεις δεδομένων βελτιστοποιημένες για την αποθήκευση και την εκτέλεση αναζητήσεων ομοιότητας σε διανύσματα υψηλών διαστάσεων. Αποτελούν θεμελιώδες συστατικό των σύγχρονων εφαρμογών AI, ιδιαίτερα των συστημάτων RAG (Retrieval-Augmented Generation).

Τι είναι μια Βάση Δεδομένων Διανυσμάτων;

Ενώ οι παραδοσιακές βάσεις δεδομένων είναι βελτιστοποιημένες για αναζητήσεις ακριβούς αντιστοίχισης, οι βάσεις δεδομένων διανυσμάτων επικεντρώνονται σε αναζητήσεις Approximate Nearest Neighbor (ANN).

Βασικές Έννοιες

Embedding: Μια αριθμητική διανυσματική αναπαράσταση δεδομένων (κείμενο, εικόνα, ήχος).

"Artificial intelligence" → [0.12, -0.45, 0.89, ..., 0.34] (e.g., 1536 dimensions)

Similarity Search: Εύρεση των διανυσμάτων που βρίσκονται πιο κοντά σε ένα διανυσματικό ερώτημα.

query_vector → Top-K most similar vectors

Μετρικές Απόστασης:

• Cosine Similarity: Κατευθυντική ομοιότητα.
• Euclidean Distance (L2): Γεωμετρική απόσταση.
• Dot Product: Εσωτερικό γινόμενο διανυσμάτων.

Μετρικές Ομοιότητας: Αναλυτική Εξήγηση

Cosine Similarity

cos(A, B) = (A · B) / (||A|| × ||B||)

Εύρος Τιμών: [-1, 1]

• 1: Ίδια κατεύθυνση (ταυτόσημα).
• 0: Ορθογώνια (άσχετα).
• -1: Αντίθετη κατεύθυνση.

Use Case: Ομοιότητα κειμένου, semantic search.

Euclidean Distance (L2)

d(A, B) = √(Σ(Aᵢ - Bᵢ)²)

Εύρος Τιμών: [0, ∞) Use Case: Ομοιότητα εικόνων, clustering.

Dot Product

A · B = Σ(Aᵢ × Bᵢ)

Use Case: Ισοδύναμο με cosine για κανονικοποιημένα embeddings.

Αλγόριθμοι Ευρετηρίασης

1. Brute Force (Flat Index)

Σύγκριση του ερωτήματος με κάθε μεμονωμένο διάνυσμα στη βάση δεδομένων.

Πολυπλοκότητα: O(n × d)

• n: Αριθμός διανυσμάτων.
• d: Διάσταση.

Πλεονέκτημα: 100% ακρίβεια. Μειονέκτημα: Πολύ αργό για μεγάλα σύνολα δεδομένων.

2. IVF (Inverted File Index)

Μείωση του χώρου αναζήτησης με διαίρεση των διανυσμάτων σε clusters.

Αλγόριθμος:

1. Δημιουργία κεντροειδών με χρήση K-means.
2. Ανάθεση κάθε διανύσματος στο πλησιέστερο κεντροειδές.
3. Κατά την αναζήτηση, έλεγχος μόνο στα πλησιέστερα nprobe clusters.

1Parameters:
2- nlist: Number of clusters (typically √n)
3- nprobe: Number of clusters to search
4
5Trade-off: Higher nprobe → higher accuracy, lower speed.

3. HNSW (Hierarchical Navigable Small World)

Μια προσέγγιση βασισμένη σε γράφους και η πιο δημοφιλής μέθοδος σήμερα.

Δομή:

1Layer 2:    o-------o-------o  (sparse)
2            |       |       |
3Layer 1:  o-o-o---o-o-o---o-o-o  (medium)
4          | | |   | | |   | | |
5Layer 0:  o-o-o-o-o-o-o-o-o-o-o-o  (dense)

Παράμετροι:

• M: Μέγιστος αριθμός συνδέσεων για κάθε κόμβο.
• ef_construction: Πλήθος υποψηφίων κατά την κατασκευή του index.
• ef_search: Πλήθος υποψηφίων κατά την εκτέλεση της αναζήτησης.

Πλεονεκτήματα:

• Εξαιρετικά γρήγορη αναζήτηση: O(log n).
• Υψηλά ποσοστά recall.
• Υποστηρίζει δυναμική εισαγωγή/διαγραφή.

4. Product Quantization (PQ)

Μείωση χρήσης μνήμης μέσω συμπίεσης διανυσμάτων.

Μέθοδος:

1. Διαίρεση του διανύσματος σε M υποδιανύσματα.
2. Χαρτογράφηση κάθε υποδιανύσματος σε ένα από τα K κεντροειδή.
3. Αποθήκευση των ID των κεντροειδών αντί των αρχικών τιμών.

1Original: 1536 dim × 4 bytes = 6KB
2PQ (M=96, K=256): 96 × 1 byte = 96 bytes
3Compression: ~64x

5. Scalar Quantization (SQ)

Μετατροπή Float32 αναπαραστάσεων σε Int8.

1Original: 1536 × 4 bytes = 6KB
2SQ8: 1536 × 1 byte = 1.5KB
3Compression: 4x
4## Σύγκριση Δημοφιλών Βάσεων Δεδομένων Διανυσμάτων
5
6### Pinecone
7
8**Χαρακτηριστικά:**
9- Πλήρως διαχειριζόμενη υπηρεσία cloud.
10- Αυτόματη κλιμάκωση.
11- Φιλτράρισμα μεταδεδομένων.
12- Απομόνωση namespaces.
13
14**Χρήση:**
15```python
16import pinecone
17
18pinecone.init(api_key="xxx", environment="us-west1-gcp")
19index = pinecone.Index("my-index")
20
21# Upsert
22index.upsert(vectors=[
23    {"id": "vec1", "values": [0.1, 0.2, ...], "metadata": {"category": "tech"}}
24])
25
26# Query
27results = index.query(vector=[0.1, 0.2, ...], top_k=10, filter={"category": "tech"})

Weaviate

Χαρακτηριστικά:

• Open source.
• Ενσωματωμένη vectorization.
• Υποστήριξη GraphQL API.
• Ικανότητα υβριδικής αναζήτησης (vector + keyword).

Qdrant

Χαρακτηριστικά:

• Γραμμένο σε Rust για υψηλή απόδοση.
• Πλούσιες επιλογές φιλτραρίσματος.
• Payload indexing.
• Υποστήριξη κατανεμημένης ανάπτυξης.

Milvus

Χαρακτηριστικά:

• Επιτάχυνση με GPU.
• Multi-vector search.
• Time travel (versioning).
• Kubernetes native αρχιτεκτονική.

ChromaDB

Χαρακτηριστικά:

• Φιλικό προς τους προγραμματιστές και εύκολο στη ρύθμιση.
• In-memory + persistent modes.
• Προσέγγιση προσανατολισμένη στην Python.
• Ιδανικό για πρωτοτυποποίηση.

Πίνακας Σύγκρισης

Φιλτράρισμα και Μεταδεδομένα

Pre-filtering vs Post-filtering

Pre-filtering:

1. Εφαρμογή φιλτραρίσματος μεταδεδομένων πρώτα.
2. Εκτέλεση vector search στο φιλτραρισμένο σύνολο.

• Πλεονέκτημα: Γρηγορότερο.
• Μειονέκτημα: Πιθανή απώλεια recall.

Post-filtering:

1. Εύρεση αποτελεσμάτων Top-K × multiplier μέσω vector search.
2. Εφαρμογή φιλτραρίσματος μεταδεδομένων σε αυτά τα αποτελέσματα.
3. Επιστροφή των τελικών top K.

• Πλεονέκτημα: Καλύτερο recall.
• Μειονέκτημα: Χαμηλότερη απόδοση.

Υβριδική Αναζήτηση

Συνδυασμός Keyword (BM25) + Vector search:

final_score = α × vector_score + (1-α) × keyword_score

Βελτιστοποίηση Απόδοσης

Παράμετροι Index

Βέλτιστες ρυθμίσεις HNSW:

1High Recall: M=32, ef=200
2High Speed: M=16, ef=50
3Balanced: M=24, ef=100

Επεξεργασία Batch

1# Poor: Singular insert
2for vec in vectors:
3    index.upsert([vec])
4
5# Good: Batch insert
6index.upsert(vectors, batch_size=100)

Connection Pooling

1from pinecone import Pinecone
2
3pc = Pinecone(
4    api_key="xxx",
5    pool_threads=30  # Parallel connections
6)

Παράδειγμα Enterprise Αρχιτεκτονικής

1┌─────────────────────────────────────────────────────┐
2│                    Application                       │
3└──────────────────────┬──────────────────────────────┘
4                       │
5┌──────────────────────▼──────────────────────────────┐
6│              Vector Search Service                   │
7│  ┌─────────────┐  ┌─────────────┐  ┌─────────────┐ │
8│  │   Query     │  │  Reranker   │  │   Cache     │ │
9│  │   Engine    │  │   Service   │  │  (Redis)    │ │
10│  └─────────────┘  └─────────────┘  └─────────────┘ │
11└──────────────────────┬──────────────────────────────┘
12                       │
13┌──────────────────────▼──────────────────────────────┐
14│              Vector Database Cluster                 │
15│  ┌─────────┐  ┌─────────┐  ┌─────────┐             │
16│  │ Shard 1 │  │ Shard 2 │  │ Shard 3 │             │
17│  └─────────┘  └─────────┘  └─────────┘             │
18└─────────────────────────────────────────────────────┘

Monitoring και Observability

Βασικοί Δείκτες

• Query Latency (p50, p95, p99)
• Recall Rate
• QPS (Queries Per Second)
• Index Size
• Memory Usage

Όρια Ειδοποιήσεων

1alerts:
2  - name: high_latency
3    condition: p99_latency > 200ms
4    severity: warning
5    
6  - name: low_recall
7    condition: recall < 0.9
8    severity: critical
9## Συμπέρασμα
10
11Οι βάσεις δεδομένων vector είναι αναπόσπαστα στοιχεία των σύγχρονων εφαρμογών AI. Με τη σωστή επιλογή βάσης δεδομένων, στρατηγικής indexing και βελτιστοποιήσεων, μπορείτε να δημιουργήσετε συστήματα αναζήτησης υψηλής απόδοσης βασισμένα στη σημασιολογία.
12
13Στη Veni AI, προσφέρουμε enterprise vector search λύσεις. Επικοινωνήστε μαζί μας για τις ανάγκες σας.