Kiến trúc (Hướng dẫn cho Vibe Coder)

1. Phân tích

Nội dung được phân tích từ nhiều nguồn thành văn bản thuần:

• Notion: Phân tích từng block giữ nguyên cấu trúc phân cấp
• DOCX: Trích xuất qua mammoth.js
• Markdown: Phân tích với remark/unified
• Website: Trang web: Thu thập và loại bỏ phần điều hướng/chân trang

2. Chia nhỏ

Văn bản được chia thành các phân đoạn chồng lấp để truy xuất tối ưu:

{
  targetSize: 400,    // tokens per chunk
  overlap: 50,        // token overlap between chunks
  preserveHeadings: true,  // keep heading context
  minChunkSize: 100   // minimum viable chunk
}

Mỗi phân đoạn giữ nguyên cấu trúc tiêu đề cha để cung cấp ngữ cảnh.

3. Nhúng vector

Các phân đoạn được chuyển đổi thành vector 1536 chiều:

Model: text-embedding-3-small
Dimensions: 1536
Provider: OpenAI (via OpenRouter)

4. Lưu trữ

Vector được lưu trữ trong PostgreSQL với phần mở rộng pgvector:

-- content_chunks table
id: uuid
knowledge_base_id: uuid
page_id: string
page_title: string
content: text
embedding: vector(1536)
parent_heading: string

Tìm kiếm kết hợp

Chúng tôi sử dụng quy trình truy xuất hai giai đoạn:

1. Vector Search: Tìm kiếm vector: Độ tương đồng cosine sử dụng toán tử <=> của pgvector
2. Keyword Fallback: Tìm kiếm từ khóa dự phòng: Nếu kết quả vector có độ tương đồng thấp, chúng tôi thêm các phân đoạn khớp từ khóa

Chấm điểm tương đồng

-- Vector similarity query
SELECT *, 1 - (embedding <=> query_embedding) as similarity
FROM content_chunks
WHERE knowledge_base_id = $1
ORDER BY embedding <=> query_embedding
LIMIT 5

Chấm điểm độ tin cậy

Trước khi tạo câu trả lời, chúng tôi tính điểm độ tin cậy:

confidence = bestSimilarity + (hasMultipleChunks ? 0.1 : 0) + 0.2
// Capped at 1.0

if (confidence < threshold) {
  return refusalMessage;  // Don't hallucinate
}

Trích xuất trích dẫn

LLM được hướng dẫn sử dụng định dạng [Source N]. Chúng tôi phân tích và liên kết đến trang gốc:

// Extract citations from answer
const citationPattern = /\[Source (\d+)\]/g;
const matches = answer.matchAll(citationPattern);

// Map to original pages
citations = matches.map(m => chunks[m[1] - 1])