アーキテクチャ（Vibeコーダーガイド）

1. パース

コンテンツはさまざまなソースからプレーンテキストにパースされます：

• Notion: Notion：階層構造を保持したブロック単位のパース
• DOCX: DOCX：mammoth.jsで抽出
• Markdown: Markdown：remark/unifiedでパース
• Website: Webサイト：クロールしてナビゲーション/フッターを除去

2. チャンキング

テキストは最適な検索のためにオーバーラップするチャンクに分割されます：

{
  targetSize: 400,    // tokens per chunk
  overlap: 50,        // token overlap between chunks
  preserveHeadings: true,  // keep heading context
  minChunkSize: 100   // minimum viable chunk
}

各チャンクはコンテキストのために親見出しの階層を保持します。

3. 埋め込み

チャンクは1536次元のベクトルに変換されます：

Model: text-embedding-3-small
Dimensions: 1536
Provider: OpenAI (via OpenRouter)

4. 保存

ベクトルはpgvector拡張機能を使用してPostgreSQLに保存されます：

-- content_chunks table
id: uuid
knowledge_base_id: uuid
page_id: string
page_title: string
content: text
embedding: vector(1536)
parent_heading: string

ハイブリッド検索

2段階の検索プロセスを使用しています：

1. Vector Search: ベクトル検索：pgvectorの<=>演算子を使用したコサイン類似度
2. Keyword Fallback: キーワードフォールバック：ベクトル検索結果の類似度が低い場合、キーワードマッチしたチャンクを追加

類似度スコアリング

-- Vector similarity query
SELECT *, 1 - (embedding <=> query_embedding) as similarity
FROM content_chunks
WHERE knowledge_base_id = $1
ORDER BY embedding <=> query_embedding
LIMIT 5

信頼度スコアリング

生成前に信頼度スコアを計算します：

confidence = bestSimilarity + (hasMultipleChunks ? 0.1 : 0) + 0.2
// Capped at 1.0

if (confidence < threshold) {
  return refusalMessage;  // Don't hallucinate
}

引用の抽出

LLMは[Source N]形式を使用するよう指示されます。これをパースして元のページにリンクします：

// Extract citations from answer
const citationPattern = /\[Source (\d+)\]/g;
const matches = answer.matchAll(citationPattern);

// Map to original pages
citations = matches.map(m => chunks[m[1] - 1])