ruri-v3とFaissで構築するRAG実装入門：日本語特化の埋め込みモデルでベクトル検索を始める

pip install torch transformers sentence-transformers faiss-cpu numpy

from sentence_transformers import SentenceTransformer
import numpy as np

# ruri-v3モデルのロード
model = SentenceTransformer("cl-nagoya/ruri-v3-310m")

# サンプルドキュメント
documents = [
    "RAGは検索拡張生成の略で、LLMの回答精度を向上させる手法です。",
    "Faissはメタが開発した高速なベクトル検索ライブラリです。",
    "ruri-v3は日本語に特化した埋め込みモデルで、JMTEBでトップクラスの性能を発揮します。",
    "ベクトル検索では、テキストを数値ベクトルに変換して類似度を計算します。",
    "LangChainはLLMアプリケーション開発のためのフレームワークです。",
]

# ドキュメントをベクトル化
embeddings = model.encode(documents, normalize_embeddings=True)
print(f"埋め込みの形状: {embeddings.shape}")  # (5, 1024)

import faiss

# インデックスの作成（内積ベース）
dimension = embeddings.shape[1]  # 1024
index = faiss.IndexFlatIP(dimension)

# ベクトルをインデックスに追加
index.add(embeddings.astype(np.float32))
print(f"インデックスに登録されたベクトル数: {index.ntotal}")

# クエリの埋め込みを生成
query = "日本語のテキストをベクトル化するモデルは？"
query_embedding = model.encode([query], normalize_embeddings=True)

# 上位3件を検索
k = 3
distances, indices = index.search(query_embedding.astype(np.float32), k)

print("検索結果:")
for i, (dist, idx) in enumerate(zip(distances[0], indices[0])):
    print(f"  {i+1}. スコア: {dist:.4f} - {documents[idx]}")

def chunk_text(text: str, chunk_size: int = 500, overlap: int = 100) -> list[str]:
    """テキストを指定サイズでチャンク分割する"""
    chunks = []
    start = 0
    while start < len(text):
        end = start + chunk_size
        chunk = text[start:end]
        chunks.append(chunk)
        start = end - overlap
    return chunks

# 使用例
long_document = """
RAG（Retrieval-Augmented Generation）は、大規模言語モデル（LLM）の回答精度を向上させるための
アーキテクチャパターンです。従来のLLMは学習データに含まれる情報のみを基に回答を生成しますが、
RAGでは外部の知識ベースから関連情報を検索し、それをコンテキストとしてLLMに渡すことで、
より正確で最新の情報に基づいた回答を生成できます。
"""

chunks = chunk_text(long_document, chunk_size=200, overlap=50)
for i, chunk in enumerate(chunks):
    print(f"チャンク{i+1}: {chunk[:50]}...")

# インデックスの保存
faiss.write_index(index, "rag_index.faiss")

# インデックスの読み込み
loaded_index = faiss.read_index("rag_index.faiss")
print(f"読み込んだインデックスのベクトル数: {loaded_index.ntotal}")

from openai import OpenAI

def generate_answer(query: str, context_docs: list[str]) -> str:
    """検索結果をコンテキストとしてLLMに渡し、回答を生成する"""
    client = OpenAI()
    
    context = "\n\n".join(context_docs)
    
    response = client.chat.completions.create(
        model="gpt-4o-mini",
        messages=[
            {
                "role": "system",
                "content": "以下のコンテキストに基づいて、ユーザーの質問に回答してください。コンテキストに含まれない情報は推測せず、「情報がありません」と回答してください。"
            },
            {
                "role": "user",
                "content": f"コンテキスト:\n{context}\n\n質問: {query}"
            }
        ],
        temperature=0.3
    )
    
    return response.choices[0].message.content

# RAGパイプラインの実行
query = "ruri-v3の特徴は？"
query_embedding = model.encode([query], normalize_embeddings=True)
distances, indices = index.search(query_embedding.astype(np.float32), 3)

context_docs = [documents[idx] for idx in indices[0]]
answer = generate_answer(query, context_docs)
print(f"回答: {answer}")