Qwen3-VL-Embeddingで実装するマルチモーダル埋め込み：画像とテキストを統一ベクトル化する実践ガイド

# 仮想環境の作成（推奨）
python -m venv qwen3-vl-env
source qwen3-vl-env/bin/activate

# 必要なライブラリのインストール
pip install torch torchvision --index-url https://download.pytorch.org/whl/cu121
pip install transformers accelerate
pip install pillow numpy faiss-cpu

from transformers import AutoModel, AutoProcessor
import torch

# モデルとプロセッサのロード
model_name = "Qwen/Qwen3-VL-Embedding"
processor = AutoProcessor.from_pretrained(model_name, trust_remote_code=True)
model = AutoModel.from_pretrained(
    model_name,
    torch_dtype=torch.float16,
    device_map="auto",
    trust_remote_code=True
)

print(f"Model loaded on: {next(model.parameters()).device}")

import torch
from typing import List
import numpy as np

def get_text_embeddings(texts: List[str], model, processor) -> np.ndarray:
    """
    テキストリストから埋め込みベクトルを生成

    Args:
        texts: 埋め込みを生成するテキストのリスト
        model: Qwen3-VL-Embeddingモデル
        processor: 対応するプロセッサ

    Returns:
        正規化された埋め込みベクトル (N, D)
    """
    # テキストをトークナイズ
    inputs = processor(
        text=texts,
        return_tensors="pt",
        padding=True,
        truncation=True,
        max_length=512
    )

    # GPUに転送
    inputs = {k: v.to(model.device) for k, v in inputs.items()}

    with torch.no_grad():
        outputs = model.get_text_features(**inputs)

    # L2正規化して返す
    embeddings = outputs.cpu().numpy()
    embeddings = embeddings / np.linalg.norm(embeddings, axis=1, keepdims=True)

    return embeddings

# 使用例
texts = ["かわいい猫の写真", "犬が公園で遊んでいる", "プログラミングのコード"]
text_embeddings = get_text_embeddings(texts, model, processor)
print(f"Text embeddings shape: {text_embeddings.shape}")

from PIL import Image
from pathlib import Path

def get_image_embeddings(image_paths: List[str], model, processor) -> np.ndarray:
    """
    画像パスリストから埋め込みベクトルを生成

    Args:
        image_paths: 画像ファイルパスのリスト
        model: Qwen3-VL-Embeddingモデル
        processor: 対応するプロセッサ

    Returns:
        正規化された埋め込みベクトル (N, D)
    """
    # 画像を読み込み
    images = [Image.open(path).convert("RGB") for path in image_paths]

    # プロセッサで前処理
    inputs = processor(
        images=images,
        return_tensors="pt"
    )

    # GPUに転送
    inputs = {k: v.to(model.device) for k, v in inputs.items()}

    with torch.no_grad():
        outputs = model.get_image_features(**inputs)

    # L2正規化して返す
    embeddings = outputs.cpu().numpy()
    embeddings = embeddings / np.linalg.norm(embeddings, axis=1, keepdims=True)

    return embeddings

# 使用例
image_paths = ["./images/cat.jpg", "./images/dog.jpg"]
image_embeddings = get_image_embeddings(image_paths, model, processor)
print(f"Image embeddings shape: {image_embeddings.shape}")

def compute_similarity(text_emb: np.ndarray, image_emb: np.ndarray) -> np.ndarray:
    """
    テキストと画像の埋め込み間のコサイン類似度を計算

    Args:
        text_emb: テキスト埋め込み (M, D)
        image_emb: 画像埋め込み (N, D)

    Returns:
        類似度行列 (M, N)
    """
    # 正規化済みならドット積 = コサイン類似度
    return np.dot(text_emb, image_emb.T)

# 使用例
similarity_matrix = compute_similarity(text_embeddings, image_embeddings)
print(f"Similarity matrix:\n{similarity_matrix}")

# 画像RAGの簡易実装例
class MultimodalRAG:
    def __init__(self, model, processor, documents, images):
        self.model = model
        self.processor = processor
        # テキストと画像の埋め込みを事前計算
        self.text_index = self._build_text_index(documents)
        self.image_index = self._build_image_index(images)

    def query(self, user_query: str, top_k: int = 5):
        # クエリをベクトル化
        query_emb = get_text_embeddings([user_query], self.model, self.processor)

        # テキストと画像の両方から検索
        text_results = self.text_index.search(query_emb, top_k)
        image_results = self.image_index.search(query_emb, top_k)

        # スコアで統合ソート
        combined = self._merge_results(text_results, image_results)
        return combined[:top_k]