۱۴۰۵ آبان ۲۶, سه‌شنبه
دلار آمریکا۲۶۶٬۸۹۵▼ ۰٫۶۸٪یورو۲۹۴٬۳۶۰▼ ۰٫۶۹٪درهم امارات۷۲٬۷۲۵▼ ۰٫۶۸٪سکه امامی۲۵۱٬۴۹۰٬۰۰۰▲ ۰٫۳۷٪طلای ۱۸ عیار (گرم)۲۴٬۶۶۶٬۶۰۰▲ ۰٫۴٪انس طلا۳٬۸۷۰ $▲ ۰٫۱۴٪تتر۲۶۹٬۵۴۰▲ ۰٫۰۵٪بیت‌کوین۶۴٬۲۰۰ $▼ ۱٫۵۶٪اتریوم۱٬۷۸۷ $▼ ۲٫۰۸٪سولانا۷۲٫۵۵ $▲ ۱٫۴۷٪اپل۳۵۱٫۶۹ $▼ ۰٫۳۱٪انویدیا۱۵۴٫۹۴ $▼ ۰٫۷۷٪مایکروسافت۴۹۹٫۶۵ $▼ ۳٫۵۴٪آلفابت (گوگل)۲۸۰٫۴۰ $▼ ۱٫۱۷٪تسلا۳۷۹٫۶۲ $▼ ۰٫۰۳٪شاخص نزدک۲۴٬۲۴۶ $▼ ۱٫۰۸٪
نرخ ارز

پایگاه داده برداری چیست؟ از امبدینگ تا pgvector به زبان ساده

پایگاه داده برداری چیست و امبدینگ چطور معنای متن را به عدد تبدیل می‌کند؟ شباهت کسینوسی، ایندکس HNSW و نمونه کد پایتون با Ollama و pgvector.

کاور گرافیکی DevNA با عنوان «Vector DB»: از امبدینگ تا pgvector به زبان ساده
کاور گرافیکی DevNA با عنوان «Vector DB»: از امبدینگ تا pgvector به زبان ساده
فهرست مطالب
  1. امبدینگ چیست؟
  2. شباهت معنایی را چطور می‌سنجیم؟
  3. پایگاه داده برداری چه مشکلی را حل می‌کند؟
  4. راز سرعت: جست‌وجوی تقریبی و HNSW
  5. گزینه‌های رایج برای ذخیره بردارها
  6. نمونه عملی: جست‌وجوی معنایی فارسی با pgvector
  7. نکات مهم در استفاده از پایگاه داده برداری
  8. نکته‌ای برای توسعه‌دهنده‌های ایرانی
  9. جمع‌بندی

پایگاه داده برداری (Vector Database) پایگاه داده‌ای است که به‌جای جست‌وجوی کلیدواژه، نزدیک‌ترین «معناها» را پیدا می‌کند. ماده خام آن امبدینگ‌ها هستند: بردارهایی عددی که معنای متن را نمایش می‌دهند. در این مقاله می‌بینیم امبدینگ چیست، شباهت معنایی چطور سنجیده می‌شود، پایگاه داده برداری چه مشکلی را حل می‌کند و در پایان با پایتون و pgvector یک جست‌وجوی معنایی فارسی می‌سازیم.

امبدینگ چیست؟

جاسازی یا امبدینگ (Embedding) نمایش یک متن، تصویر یا هر داده دیگر به شکل فهرستی از اعداد است؛ مثلاً ۱۰۲۴ عدد اعشاری. این اعداد را یک مدل یادگیری ماشین تولید می‌کند که طوری آموزش دیده است که داده‌های هم‌معنا بردارهای نزدیک به هم داشته باشند.

یک تشبیه ساده: روی نقشه، هر شهر دو عدد دارد، طول و عرض جغرافیایی، و شهرهای نزدیک عددهای نزدیک دارند. امبدینگ همین کار را برای معنا در فضایی با صدها بُعد انجام می‌دهد. جمله «چطور رمز عبورم را عوض کنم؟» و «برای تغییر گذرواژه به تنظیمات بروید» تقریباً هیچ کلمه مشترکی ندارند، اما بردارهایشان به هم نزدیک است.

مدل‌های زبانی بزرگ هم در لایه‌های اولشان کلمات را به همین شکل به بردار تبدیل می‌کنند. برای جست‌وجو اما از مدل‌های جداگانه‌ای به نام مدل امبدینگ استفاده می‌شود که فقط یک بردار برای کل متن تولید می‌کنند.

شباهت معنایی را چطور می‌سنجیم؟

وقتی متن‌ها به بردار تبدیل شدند، «شباهت معنایی» به یک محاسبه هندسی تبدیل می‌شود. سه معیار رایج‌اند:

معیار ایده عملگر در pgvector
شباهت کسینوسی (Cosine Similarity) زاویه بین دو بردار؛ طول بردار مهم نیست <=> (فاصله کسینوسی)
ضرب داخلی (Inner Product) جمع حاصل‌ضرب مؤلفه‌ها <#> (منفی ضرب داخلی)
فاصله اقلیدسی (L2) فاصله خط راست بین دو نقطه <->

اگر بردارها به طول ۱ نرمال شده باشند، هر سه معیار ترتیب یکسانی از نتایج می‌دهند و ضرب داخلی دقیقاً برابر شباهت کسینوسی می‌شود. طبق مستندات Ollama، خروجی endpoint امبدینگ آن از قبل نرمال شده است.

آزمایش کوچک با پایتون

این اسکریپت چهار جمله را با مدل چندزبانه qwen3-embedding:0.6b به بردار تبدیل می‌کند و شباهت جمله اول را با بقیه می‌سنجد. طبق کارت مدل، این مدل بیش از ۱۰۰ زبان را پشتیبانی می‌کند و بردار آن حداکثر ۱۰۲۴ بُعد دارد. اگر Ollama را ندارید، آموزش Ollama را ببینید.

ollama pull qwen3-embedding:0.6b
python -m venv .venv
source .venv/bin/activate      # Windows: .venv\Scripts\activate
pip install ollama numpy "psycopg[binary]" pgvector

فایل similarity.py:

import os
import sys

import numpy as np
import ollama

MODEL = os.getenv("EMBED_MODEL", "qwen3-embedding:0.6b")

sentences = [
    "چطور رمز عبور حسابم را عوض کنم؟",
    "برای تغییر گذرواژه وارد تنظیمات امنیتی شوید.",
    "ارسال سفارش به شهرستان‌ها سه روز کاری طول می‌کشد.",
    "How do I reset my password?",
]

sys.stdout.reconfigure(encoding="utf-8")
vectors = np.array(ollama.embed(model=MODEL, input=sentences)["embeddings"])
print("shape:", vectors.shape)  # (number of sentences, dimensions)

# Ollama returns unit-length vectors, so the dot product is the cosine similarity.
similarity = vectors @ vectors.T
for i, sentence in enumerate(sentences[1:], start=1):
    print(f"{similarity[0, i]:.3f}  {sentence}")

در اجرای ما شکل خروجی (4, 1024) بود و ترتیب شباهت‌ها معقول بود: ترجمه انگلیسی همان سؤال بیشترین شباهت (حدود ۰٫۵۵) را داشت، جمله هم‌معنای فارسی درباره گذرواژه در رتبه دوم (حدود ۰٫۳۸) آمد و جمله مربوط به ارسال سفارش، کمترین شباهت (حدود ۰٫۱) را داشت. به این نکته دقت کنید: در این نمونه، مدل چندزبانه شباهت را بر اساس معنا سنجید، نه زبان؛ جمله انگلیسی هم‌معنا از جمله فارسی نامرتبط بسیار نزدیک‌تر بود.

عدد مطلق شباهت مهم نیست و از مدلی به مدل دیگر فرق می‌کند؛ آنچه مهم است ترتیب نتایج است. همین آزمایش را با مدل امبدینگ انگلیسی‌محور nomic-embed-text هم تکرار کردیم و ترتیب به‌هم ریخت: جمله نامرتبط ارسال سفارش بالاتر از جمله هم‌معنای گذرواژه قرار گرفت. یک آزمایش چهارجمله‌ای معیار کیفیت نیست، اما هشدار روشنی است: برای داده فارسی مدلی انتخاب کنید که فارسی را پشتیبانی می‌کند و آن را روی داده خودتان بسنجید.

پایگاه داده برداری چه مشکلی را حل می‌کند؟

برای پیدا کردن نزدیک‌ترین جمله، می‌توان بردار پرسش را با همه بردارها مقایسه کرد؛ به این کار جست‌وجوی دقیق یا جست‌وجوی کامل (Exact Search) می‌گویند. برای چند هزار قطعه، همین روش ساده روی یک لپ‌تاپ در کسری از ثانیه تمام می‌شود و در آموزش RAG با پایتون هم دقیقاً همین کار را با NumPy کردیم.

مشکل از جایی شروع می‌شود که داده به میلیون‌ها بردار برسد. در این مقیاس، مقایسه با تک‌تک بردارها برای هر پرسش کند و پرهزینه است. علاوه بر سرعت، در محصول واقعی به چیزهای دیگری هم نیاز دارید:

  • ذخیره‌سازی ماندگار و پشتیبان‌گیری
  • افزودن، حذف و به‌روزرسانی بردارها بدون ساخت دوباره کل ایندکس
  • فیلتر هم‌زمان بر اساس متادیتا؛ مثلاً «فقط اسناد همین مشتری» یا «فقط مقاله‌های فارسی»
  • کنترل دسترسی و تراکنش

پایگاه داده برداری همه این‌ها را کنار جست‌وجوی سریع شباهت فراهم می‌کند.

راز سرعت: جست‌وجوی تقریبی و HNSW

پایگاه‌های داده برداری معمولاً از جست‌وجوی تقریبی نزدیک‌ترین همسایه (Approximate Nearest Neighbor یا ANN) استفاده می‌کنند: کمی دقت را فدای سرعت بسیار بیشتر می‌کنند. در عمل، بیشتر وقت‌ها همان نزدیک‌ترین نتایج واقعی را برمی‌گردانند، اما تضمین صددرصدی ندارند.

یکی از پرکاربردترین الگوریتم‌های این حوزه HNSW است که در سال ۲۰۱۶ معرفی شد. HNSW یک گراف چندلایه از بردارها می‌سازد: لایه‌های بالایی گره‌های کمتر و پرش‌های بلندتر دارند و لایه‌های پایینی جزئیات بیشتر. جست‌وجو از بالا شروع می‌شود و مثل سفر با بزرگراه و بعد خیابان‌های فرعی، سریع به محله درست می‌رسد. ساختار این الگوریتم شباهت زیادی به لیست پرشی (Skip List) دارد؛ اگر با این مفاهیم آشنا نیستید، ساختمان داده و الگوریتم به زبان ساده مقدمه خوبی است.

گزینه‌های رایج برای ذخیره بردارها

نوع نمونه‌ها مناسب برای
افزونه پایگاه داده موجود pgvector برای PostgreSQL تیم‌هایی که PostgreSQL دارند و می‌خواهند داده و بردار کنار هم بماند
پایگاه داده برداری مستقل Qdrant، Milvus، Weaviate، Chroma مقیاس بزرگ یا قابلیت‌های تخصصی جست‌وجو
کتابخانه درون‌برنامه‌ای FAISS، ماتریس NumPy نمونه‌سازی، داده کوچک یا ایندکس فقط‌خواندنی

برای بیشتر پروژه‌های کوچک و متوسط، pgvector شروع کم‌دردسری است: سرویس تازه‌ای به زیرساخت اضافه نمی‌شود و همان کوئری SQL می‌تواند شباهت معنایی را با JOIN و WHERE ترکیب کند.

نمونه عملی: جست‌وجوی معنایی فارسی با pgvector

۱. اجرای PostgreSQL همراه pgvector

ساده‌ترین راه، ایمیج رسمی Docker است. اگر با Docker آشنا نیستید، آموزش Docker برای توسعه‌دهنده‌ها را ببینید:

docker run -d --name pgvector -e POSTGRES_PASSWORD=devna -p 5432:5432 pgvector/pgvector:pg18-trixie

این رمز عبور فقط برای آزمایش روی سیستم خودتان است؛ در محیط واقعی از رمز قوی و متغیر محیطی استفاده کنید.

۲. ذخیره و جست‌وجو با پایتون

فایل vector_store.py:

import os
import sys

import numpy as np
import ollama
import psycopg
from pgvector.psycopg import register_vector

MODEL = os.getenv("EMBED_MODEL", "qwen3-embedding:0.6b")
DSN = os.getenv("DATABASE_URL", "postgresql://postgres:devna@localhost:5432/postgres")

docs = [
    "برای تغییر گذرواژه وارد تنظیمات امنیتی حساب شوید.",
    "ارسال سفارش به شهرستان‌ها سه روز کاری طول می‌کشد.",
    "بازگشت وجه تا هفت روز پس از لغو سفارش انجام می‌شود.",
    "پشتیبانی تلفنی هر روز از ساعت ۹ تا ۱۸ پاسخ‌گوست.",
]


def embed(texts: list[str]) -> list[np.ndarray]:
    return [np.array(v) for v in ollama.embed(model=MODEL, input=texts)["embeddings"]]


sys.stdout.reconfigure(encoding="utf-8")
with psycopg.connect(DSN, autocommit=True) as conn:
    conn.execute("CREATE EXTENSION IF NOT EXISTS vector")
    register_vector(conn)

    # Demo only: rebuild the table on every run.
    vectors = embed(docs)
    dim = len(vectors[0])  # 1024 for qwen3-embedding:0.6b
    conn.execute("DROP TABLE IF EXISTS documents")
    conn.execute(f"CREATE TABLE documents (id bigserial PRIMARY KEY, content text, embedding vector({dim}))")
    with conn.cursor() as cur:
        cur.executemany(
            "INSERT INTO documents (content, embedding) VALUES (%s, %s)",
            list(zip(docs, vectors)),
        )
    conn.execute("CREATE INDEX ON documents USING hnsw (embedding vector_cosine_ops)")

    question = " ".join(sys.argv[1:]) or "پولم کی برمی‌گردد؟"
    # Qwen3-Embedding expects a short task instruction on queries (not on documents).
    query = f"Instruct: Given a customer question, retrieve the FAQ answer\nQuery: {question}"
    query_vector = embed([query])[0]
    rows = conn.execute(
        "SELECT content, 1 - (embedding <=> %s) AS similarity "
        "FROM documents ORDER BY embedding <=> %s LIMIT 2",
        (query_vector, query_vector),
    ).fetchall()
    for content, similarity in rows:
        print(f"{similarity:.3f}  {content}")

اجرا کنید:

python vector_store.py "شماره تماس پشتیبانی چه ساعتی جواب می‌دهد؟"

در آزمایش ما این پرسش با اختلاف زیاد به جمله مربوط به پشتیبانی تلفنی رسید. پرسش پیش‌فرض «پولم کی برمی‌گردد؟» هم درست به جمله بازگشت وجه رسید، اما امتیازش (حدود ۰٫۳۳) فقط اندکی بالاتر از جمله نامرتبط تغییر گذرواژه (حدود ۰٫۳۲) بود. این نتیجه واقعی درس مهمی دارد: مدل کوچک ۰٫۶ میلیارد پارامتری سریع و سبک است، اما وقتی پرسش کوتاه و محاوره‌ای است، فاصله جواب درست و غلط ممکن است بسیار کم باشد و گاهی جابه‌جا شود. به همین دلیل سیستم‌های RAG معمولاً چند نتیجه اول را برمی‌دارند و در صورت نیاز یک ری‌رنکر (Reranker) هم اضافه می‌کنند.

کد چه کار می‌کند؟

  • CREATE EXTENSION vector افزونه را فعال می‌کند و register_vector باعث می‌شود آرایه‌های NumPy مستقیم به ستون vector تبدیل شوند.
  • ستون embedding vector(1024) هر بردار را با ابعاد ثابت ذخیره می‌کند. ابعاد باید دقیقاً با خروجی مدل یکی باشد.
  • ایندکس hnsw با vector_cosine_ops برای جست‌وجو با فاصله کسینوسی ساخته می‌شود. با چهار سطر، PostgreSQL احتمالاً همه را مستقیم مقایسه می‌کند؛ ارزش ایندکس در ده‌ها هزار سطر و بیشتر دیده می‌شود.
  • پیشوند Instruct: فقط به پرسش اضافه می‌شود. طبق کارت مدل Qwen3-Embedding، در بیشتر سناریوهای بازیابی، حذف دستورالعمل از سمت پرسش حدود ۱ تا ۵ درصد افت کارایی به همراه دارد.

نکات مهم در استفاده از پایگاه داده برداری

  1. یک مدل برای همه‌چیز: اسناد و پرسش‌ها باید با یک مدل امبدینگ شوند. اگر مدل را عوض کردید، کل ایندکس را از نو بسازید؛ بردارهای دو مدل با هم قابل مقایسه نیستند.
  2. محدودیت ابعاد: طبق مستندات pgvector، نوع vector با ایندکس HNSW تا ۲۰۰۰ بُعد را پشتیبانی می‌کند و برای ابعاد بیشتر باید از halfvec یا روش‌های دیگر استفاده کرد.
  3. تکه‌تکه کردن هوشمند: یک بردار برای یک سند ۵۰ صفحه‌ای، معنای هیچ بخشی را درست نمایش نمی‌دهد. اسناد را به قطعه‌های موضوعی بشکنید.
  4. جست‌وجوی ترکیبی: امبدینگ‌ها در شناسه‌ها، کدهای خطا و نام‌های خاص ضعیف‌اند. ترکیب جست‌وجوی برداری با جست‌وجوی متنی کامل PostgreSQL نتیجه را بهتر می‌کند.
  5. ارزیابی با داده خودتان: چند ده پرسش واقعی با پاسخ درست جمع کنید و کیفیت بازیابی را بعد از هر تغییر بسنجید.

پایگاه داده برداری حافظه بلندمدت بسیاری از ایجنت‌های هوش مصنوعی هم هست؛ ایجنت یادداشت‌ها و تجربه‌های قبلی‌اش را با همین روش بازیابی می‌کند.

نکته‌ای برای توسعه‌دهنده‌های ایرانی

کل این زنجیره، از مدل امبدینگ تا پایگاه داده، متن‌باز است و روی سیستم خودتان اجرا می‌شود؛ بدون هزینه API و بدون ارسال داده به بیرون. اگر دریافت ایمیج Docker در شبکه شما مشکل دارد، pgvector طبق README رسمی‌اش از مدیرهای بسته لینوکس هم قابل نصب است. برای متن فارسی، پیش از امبدینگ نویسه‌ها و نیم‌فاصله‌ها را یکدست کنید و اگر کیفیت مدل ۰٫۶ میلیاردی کافی نبود، نسخه‌های بزرگ‌تر همان خانواده را روی داده خودتان امتحان کنید.

جمع‌بندی

امبدینگ معنا را به عدد تبدیل می‌کند و پایگاه داده برداری این عددها را طوری ذخیره می‌کند که نزدیک‌ترین معناها معمولاً در چند میلی‌ثانیه پیدا شوند. برای داده کوچک، یک ماتریس NumPy کافی است؛ وقتی مقیاس، فیلتر و ماندگاری مهم شد، pgvector ساده‌ترین قدم بعدی است. کد این مقاله را اجرا کنید، جمله‌های خودتان را جایگزین کنید و ببینید مدل چطور معنا را، فراتر از کلمه‌ها، تشخیص می‌دهد.

$ devna rate --article

—
هنوز رأیی ثبت نشده
  1. ۵۰
  2. ۴۰
  3. ۳۰
  4. ۲۰
  5. ۱۰

این مطلب چقدر به کارتان آمد؟

روی ستاره‌ها بزنید

واکنش شما

اولین نفری باشید که واکنش نشان می‌دهد.

پرسش‌های پرتکرار

امبدینگ به زبان ساده چیست؟

فهرستی از صدها عدد که معنای یک متن را نمایش می‌دهد. متن‌های هم‌معنا بردارهای نزدیک به هم دارند، حتی اگر کلمه مشترکی نداشته باشند.

پایگاه داده برداری (وکتور دیتابیس) چه فرقی با پایگاه داده معمولی دارد؟

پایگاه داده معمولی دنبال مقدار دقیق یا کلیدواژه می‌گردد. پایگاه داده برداری نزدیک‌ترین بردارها به یک بردار پرسش را پیدا می‌کند؛ یعنی جست‌وجو بر اساس معنا.

آیا برای RAG حتماً پایگاه داده برداری لازم است؟

نه. برای چند هزار قطعه متن، یک ماتریس NumPy کافی است. وقتی داده بزرگ شد یا به فیلتر، به‌روزرسانی هم‌زمان و پشتیبان‌گیری نیاز داشتید، پایگاه داده برداری ارزشش را نشان می‌دهد.

pgvector بهتر است یا یک پایگاه داده برداری مستقل؟

اگر همین حالا PostgreSQL دارید، pgvector ساده‌ترین شروع است چون داده و بردار کنار هم می‌مانند. سرویس‌های مستقل برای مقیاس بسیار بزرگ یا قابلیت‌های تخصصی‌تر گزینه‌اند؛ روی داده خودتان بسنجید.

منابع

  1. pgvector – Open-source vector similarity search for Postgres
  2. Ollama – Embeddings
  3. Efficient and robust approximate nearest neighbor search using HNSW graphs (Malkov & Yashunin, 2016)
  4. Qwen3-Embedding-0.6B model card (Hugging Face)

خطایی در این مطلب دیدید؟ به تحریریه گزارش دهید؛ اصلاحیه‌ها طبق اصول تحریریه ثبت می‌شوند.

دیدگاه‌ها

۰/۲٬۰۰۰

دیدگاه‌ها پس از بررسی تحریریه منتشر می‌شوند. توهین، تبلیغ و لینک‌های بی‌ربط حذف می‌شوند؛ نقد فنی و مستند همیشه خوش‌آمد است.

$ comments --count۰

هنوز کسی چیزی ننوشته. اولین دیدگاه را شما ثبت کنید.

مطالب مرتبط