Embeddings

Sebelum mengimplementasikan embeddings

Saat memilih penyedia embeddings, ada beberapa faktor yang dapat Anda pertimbangkan tergantung pada kebutuhan dan preferensi Anda:

Ukuran dataset & spesifisitas domain: ukuran dataset pelatihan model dan relevansinya dengan domain yang ingin Anda embed. Data yang lebih besar atau lebih spesifik domain umumnya menghasilkan embeddings dalam domain yang lebih baik
Performa inferensi: kecepatan pencarian embedding dan latensi end-to-end. Ini adalah pertimbangan yang sangat penting untuk deployment produksi skala besar
Kustomisasi: opsi untuk melanjutkan pelatihan pada data pribadi, atau spesialisasi model untuk domain yang sangat spesifik. Ini dapat meningkatkan kinerja pada kosakata yang unik

Cara mendapatkan embeddings dengan Anthropic

Anthropic tidak menawarkan model embedding sendiri. Salah satu penyedia embeddings yang memiliki berbagai pilihan dan kemampuan yang mencakup semua pertimbangan di atas adalah Voyage AI. Voyage AI membuat model embedding mutakhir dan menawarkan model yang disesuaikan untuk domain industri tertentu seperti keuangan dan kesehatan, atau model yang disesuaikan khusus untuk pelanggan individual. Sisa panduan ini adalah untuk Voyage AI, tetapi kami mendorong Anda untuk menilai berbagai vendor embeddings untuk menemukan yang paling sesuai dengan kasus penggunaan spesifik Anda.

Model yang Tersedia

Voyage merekomendasikan penggunaan model embedding teks berikut:

Model	Panjang Konteks	Dimensi Embedding	Deskripsi
`voyage-3-large`	32.000	1024 (default), 256, 512, 2048	Kualitas pengambilan terbaik untuk tujuan umum dan multibahasa.
`voyage-3`	32.000	1024	Dioptimalkan untuk kualitas pengambilan tujuan umum dan multibahasa. Lihat blog post untuk detailnya.
`voyage-3-lite`	32.000	512	Dioptimalkan untuk latensi dan biaya. Lihat blog post untuk detailnya.
`voyage-code-3`	32.000	1024 (default), 256, 512, 2048	Dioptimalkan untuk pengambilan kode. Lihat blog post untuk detailnya.
`voyage-finance-2`	32.000	1024	Dioptimalkan untuk pengambilan keuangan dan RAG. Lihat blog post untuk detailnya.
`voyage-law-2`	16.000	1024	Dioptimalkan untuk pengambilan dan RAG hukum dan konteks panjang. Juga meningkatkan kinerja di semua domain. Lihat blog post untuk detailnya.

Selain itu, model embedding multimodal berikut direkomendasikan:

Model	Panjang Konteks	Dimensi Embedding	Deskripsi
`voyage-multimodal-3`	32000	1024	Model embedding multimodal yang kaya yang dapat memvektorisasi teks dan gambar kaya konten yang saling terkait, seperti tangkapan layar PDF, slide, tabel, gambar, dan lainnya. Lihat blog post untuk detailnya.

Butuh bantuan memutuskan model embedding teks mana yang akan digunakan? Lihat FAQ.

Memulai dengan Voyage AI

Untuk mengakses embeddings Voyage:

Daftar di situs web Voyage AI
Dapatkan kunci API
Atur kunci API sebagai variabel lingkungan untuk kemudahan:

export VOYAGE_API_KEY="<your secret key>"

Anda dapat memperoleh embeddings dengan menggunakan paket Python resmi voyageai atau permintaan HTTP, seperti yang dijelaskan di bawah ini.

Paket Python Voyage

Paket voyageai dapat diinstal menggunakan perintah berikut:

pip install -U voyageai

Kemudian, Anda dapat membuat objek klien dan mulai menggunakannya untuk meng-embed teks Anda:

import voyageai

vo = voyageai.Client()
# Ini akan secara otomatis menggunakan variabel lingkungan VOYAGE_API_KEY.
# Alternatifnya, Anda dapat menggunakan vo = voyageai.Client(api_key="<your secret key>")

texts = ["Sample text 1", "Sample text 2"]

result = vo.embed(texts, model="voyage-3", input_type="document")
print(result.embeddings[0])
print(result.embeddings[1])

result.embeddings akan menjadi daftar dua vektor embedding, masing-masing berisi 1024 angka floating-point. Setelah menjalankan kode di atas, kedua embedding akan dicetak di layar:

[0.02012746, 0.01957859, ...]  # embedding untuk "Sample text 1"
[0.01429677, 0.03077182, ...]  # embedding untuk "Sample text 2"

Saat membuat embeddings, Anda juga dapat menentukan beberapa argumen lain untuk fungsi embed(). Anda dapat membaca lebih lanjut tentang spesifikasinya di sini

API HTTP Voyage

Anda juga dapat mendapatkan embeddings dengan meminta API HTTP Voyage. Misalnya, Anda dapat mengirim permintaan HTTP melalui perintah curl di terminal:

curl https://api.voyageai.com/v1/embeddings \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer $VOYAGE_API_KEY" \
  -d '{
    "input": ["Sample text 1", "Sample text 2"],
    "model": "voyage-3"
  }'

Respons yang akan Anda dapatkan adalah objek JSON yang berisi embeddings dan penggunaan token:

{
  "object": "list",
  "data": [
    {
      "embedding": [0.02012746, 0.01957859, ...],
      "index": 0
    },
    {
      "embedding": [0.01429677, 0.03077182, ...],
      "index": 1
    }
  ],
  "model": "voyage-3",
  "usage": {
    "total_tokens": 10
  }
}

Anda dapat membaca lebih lanjut tentang endpoint embedding di dokumentasi Voyage

AWS Marketplace

Embeddings Voyage juga tersedia di AWS Marketplace. Instruksi untuk mengakses Voyage di AWS tersedia di sini.

Contoh Quickstart

Sekarang kita tahu cara mendapatkan embeddings, mari kita lihat contoh singkat. Misalkan kita memiliki korpus kecil berisi enam dokumen untuk diambil

documents = [
    "The Mediterranean diet emphasizes fish, olive oil, and vegetables, believed to reduce chronic diseases.",
    "Photosynthesis in plants converts light energy into glucose and produces essential oxygen.",
    "20th-century innovations, from radios to smartphones, centered on electronic advancements.",
    "Rivers provide water, irrigation, and habitat for aquatic species, vital for ecosystems.",
    "Apple's conference call to discuss fourth fiscal quarter results and business updates is scheduled for Thursday, November 2, 2023 at 2:00 p.m. PT / 5:00 p.m. ET.",
    "Shakespeare's works, like 'Hamlet' and 'A Midsummer Night's Dream,' endure in literature."
]

Kita akan pertama-tama menggunakan Voyage untuk mengubah masing-masing menjadi vektor embedding

import voyageai

vo = voyageai.Client()

# Embed dokumen
doc_embds = vo.embed(
    documents, model="voyage-3", input_type="document"
).embeddings

Embeddings akan memungkinkan kita melakukan pencarian semantik / pengambilan dalam ruang vektor. Diberikan contoh query,

query = "When is Apple's conference call scheduled?"

kita mengubahnya menjadi embedding, dan melakukan pencarian tetangga terdekat untuk menemukan dokumen yang paling relevan berdasarkan jarak dalam ruang embedding.

import numpy as np

# Embed query
query_embd = vo.embed(
    [query], model="voyage-3", input_type="query"
).embeddings[0]

# Hitung kesamaan
# Embeddings Voyage dinormalisasi ke panjang 1, oleh karena itu dot-product
# dan kesamaan kosinus adalah sama.
similarities = np.dot(doc_embds, query_embd)

retrieved_id = np.argmax(similarities)
print(documents[retrieved_id])

Perhatikan bahwa kita menggunakan input_type="document" dan input_type="query" untuk masing-masing embedding dokumen dan query. Spesifikasi lebih lanjut dapat ditemukan di sini. Outputnya akan menjadi dokumen ke-5, yang memang paling relevan dengan query:

Apple's conference call to discuss fourth fiscal quarter results and business updates is scheduled for Thursday, November 2, 2023 at 2:00 p.m. PT / 5:00 p.m. ET.

Jika Anda mencari kumpulan buku panduan terperinci tentang cara melakukan RAG dengan embeddings, termasuk database vektor, lihat RAG cookbook kami.

FAQ

Mengapa embeddings Voyage memiliki kualitas superior?

Model embedding apa saja yang tersedia dan mana yang harus saya gunakan?

Fungsi kesamaan mana yang harus saya gunakan?

Bagaimana saya harus menggunakan parameter input_type?

Untuk tugas pengambilan termasuk RAG, selalu tentukan input_type sebagai “query” atau “document”. Optimasi ini meningkatkan kualitas pengambilan melalui prefiks prompt khusus:Untuk query:

Represent the query for retrieving supporting documents: [your query]

Untuk dokumen:

Represent the document for retrieval: [your document]

Jangan pernah menghilangkan input_type atau mengaturnya ke None untuk tugas pengambilan.

Untuk klasifikasi, clustering, atau tugas MTEB lainnya menggunakan voyage-large-2-instruct, ikuti instruksi di repositori GitHub kami.

Opsi kuantisasi apa saja yang tersedia?

Kuantisasi mengurangi penyimpanan, memori, dan biaya dengan mengubah nilai presisi tinggi ke format presisi lebih rendah. Tipe data output yang tersedia (output_dtype):

Tipe	Deskripsi	Pengurangan Ukuran
`float`	Floating-point presisi tunggal 32-bit (default)	Tidak ada
`int8`/`uint8`	Integer 8-bit (-128 hingga 127 / 0 hingga 255)	4x
`binary`/`ubinary`	Nilai bit tunggal yang di-pack	32x

Tipe binary menggunakan integer 8-bit untuk merepresentasikan bit yang di-pack, dengan binary menggunakan metode binary offset.

Contoh: Kuantisasi binary mengubah delapan nilai embedding menjadi satu integer 8-bit:

Asli: [-0.03955078, 0.006214142, -0.07446289, -0.039001465, 
      0.0046463013, 0.00030612946, -0.08496094, 0.03994751]
Binary:   [0, 1, 0, 0, 1, 1, 0, 1] → 01001101
uint8:    77
int8:     -51 (menggunakan offset binary)

Bagaimana cara memotong embeddings Matryoshka?

Embeddings Matryoshka berisi representasi kasar-ke-halus yang dapat dipotong dengan menyimpan dimensi terdepan. Berikut cara memotong vektor 1024D menjadi 256D:

import voyageai
import numpy as np

def embd_normalize(v: np.ndarray) -> np.ndarray:
    """
    Normalisasi vektor embedding ke panjang unit.
    Menimbulkan ValueError jika ada baris yang memiliki norm nol.
    """
    row_norms = np.linalg.norm(v, axis=1, keepdims=True)
    if np.any(row_norms == 0):
        raise ValueError("Cannot normalize rows with a norm of zero.")
    return v / row_norms

# Inisialisasi klien
vo = voyageai.Client()

# Menghasilkan vektor 1024D
embd = vo.embed(['Sample text 1', 'Sample text 2'], 
               model='voyage-code-3').embeddings

# Potong menjadi 256D
short_dim = 256
resized_embd = embd_normalize(
    np.array(embd)[:, :short_dim]
).tolist()

Harga

Kunjungi halaman harga Voyage untuk detail harga terbaru.

Langkah pertama

Model & harga

Pelajari tentang Claude

Kemampuan

Alat

Model Context Protocol (MCP)

Kasus penggunaan

Rekayasa prompt

Uji & evaluasi

Perkuat pagar pengaman

Pusat Hukum

Sebelum mengimplementasikan embeddings

Cara mendapatkan embeddings dengan Anthropic

Model yang Tersedia

Memulai dengan Voyage AI

Paket Python Voyage

API HTTP Voyage

AWS Marketplace

Contoh Quickstart

FAQ

Harga

Langkah pertama

Model & harga

Pelajari tentang Claude

Kemampuan

Alat

Model Context Protocol (MCP)

Kasus penggunaan

Rekayasa prompt

Uji & evaluasi

Perkuat pagar pengaman

Pusat Hukum

​Sebelum mengimplementasikan embeddings

​Cara mendapatkan embeddings dengan Anthropic

​Model yang Tersedia

​Memulai dengan Voyage AI

​Paket Python Voyage

​API HTTP Voyage

​AWS Marketplace

​Contoh Quickstart

​FAQ

​Harga

Sebelum mengimplementasikan embeddings

Cara mendapatkan embeddings dengan Anthropic

Model yang Tersedia

Memulai dengan Voyage AI

Paket Python Voyage

API HTTP Voyage

AWS Marketplace

Contoh Quickstart

FAQ

Harga