Embeddings

​

Sebelum mengimplementasikan embeddings

Saat memilih penyedia embeddings, ada beberapa faktor yang dapat Anda pertimbangkan tergantung pada kebutuhan dan preferensi Anda:

• Ukuran dataset & spesifisitas domain: ukuran dataset pelatihan model dan relevansinya dengan domain yang ingin Anda embed. Data yang lebih besar atau lebih spesifik domain umumnya menghasilkan embeddings dalam domain yang lebih baik
• Performa inferensi: kecepatan pencarian embedding dan latensi end-to-end. Ini adalah pertimbangan yang sangat penting untuk deployment produksi skala besar
• Kustomisasi: opsi untuk melanjutkan pelatihan pada data pribadi, atau spesialisasi model untuk domain yang sangat spesifik. Ini dapat meningkatkan performa pada kosakata yang unik

​

Cara mendapatkan embeddings dengan Anthropic

Anthropic tidak menawarkan model embedding sendiri. Salah satu penyedia embeddings yang memiliki berbagai pilihan dan kemampuan yang mencakup semua pertimbangan di atas adalah Voyage AI.

Voyage AI membuat model embedding state-of-the-art dan menawarkan model yang disesuaikan untuk domain industri spesifik seperti keuangan dan kesehatan, atau model yang disesuaikan khusus untuk pelanggan individual.

Sisa panduan ini adalah untuk Voyage AI, tetapi kami mendorong Anda untuk menilai berbagai vendor embeddings untuk menemukan yang paling sesuai dengan kasus penggunaan spesifik Anda.

​

Memulai dengan Voyage AI

Untuk mengakses embeddings Voyage:

1. Daftar di situs web Voyage AI
2. Dapatkan kunci API
3. Atur kunci API sebagai variabel lingkungan untuk kemudahan:

export VOYAGE_API_KEY="<your secret key>"

Anda dapat menjalankan embeddings dengan menggunakan paket Python voyageai resmi atau permintaan HTTP, seperti yang dijelaskan di bawah ini.

​

Paket Python Voyage

Paket voyageai dapat diinstal menggunakan perintah berikut:

pip install -U voyageai

Kemudian, Anda dapat membuat objek klien dan mulai menggunakannya untuk mengembedkan teks Anda:

import voyageai

vo = voyageai.Client()
# Ini akan secara otomatis menggunakan variabel lingkungan VOYAGE_API_KEY.
# Alternatifnya, Anda dapat menggunakan vo = voyageai.Client(api_key="<your secret key>")

texts = ["Sample text 1", "Sample text 2"]

result = vo.embed(texts, model="voyage-2", input_type="document")
print(result.embeddings[0])
print(result.embeddings[1])

result.embeddings akan menjadi daftar dua vektor embedding, masing-masing berisi 1024 angka floating-point.

Setelah menjalankan kode di atas, kedua embedding akan dicetak di layar:

[0.02012746, 0.01957859, ...]  # embedding untuk "Sample text 1"
[0.01429677, 0.03077182, ...]  # embedding untuk "Sample text 2"

Saat membuat embeddings, Anda dapat menentukan beberapa argumen lain untuk fungsi embed(). Berikut adalah spesifikasinya:

voyageai.Client.embed(texts : List[str], model : str, input_type : Optional[str] = None, truncation : Optional[bool] = None)

• texts (List[str]) - Daftar teks sebagai daftar string, seperti ["I like cats", "I also like dogs"]. Saat ini, panjang maksimum daftar adalah 128, dan total jumlah token dalam daftar maksimal 320K untuk voyage-2 dan 120K untuk voyage-large-2/voyage-code-2.
• model (str) - Nama model. Opsi yang direkomendasikan: voyage-2, voyage-large-2, voyage-code-2.
• input_type (str, opsional, default ke None) - Tipe teks input. Default ke None. Opsi lain: query, document
  • Ketika input_type diatur ke None, teks input akan langsung dikodekan oleh model embedding Voyage. Alternatifnya, ketika input adalah dokumen atau query, pengguna dapat menentukan input_type menjadi query atau document. Dalam kasus seperti itu, Voyage akan menambahkan prompt khusus ke teks input dan mengirim input yang diperpanjang ke model embedding
  • Untuk kasus penggunaan pengambilan/pencarian, kami merekomendasikan untuk menentukan argumen ini saat mengkodekan query atau dokumen untuk meningkatkan kualitas pengambilan. Embeddings yang dihasilkan dengan dan tanpa argumen input_type kompatibel
• truncation (bool, opsional, default ke None) - Apakah akan memotong teks input agar sesuai dengan panjang konteks.
  • Jika True, teks input yang melebihi panjang akan dipotong agar sesuai dengan panjang konteks, sebelum divektorisasi oleh model embedding
  • Jika False, error akan dimunculkan jika ada teks yang melebihi panjang konteks
  • Jika tidak ditentukan (default ke None), Voyage akan memotong teks input sebelum mengirimkannya ke model embedding jika sedikit melebihi panjang jendela konteks. Jika secara signifikan melebihi panjang jendela konteks, error akan dimunculkan

​

API HTTP Voyage

Anda juga dapat mendapatkan embeddings dengan meminta API HTTP Voyage. Misalnya, Anda dapat mengirim permintaan HTTP melalui perintah curl di terminal:

curl https://api.voyageai.com/v1/embeddings \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer $VOYAGE_API_KEY" \
  -d '{
    "input": ["Sample text 1", "Sample text 2"],
    "model": "voyage-2"
  }'

Respons yang akan Anda dapatkan adalah objek JSON yang berisi embeddings dan penggunaan token:

{
  "object": "list",
  "data": [
    {
      "embedding": [0.02012746, 0.01957859, ...],
      "index": 0
    },
    {
      "embedding": [0.01429677, 0.03077182, ...],
      "index": 1
    }
  ],
  "model": "voyage-2",
  "usage": {
    "total_tokens": 10
  }
}

Endpoint embedding Voyage AI adalah https://api.voyageai.com/v1/embeddings (POST). Header permintaan harus berisi kunci API. Body permintaan adalah objek JSON yang berisi argumen berikut:

• input (str, List[str]) - String teks tunggal, atau daftar teks sebagai daftar string. Saat ini, panjang maksimum daftar adalah 128, dan total jumlah token dalam daftar maksimal 320K untuk voyage-2 dan 120K untuk voyage-large-2/voyage-code-2.
• model (str) - Nama model. Opsi yang direkomendasikan: voyage-2, voyage-large-2, voyage-code-2.
• input_type (str, opsional, default ke None) - Tipe teks input. Default ke None. Opsi lain: query, document
• truncation (bool, opsional, default ke None) - Apakah akan memotong teks input agar sesuai dengan panjang konteks
  • Jika True, teks input yang melebihi panjang akan dipotong agar sesuai dengan panjang konteks sebelum divektorisasi oleh model embedding
  • Jika False, error akan dimunculkan jika ada teks yang melebihi panjang konteks
  • Jika tidak ditentukan (default ke None), Voyage akan memotong teks input sebelum mengirimkannya ke model embedding jika sedikit melebihi panjang jendela konteks. Jika secara signifikan melebihi panjang jendela konteks, error akan dimunculkan
• encoding_format (str, opsional, default ke None) - Format di mana embeddings dikodekan. Voyage saat ini mendukung dua opsi:
  • Jika tidak ditentukan (default ke None): embeddings direpresentasikan sebagai daftar angka floating-point
  • "base64": embeddings dikompresi ke pengkodean Base64

​

Contoh embedding Voyage

Sekarang kita tahu cara mendapatkan embeddings dengan Voyage, mari kita lihat dalam aksi dengan contoh singkat.

Misalkan kita memiliki korpus kecil dari enam dokumen untuk diambil

documents = [
    "The Mediterranean diet emphasizes fish, olive oil, and vegetables, believed to reduce chronic diseases.",
    "Photosynthesis in plants converts light energy into glucose and produces essential oxygen.",
    "20th-century innovations, from radios to smartphones, centered on electronic advancements.",
    "Rivers provide water, irrigation, and habitat for aquatic species, vital for ecosystems.",
    "Apple's conference call to discuss fourth fiscal quarter results and business updates is scheduled for Thursday, November 2, 2023 at 2:00 p.m. PT / 5:00 p.m. ET.",
    "Shakespeare's works, like 'Hamlet' and 'A Midsummer Night's Dream,' endure in literature."
]

Kita akan pertama-tama menggunakan Voyage untuk mengkonversi masing-masing menjadi vektor embedding

import voyageai

vo = voyageai.Client()

# Embed dokumen
doc_embds = vo.embed(
    documents, model="voyage-2", input_type="document"
).embeddings

Embeddings akan memungkinkan kita melakukan pencarian semantik / pengambilan dalam ruang vektor. Kita kemudian dapat mengkonversi contoh query,

query = "When is Apple's conference call scheduled?"

menjadi embedding, dan kemudian melakukan pencarian tetangga terdekat untuk menemukan dokumen yang paling relevan berdasarkan jarak dalam ruang embedding.

import numpy as np

# Embed query
query_embd = vo.embed(
    [query], model="voyage-2", input_type="query"
).embeddings[0]

# Hitung kesamaan
# Embeddings Voyage dinormalisasi ke panjang 1, oleh karena itu dot-product
# dan kesamaan kosinus adalah sama.
similarities = np.dot(doc_embds, query_embd)

retrieved_id = np.argmax(similarities)
print(documents[retrieved_id])

Perhatikan bahwa kita menggunakan input_type="document" dan input_type="query" untuk masing-masing embedding dokumen dan query. Spesifikasi lebih lanjut dapat ditemukan di sini.

Output akan menjadi dokumen ke-5, yang memang paling relevan dengan query:

Apple's conference call to discuss fourth fiscal quarter results and business updates is scheduled for Thursday, November 2, 2023 at 2:00 p.m. PT / 5:00 p.m. ET.

​

Model Voyage yang tersedia

Voyage merekomendasikan menggunakan model embedding berikut:

voyage-2 dan voyage-large-2 adalah model embedding generalis, yang mencapai performa state-of-the-art di berbagai domain dan mempertahankan efisiensi tinggi. voyage-code-2 dioptimalkan untuk bidang kode, menawarkan panjang konteks 4x untuk penggunaan yang lebih fleksibel, meskipun dengan latensi yang relatif lebih tinggi.

Voyage secara aktif mengembangkan model yang lebih canggih dan terspesialisasi, dan juga menawarkan layanan fine-tuning untuk menyesuaikan model khusus untuk pelanggan individual. Email manajer akun Anthropic Anda atau hubungi dukungan Anthropic untuk informasi lebih lanjut tentang model khusus.

• voyage-finance-2: segera hadir
• voyage-law-2: segera hadir
• voyage-multilingual-2: segera hadir
• voyage-healthcare-2: segera hadir

​

Voyage di AWS Marketplace

Embeddings Voyage juga tersedia di AWS Marketplace. Berikut adalah instruksi untuk mengakses Voyage di AWS:

1. Berlangganan paket model
   1. Navigasi ke halaman daftar paket model dan pilih model yang akan di-deploy
   2. Klik tombol Continue to subscribe
   3. Tinjau dengan cermat detail pada halaman Subscribe to this software. Jika Anda setuju dengan Perjanjian Lisensi Pengguna Akhir (EULA) standar, harga, dan ketentuan dukungan, klik “Accept Offer”
   4. Setelah memilih Continue to configuration dan memilih wilayah, Anda akan disajikan Product Arn. Ini adalah ARN paket model yang diperlukan untuk membuat model yang dapat di-deploy menggunakan Boto3
      1. Salin ARN yang sesuai dengan wilayah yang Anda pilih dan gunakan di sel berikutnya
2. Deploy paket model

Dari sini, buat ruang JupyterLab di Sagemaker Studio, unggah notebook Voyage, dan ikuti instruksi di dalamnya.

​

FAQ

import numpy as np

similarity = np.dot(embd1, embd2)
# Embeddings Voyage dinormalisasi ke panjang 1, oleh karena itu kesamaan kosinus
# sama dengan dot-product.

import voyageai

vo = voyageai.Client()
total_tokens = vo.count_tokens(["Sample text"])

​

Harga

Kunjungi halaman harga Voyage untuk detail harga terbaru.