Embeddings

​

Prima di implementare gli embeddings

Quando si seleziona un provider di embeddings, ci sono diversi fattori da considerare in base alle proprie esigenze e preferenze:

• Dimensione del dataset e specificità del dominio: dimensione del dataset di addestramento del modello e la sua rilevanza per il dominio che si desidera incorporare. Dati più ampi o più specifici del dominio generalmente producono migliori embeddings nel dominio
• Prestazioni di inferenza: velocità di ricerca degli embedding e latenza end-to-end. Questa è una considerazione particolarmente importante per implementazioni in produzione su larga scala
• Personalizzazione: opzioni per continuare l’addestramento su dati privati o specializzazione dei modelli per domini molto specifici. Questo può migliorare le prestazioni su vocabolari unici

​

Come ottenere embeddings con Anthropic

Anthropic non offre un proprio modello di embedding. Un provider di embeddings che ha un’ampia varietà di opzioni e capacità che comprendono tutte le considerazioni di cui sopra è Voyage AI.

Voyage AI realizza modelli di embedding all’avanguardia e offre modelli personalizzati per specifici domini industriali come finanza e sanità, o modelli su misura perfezionati per singoli clienti.

Il resto di questa guida è per Voyage AI, ma ti incoraggiamo a valutare una varietà di fornitori di embeddings per trovare quello più adatto al tuo caso d’uso specifico.

​

Modelli Disponibili

Voyage raccomanda l’utilizzo dei seguenti modelli di embedding del testo:

Inoltre, sono raccomandati i seguenti modelli di embedding multimodali:

Hai bisogno di aiuto per decidere quale modello di embedding testuale utilizzare? Consulta le FAQ.

​

Iniziare con Voyage AI

Per accedere agli embeddings di Voyage:

1. Registrati sul sito web di Voyage AI
2. Ottieni una chiave API
3. Imposta la chiave API come variabile d’ambiente per comodità:

export VOYAGE_API_KEY="<la tua chiave segreta>"

Puoi ottenere gli embeddings utilizzando il pacchetto Python ufficiale voyageai o le richieste HTTP, come descritto di seguito.

​

Pacchetto Python Voyage

Il pacchetto voyageai può essere installato usando il seguente comando:

pip install -U voyageai

Quindi, puoi creare un oggetto client e iniziare a usarlo per incorporare i tuoi testi:

import voyageai

vo = voyageai.Client()
# Questo utilizzerà automaticamente la variabile d'ambiente VOYAGE_API_KEY.
# In alternativa, puoi usare vo = voyageai.Client(api_key="<la tua chiave segreta>")

texts = ["Testo di esempio 1", "Testo di esempio 2"]

result = vo.embed(texts, model="voyage-3", input_type="document")
print(result.embeddings[0])
print(result.embeddings[1])

result.embeddings sarà una lista di due vettori di embedding, ciascuno contenente 1024 numeri in virgola mobile. Dopo aver eseguito il codice sopra, i due embeddings verranno stampati sullo schermo:

[0.02012746, 0.01957859, ...]  # embedding per "Testo di esempio 1"
[0.01429677, 0.03077182, ...]  # embedding per "Testo di esempio 2"

Quando crei gli embeddings, puoi anche specificare alcuni altri argomenti alla funzione embed(). Puoi leggere di più sulla specifica qui

​

API HTTP Voyage

Puoi anche ottenere embeddings richiedendo l’API HTTP di Voyage. Per esempio, puoi inviare una richiesta HTTP attraverso il comando curl in un terminale:

curl https://api.voyageai.com/v1/embeddings \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer $VOYAGE_API_KEY" \
  -d '{
    "input": ["Testo di esempio 1", "Testo di esempio 2"],
    "model": "voyage-3"
  }'

La risposta che otterrai è un oggetto JSON contenente gli embeddings e l’utilizzo dei token:

{
  "object": "list",
  "data": [
    {
      "embedding": [0.02012746, 0.01957859, ...],
      "index": 0
    },
    {
      "embedding": [0.01429677, 0.03077182, ...],
      "index": 1
    }
  ],
  "model": "voyage-3",
  "usage": {
    "total_tokens": 10
  }
}

Puoi leggere di più sull’endpoint di embedding nella documentazione di Voyage

​

AWS Marketplace

Gli embeddings di Voyage sono disponibili anche su AWS Marketplace. Le istruzioni per accedere a Voyage su AWS sono disponibili qui.

​

Esempio di Avvio Rapido

Ora che sappiamo come ottenere gli embeddings, vediamo un breve esempio.

Supponiamo di avere un piccolo corpus di sei documenti da cui recuperare

documents = [
    "La dieta mediterranea enfatizza pesce, olio d'oliva e verdure, ritenuti in grado di ridurre le malattie croniche.",
    "La fotosintesi nelle piante converte l'energia luminosa in glucosio e produce ossigeno essenziale.",
    "Le innovazioni del XX secolo, dalle radio agli smartphone, si sono concentrate sui progressi elettronici.",
    "I fiumi forniscono acqua, irrigazione e habitat per le specie acquatiche, vitali per gli ecosistemi.",
    "La conference call di Apple per discutere i risultati del quarto trimestre fiscale e gli aggiornamenti aziendali è programmata per giovedì 2 novembre 2023 alle 14:00 PT / 17:00 ET.",
    "Le opere di Shakespeare, come 'Amleto' e 'Sogno di una notte di mezza estate', perdurano nella letteratura."
]

Prima useremo Voyage per convertire ciascuno di essi in un vettore di embedding

import voyageai

vo = voyageai.Client()

# Incorpora i documenti
doc_embds = vo.embed(
    documents, model="voyage-3", input_type="document"
).embeddings

Gli embeddings ci permetteranno di fare ricerca semantica / recupero nello spazio vettoriale. Data una query di esempio,

query = "Quando è programmata la conference call di Apple?"

la convertiamo in un embedding e conduciamo una ricerca del vicino più prossimo per trovare il documento più rilevante basato sulla distanza nello spazio degli embedding.

import numpy as np

# Incorpora la query
query_embd = vo.embed(
    [query], model="voyage-3", input_type="query"
).embeddings[0]

# Calcola la similarità
# Gli embedding di Voyage sono normalizzati a lunghezza 1, quindi il prodotto scalare
# e la similarità del coseno sono uguali.
similarities = np.dot(doc_embds, query_embd)

retrieved_id = np.argmax(similarities)
print(documents[retrieved_id])

Nota che usiamo input_type="document" e input_type="query" per incorporare rispettivamente il documento e la query. Ulteriori specifiche possono essere trovate qui.

L’output sarà il 5° documento, che è effettivamente il più rilevante per la query:

La conference call di Apple per discutere i risultati del quarto trimestre fiscale e gli aggiornamenti aziendali è programmata per giovedì 2 novembre 2023 alle 14:00 PT / 17:00 ET.

Se stai cercando una serie dettagliata di guide su come fare RAG con gli embeddings, inclusi i database vettoriali, consulta il nostro cookbook RAG.

​

FAQ

​

Prezzi

Visita la pagina dei prezzi di Voyage per i dettagli più aggiornati sui prezzi.