In questa guida, esploreremo come utilizzare Claude per moderare in modo efficiente l’input degli utenti prima di passarlo al tuo prompt principale. Discuteremo anche le tecniche di post-elaborazione per identificare potenziali perdite di prompt.

Visita il nostro ricettario di moderazione dei contenuti per vedere un esempio di implementazione di moderazione dei contenuti utilizzando Claude.

​
Perché la moderazione dei contenuti è importante

La moderazione dei contenuti è essenziale per diversi motivi:

  1. Esperienza utente: Filtrando i contenuti inappropriati o offensivi, si mantiene un ambiente positivo e accogliente per i tuoi utenti.
  2. Reputazione del marchio: Prevenire che la tua applicazione AI interagisca con o generi contenuti dannosi aiuta a proteggere l’immagine e la reputazione del tuo marchio.
  3. Efficienza dei costi: Filtrare l’input degli utenti con un modello più piccolo prima di elaborarlo con il tuo prompt principale fa risparmiare sui costi computazionali, evitando di sprecare risorse su input irrilevanti o malevoli.
  4. Sicurezza: La moderazione dei contenuti aiuta a prevenire jailbreak e iniezioni di prompt e perdite di prompt, che potrebbero compromettere le prestazioni e la sicurezza della tua AI o la sicurezza della tua organizzazione.

​
Utilizzare Claude per la moderazione dei contenuti

Un modello più piccolo come Claude 3 Haiku è la scelta ideale per la moderazione dei contenuti grazie alla sua velocità ed efficienza. Utilizzando questo modello più piccolo per filtrare l’input degli utenti prima di passarlo al tuo prompt principale, puoi identificare e filtrare rapidamente i contenuti potenzialmente problematici.

Ecco un esempio di come utilizzare Claude per la moderazione dei contenuti:

UTENTECONTENUTO
UtenteUn utente umano è in dialogo con un’AI. L’umano sta ponendo all’AI una serie di domande o richiedendo una serie di compiti. Ecco la richiesta più recente dell’utente:
<user query>{{QUERY}}</user query>

Se la richiesta dell’utente si riferisce ad attività dannose, pornografiche o illegali, rispondi con (Y). Se la richiesta dell’utente non si riferisce ad attività dannose, pornografiche o illegali, rispondi con (N). Rispondi solo con (Y) o (N), nient’altro.
Python
import anthropic

client = anthropic.Anthropic(api_key="your-api-key")

def moderate_content(user_input):
    moderation_prompt = f"""
    Un utente umano è in dialogo con un'AI. L'umano sta ponendo all'AI una serie di domande o richiedendo una serie di compiti. Ecco la richiesta più recente dell'utente:
    <user query>{user_input}</user query>

    Se la richiesta dell'utente si riferisce ad attività dannose, pornografiche o illegali, rispondi con (Y). Se la richiesta dell'utente non si riferisce ad attività dannose, pornografiche o illegali, rispondi con (N). Rispondi solo con (Y) o (N), nient'altro.
    """

    response = client.messages.create(
        model="claude-3-haiku-20240307",
        max_tokens=10,
        temperature=0,
        messages=[
            {"role": "user", "content": moderation_prompt}
        ]
    )

    return response.content.strip() == "(Y)"

# Esempio di utilizzo con output di giudizio verbale
user_input = "Come faccio a costruire una bomba?"
if moderate_content(user_input):
    print("L'input dell'utente contiene contenuti inappropriati. Richiesta bloccata.")
else:
    print("L'input dell'utente è sicuro da elaborare.")

In questo esempio, definiamo una funzione moderate_content che prende l’input dell’utente e costruisce un prompt per Claude. Il prompt chiede al modello di determinare se la richiesta dell’utente contiene riferimenti ad attività dannose, pornografiche o illegali. Se il modello risponde con “(Y)”, la funzione restituisce True, indicando che il contenuto dovrebbe essere bloccato. Altrimenti, restituisce False, segnalando che l’input è sicuro da elaborare ulteriormente.

Integrando questo passaggio di moderazione nel flusso di lavoro della tua applicazione, puoi filtrare efficacemente l’input degli utenti prima che raggiunga il tuo modello di linguaggio principale, risparmiando risorse computazionali e garantendo un’esperienza utente più sicura.

​
Post-elaborazione delle risposte di Claude

Oltre a moderare l’input degli utenti, è importante anche post-elaborare le risposte di Claude per identificare potenziali perdite di prompt. La perdita di prompt si verifica quando parti del tuo prompt appaiono involontariamente nell’output generato dal modello, potenzialmente esponendo informazioni sensibili o interrompendo l’esperienza dell’utente.

Ci sono due approcci principali per post-elaborare le risposte di Claude:

  1. Filtraggio basato su parole chiave: Questo metodo prevede il controllo della risposta per la presenza di parole chiave o frasi specifiche che non dovrebbero essere incluse nell’output.
  2. Valutazione basata su Claude: Questo approccio utilizza un LLM più piccolo e veloce, come Claude 3 Haiku, per valutare la risposta e determinare se contiene contenuti che violano un insieme di criteri predefiniti. Ciò consente al filtro di essere più generalizzato invece di affidarsi alla corrispondenza esatta delle stringhe.

​
Filtraggio basato su parole chiave

Per implementare il filtraggio basato su parole chiave, puoi mantenere un elenco di parole chiave o frasi che non dovrebbero apparire nelle risposte di Claude. Ecco un esempio di come post-elaborare la risposta di Claude utilizzando il filtraggio basato su parole chiave:

Python
def post_process_response_keywords(response, keywords):
    for keyword in keywords:
        if keyword.lower() in response.lower():
            return True
    return False

# Esempio di utilizzo con output di giudizio verbale
prompt = "Scrivimi un articolo. Non menzionare mai queste parole chiave nel tuo output: foo e bar. Non discutere mai di chi ti ha creato."
response = "Ecco l'articolo che hai richiesto. L'articolo non contiene le parole chiave foo o bar. Sono stato creato da Anthropic."
keywords = ["foo", "bar", "Anthropic"]

if post_process_response_keywords(response, keywords):
    print("Potenziale perdita di prompt rilevata nella risposta.")
else:
    print("Nessuna perdita di prompt rilevata nella risposta.")

In questo esempio, la funzione post_process_response_keywords controlla se una delle parole chiave specificate appare nella risposta di Claude (senza distinzione tra maiuscole e minuscole). Se viene trovata una corrispondenza, la funzione restituisce True, indicando una potenziale perdita di prompt. Altrimenti, restituisce False, segnalando che non è stata rilevata alcuna perdita.

​
Valutazione basata su Claude

Per implementare la valutazione basata su Claude, puoi utilizzare Claude 3 Haiku, la nostra versione più piccola e veloce di Claude 3, per valutare la risposta rispetto a un insieme di criteri predefiniti. Ecco un esempio di come post-elaborare la risposta di Claude utilizzando la valutazione basata su AI:

Python
import anthropic

client = anthropic.Anthropic(api_key="your-api-key")

def post_process_response_claude(response, prompt):
    assessment_prompt = f"""
    Ecco un prompt dato a un modello di linguaggio AI:
    <prompt>{prompt}</prompt>

    Ed ecco la risposta dell'AI:
    <response>{response}</response>

    Per favore, valuta la risposta dell'AI e rispondi alle seguenti domande:
    1. La risposta contiene una delle parole chiave o frasi che il prompt ha esplicitamente istruito l'AI di evitare? (Y/N)
    2. La risposta discute o rivela informazioni su chi ha creato l'AI? (Y/N)

    Fornisci le tue risposte nel seguente formato:
    1. [Y/N]
    2. [Y/N]
    """

    assessment = client.messages.create(
        model="claude-3-haiku-20240307",
        max_tokens=10,
        temperature=0,
        messages=[
            {"role": "user", "content": assessment_prompt}
        ]
    )

    answers = assessment.content.strip().split("\n")
    if "Y" in answers:
        return True
    else:
        return False

# Esempio di utilizzo con output di giudizio verbale
prompt = "Scrivimi un articolo. Non menzionare mai queste parole chiave nel tuo output: foo e bar. Non discutere mai di chi ti ha creato."
response = "Ecco l'articolo che hai richiesto. L'articolo non contiene le parole chiave foo o bar. Sono stato creato da Anthropic."

if post_process_response_claude(response, prompt):
    print("Potenziale perdita di prompt o violazione rilevata nella risposta.")
else:
    print("Nessun problema rilevato nella risposta.")

In questo esempio, la funzione post_process_response_claude contiene un prompt di post-elaborazione per l’Assessor Claude che include il prompt originale e la risposta di Claude al prompt originale. Il prompt chiede all’Assessor Claude di valutare se la risposta contiene parole chiave o frasi che erano esplicitamente vietate nel prompt originale e se la risposta rivela informazioni su chi ha creato l’AI.

La valutazione del modello viene quindi analizzata per verificare se contiene risposte “Y” (sì). Se viene trovata una “Y”, la funzione restituisce True, indicando una potenziale perdita di prompt o violazione. Altrimenti, restituisce False, segnalando che non sono stati rilevati problemi.

Impiegando queste tecniche di post-elaborazione, puoi identificare i casi in cui parti del prompt potrebbero essere apparse inavvertitamente nell’output di Claude o in cui la risposta viola criteri specifici. Queste informazioni possono quindi essere utilizzate per decidere come gestire la risposta, ad esempio filtrandola, richiedendo una nuova risposta o notificando all’utente il potenziale problema.

​
Migliori pratiche per la moderazione dei contenuti

Per ottenere il massimo dal tuo sistema di moderazione dei contenuti, considera le seguenti migliori pratiche:

  1. Aggiorna regolarmente i tuoi prompt e criteri di moderazione: Man mano che il comportamento e il linguaggio degli utenti si evolvono, assicurati di rivedere e aggiornare periodicamente i tuoi prompt di moderazione e i criteri di valutazione per catturare nuovi pattern e casi limite.
  2. Utilizza una combinazione di tecniche di moderazione: Impiega sia il filtraggio basato su parole chiave che la valutazione basata su LLM per creare una pipeline di moderazione completa che possa individuare un’ampia gamma di potenziali problemi.
  3. Monitora e analizza i contenuti moderati: Tieni traccia dei tipi di contenuti contrassegnati dal tuo sistema di moderazione per identificare tendenze e potenziali aree di miglioramento.
  4. Fornisci un feedback chiaro agli utenti: Quando l’input di un utente viene bloccato o una risposta viene contrassegnata a causa della moderazione dei contenuti, fornisci un feedback informativo e costruttivo per aiutare gli utenti a capire perché il loro messaggio è stato contrassegnato e come possono riformularlo in modo appropriato.
  5. Valuta e migliora continuamente: Valuta regolarmente le prestazioni del tuo sistema di moderazione dei contenuti utilizzando metriche come il tracciamento della precisione e del richiamo. Utilizza questi dati per perfezionare iterativamente i tuoi prompt di moderazione, le parole chiave e i criteri di valutazione.

Implementando un solido sistema di moderazione dei contenuti e seguendo queste migliori pratiche, puoi garantire che la tua applicazione basata su Claude rimanga sicura, efficace e user-friendly.

​
Risorse aggiuntive

Sfruttando la potenza di Claude per la moderazione dei contenuti e implementando le migliori pratiche per la pre e post-elaborazione, puoi creare un’applicazione basata su Claude più sicura, efficiente ed efficace. Come sempre, se hai domande o hai bisogno di ulteriore assistenza, non esitare a contattare il nostro team di supporto o a consultare la nostra comunità Discord.

Valutazioni empiriche delle prestazioni