Moderación de contenido

allowed_user_comments = [
    'Esta película fue genial, realmente la disfruté. ¡El actor principal la mató!',
    'Odio los lunes.',
    '¡Es un buen momento para invertir en oro!'
]

disallowed_user_comments = [
    'Borra esta publicación ahora o mejor escóndete. Voy por ti y tu familia.',
    '¡Aléjate de los teléfonos celulares 5G!! Están usando el 5G para controlarte.',
    '¡Felicitaciones! Has ganado una tarjeta de regalo de $1,000. Haz clic aquí para reclamar tu premio!'
]

# Comentarios de usuario de ejemplo para probar la moderación de contenido
user_comments = allowed_user_comments + disallowed_user_comments

# Lista de categorías consideradas inseguras para la moderación de contenido
unsafe_categories = [
    'Explotación Infantil',
    'Teorías Conspirativas',
    'Odio',
    'Armas Indiscriminadas', 
    'Propiedad Intelectual',
    'Crímenes No Violentos', 
    'Privacidad',
    'Autolesión',
    'Crímenes Sexuales',
    'Contenido Sexual',
    'Consejos Especializados',
    'Crímenes Violentos'
]

import anthropic
import json

# Inicializar el cliente de Anthropic
client = anthropic.Anthropic()

def moderate_message(message, unsafe_categories):
    # Convertir la lista de categorías inseguras en una cadena, con cada categoría en una nueva línea
    unsafe_category_str = '\n'.join(unsafe_categories)
    
    # Construir el prompt para Claude, incluyendo el mensaje y las categorías inseguras
    assessment_prompt = f"""
    Determina si el siguiente mensaje requiere moderación, 
    basado en las categorías inseguras descritas a continuación.
    
    Mensaje:
    <message>{message}</message>

    Categorías Inseguras:
    <categories>
    {unsafe_category_str}
    </categories>

    Responde SOLO con un objeto JSON, usando el formato a continuación:
    {{
    "violation": <Campo booleano que indica si el mensaje debe ser moderado>,
    "categories": [Lista de categorías violadas separadas por comas],
    "explanation": [Opcional. Solo incluir si hay una violación.]
    }}"""

    # Enviar la solicitud a Claude para moderación de contenido
    response = client.messages.create(
        model="claude-3-haiku-20240307",  # Usando el modelo Haiku para costos más bajos
        max_tokens=200,
        temperature=0,   # Usar temperatura 0 para mayor consistencia
        messages=[
            {"role": "user", "content": assessment_prompt}
        ]
    )
    
    # Analizar la respuesta JSON de Claude
    assessment = json.loads(response.content[0].text)
    
    # Extraer el estado de violación de la evaluación
    contains_violation = assessment['violation']
    
    # Si hay una violación, obtener las categorías y explicación; de lo contrario, usar valores predeterminados vacíos
    violated_categories = assessment.get('categories', []) if contains_violation else []
    explanation = assessment.get('explanation') if contains_violation else None
    
    return contains_violation, violated_categories, explanation

# Procesar cada comentario e imprimir los resultados
for comment in user_comments:
    print(f"\nComentario: {comment}")
    violation, violated_categories, explanation = moderate_message(comment, unsafe_categories)
    
    if violation:
        print(f"Categorías Violadas: {', '.join(violated_categories)}")
        print(f"Explicación: {explanation}")
    else:
        print("No se detectaron problemas.")

import anthropic
import json

# Inicializar el cliente de Anthropic
client = anthropic.Anthropic()

def assess_risk_level(message, unsafe_categories):
    # Convertir la lista de categorías inseguras en una cadena, con cada categoría en una nueva línea
    unsafe_category_str = '\n'.join(unsafe_categories)
    
    # Construir el prompt para Claude, incluyendo el mensaje, categorías inseguras y definiciones de nivel de riesgo
    assessment_prompt = f"""
    Evalúa el nivel de riesgo del siguiente mensaje requiere moderación, 
    basado en las categorías inseguras listadas a continuación.
    
Mensaje:
<message>{message}</message>

Categorías Inseguras:
<categories>
{unsafe_category_str}
</categories>

Asigna un nivel de riesgo basado en tu confianza de que el mensaje del usuario debe ser moderado 
según las categorías inseguras definidas:

0 - Sin riesgo
1 - Riesgo bajo
2 - Riesgo medio
3 - Riesgo alto

Responde SOLO con un objeto JSON, usando el formato a continuación:
{{
  "risk_level": <Campo numérico que indica el nivel de riesgo>,
  "categories": [Lista de categorías violadas separadas por comas],
  "explanation": <Opcional. Solo incluir si el nivel de riesgo es mayor que 0>
}}"""

    # Enviar la solicitud a Claude para evaluación de riesgo
    response = client.messages.create(
        model="claude-3-haiku-20240307",  # Usando el modelo Haiku para costos más bajos
        max_tokens=200,
        temperature=0,   # Usar temperatura 0 para mayor consistencia
        messages=[
            {"role": "user", "content": assessment_prompt}
        ]
    )
    
    # Analizar la respuesta JSON de Claude
    assessment = json.loads(response.content[0].text)
    
    # Extraer el nivel de riesgo, categorías violadas y explicación de la evaluación
    risk_level = assessment["risk_level"]
    violated_categories = assessment["categories"]
    explanation = assessment.get("explanation")
    
    return risk_level, violated_categories, explanation

# Procesar cada comentario e imprimir los resultados
for comment in user_comments:
    print(f"\nComentario: {comment}")
    risk_level, violated_categories, explanation = assess_risk_level(comment, unsafe_categories)
    
    print(f"Nivel de Riesgo: {risk_level}")
    if violated_categories:
        print(f"Categorías Violadas: {', '.join(violated_categories)}")
    if explanation:
        print(f"Explicación: {explanation}")

import anthropic
import json

# Inicializar el cliente de Anthropic
client = anthropic.Anthropic()

# Diccionario de categorías consideradas inseguras para moderación de contenido, con sus definiciones
unsafe_category_definitions = {
    'Explotación Infantil': 'Contenido que representa desnudez infantil o que permite, alienta, excusa o representa el abuso sexual de niños.',
    'Teorías Conspirativas': """Contenido que promueve o respalda teorías infundadas, falsas o engañosas sobre eventos, situaciones o individuos, 
        que pueden incitar daño o socavar la confianza pública en instituciones o hechos.""",
    'Odio': """Contenido que es odioso hacia las personas en base a sus características protegidas 
        (raza, color, etnia, origen nacional, discapacidad, afiliación religiosa, casta, orientación sexual, sexo, identidad de género y enfermedad grave), 
        o contenido que perpetúa estereotipos negativos.""",
    'Armas Indiscriminadas': 'Contenido que permite la creación de armas de destrucción masiva.', 
    'Propiedad Intelectual': 'Contenido que viola los derechos de propiedad intelectual de terceros.',
    'Crímenes No Violentos': 'Contenido que permite, alienta o excusa la comisión de crímenes no violentos.', 
    'Privacidad': 'Contenido que contiene información sensible y personal sobre individuos privados.',
    'Autolesión': 'Contenido que permite, alienta o excusa actos de autolesión intencional.',
    'Crímenes Sexuales': 'Contenido que permite, alienta o excusa la comisión de crímenes sexuales.',
    'Contenido Sexual': 'Contenido que contiene descripciones eróticas o representaciones explícitas de actos sexuales.',
    'Consejos Especializados': """Contenido que contiene consejos financieros, médicos o legales. 
        Los consejos financieros incluyen orientación sobre inversiones, acciones, bonos o cualquier planificación financiera.""",
    'Crímenes Violentos': 'Contenido que permite, alienta o excusa la comisión de crímenes violentos.', 
}


def moderate_message_with_definitions(message, unsafe_category_definitions):
    # Formatear cadena de categorías inseguras, con cada categoría y su definición en una nueva línea
    unsafe_category_str = '\n'.join(f'{category}: {definition}' 
        for category, definition in unsafe_category_definitions.items()
    )
    
    # Construir el prompt para Claude, incluyendo el mensaje y las categorías inseguras
    assessment_prompt = f"""Determina si el siguiente mensaje requiere moderación, basado en las categorías inseguras descritas a continuación.

Mensaje:
<message>{message}</message>

Categorías Inseguras y Sus Definiciones:
<categories>
{unsafe_category_str}
</categories>

Es importante que recuerdes todas las categorías inseguras y sus definiciones.

Responde SOLO con un objeto JSON, usando el formato a continuación:
{{
  "violation": <Campo booleano que indica si el mensaje debe ser moderado>,
  "categories": [Lista de categorías violadas separadas por comas],
  "explanation": [Opcional. Solo incluir si hay una violación.]
}}"""

    # Enviar la solicitud a Claude para moderación de contenido
    response = client.messages.create(
        model="claude-3-haiku-20240307",  # Usando el modelo Haiku para costos más bajos
        max_tokens=200,
        temperature=0,   # Usar temperatura 0 para mayor consistencia
        messages=[
            {"role": "user", "content": assessment_prompt}
        ]
    )
    
    # Analizar la respuesta JSON de Claude
    assessment = json.loads(response.content[0].text)
    
    # Extraer el estado de violación de la evaluación
    contains_violation = assessment['violation']
    
    # Si hay una violación, obtener las categorías y explicación; de lo contrario, usar valores predeterminados vacíos
    violated_categories = assessment.get('categories', []) if contains_violation else []
    explanation = assessment.get('explanation') if contains_violation else None
    
    return contains_violation, violated_categories, explanation


# Procesar cada comentario e imprimir los resultados
for comment in user_comments:
    print(f"\nComentario: {comment}")
    violation, violated_categories, explanation = moderate_message_with_definitions(comment, unsafe_category_definitions)
    
    if violation:
        print(f"Categorías Violadas: {', '.join(violated_categories)}")
        print(f"Explicación: {explanation}")
    else:
        print("No se detectaron problemas.")

import anthropic
import json

# Inicializar el cliente de Anthropic
client = anthropic.Anthropic()

def batch_moderate_messages(messages, unsafe_categories):
    # Convertir la lista de categorías inseguras en una cadena, con cada categoría en una nueva línea
    unsafe_category_str = '\n'.join(unsafe_categories)
    
    # Formatear cadena de mensajes, con cada mensaje envuelto en etiquetas tipo XML y con un ID
    messages_str = '\n'.join([f'<message id={idx}>{msg}</message>' for idx, msg in enumerate(messages)])
    
    # Construir el prompt para Claude, incluyendo los mensajes y las categorías inseguras
    assessment_prompt = f"""Determina los mensajes a moderar, basado en las categorías inseguras descritas a continuación.

Mensajes:
<messages>
{messages_str}
</messages>

Categorías inseguras y sus definiciones:
<categories>
{unsafe_category_str}
</categories>

Responde SOLO con un objeto JSON, usando el formato a continuación:
{{
  "violations": [
    {{
      "id": <id del mensaje>,
      "categories": [lista de categorías violadas],
      "explanation": <Explicación de por qué hay una violación>
    }},
    ...
  ]
}}

Notas Importantes:
- Recuerda analizar cada mensaje para detectar una violación.
- Selecciona cualquier número de violaciones que apliquen razonablemente."""

    # Enviar la solicitud a Claude para moderación de contenido
    response = client.messages.create(
        model="claude-3-haiku-20240307",  # Usando el modelo Haiku para costos más bajos
        max_tokens=2048,  # Aumentado el conteo máximo de tokens para manejar lotes
        temperature=0,    # Usar temperatura 0 para mayor consistencia
        messages=[
            {"role": "user", "content": assessment_prompt}
        ]
    )
    
    # Analizar la respuesta JSON de Claude
    assessment = json.loads(response.content[0].text)
    return assessment


# Procesar el lote de comentarios y obtener la respuesta
response_obj = batch_moderate_messages(user_comments, unsafe_categories)

# Imprimir los resultados para cada violación detectada
for violation in response_obj['violations']:
    print(f"""Comentario: {user_comments[violation['id']]}
Categorías Violadas: {', '.join(violation['categories'])}
Explicación: {violation['explanation']}
""")