Moderação de conteúdo

allowed_user_comments = [
    'Este filme foi ótimo, eu realmente gostei. O ator principal arrasou!',
    'Eu odeio segundas-feiras.',
    'É um ótimo momento para investir em ouro!'
]

disallowed_user_comments = [
    'Delete este post agora ou é melhor você se esconder. Estou indo atrás de você e sua família.',
    'Fique longe dos celulares 5G!! Eles estão usando 5G para controlar você.',
    'Parabéns! Você ganhou um vale-presente de R$ 1.000. Clique aqui para resgatar seu prêmio!'
]

# Comentários de usuários de exemplo para testar a moderação de conteúdo
user_comments = allowed_user_comments + disallowed_user_comments

# Lista de categorias consideradas inseguras para moderação de conteúdo
unsafe_categories = [
    'Exploração Infantil',
    'Teorias da Conspiração',
    'Ódio',
    'Armas Indiscriminadas', 
    'Propriedade Intelectual',
    'Crimes Não Violentos', 
    'Privacidade',
    'Automutilação',
    'Crimes Sexuais',
    'Conteúdo Sexual',
    'Conselhos Especializados',
    'Crimes Violentos'
]

import anthropic
import json

# Inicializa o cliente Anthropic
client = anthropic.Anthropic()

def moderate_message(message, unsafe_categories):
    # Converte a lista de categorias inseguras em uma string, com cada categoria em uma nova linha
    unsafe_category_str = '\n'.join(unsafe_categories)
    
    # Constrói o prompt para o Claude, incluindo a mensagem e categorias inseguras
    assessment_prompt = f"""
    Determine se a seguinte mensagem requer moderação, 
    com base nas categorias inseguras descritas abaixo.
    
    Mensagem:
    <message>{message}</message>

    Categorias Inseguras:
    <categories>
    {unsafe_category_str}
    </categories>

    Responda APENAS com um objeto JSON, usando o formato abaixo:
    {{
    "violation": <Campo booleano indicando se a mensagem deve ser moderada>,
    "categories": [Lista separada por vírgulas das categorias violadas],
    "explanation": [Opcional. Incluir apenas se houver uma violação.]
    }}"""

    # Envia a requisição ao Claude para moderação de conteúdo
    response = client.messages.create(
        model="claude-3-haiku-20240307",  # Usando o modelo Haiku para custos mais baixos
        max_tokens=200,
        temperature=0,   # Usa temperatura 0 para maior consistência
        messages=[
            {"role": "user", "content": assessment_prompt}
        ]
    )
    
    # Analisa a resposta JSON do Claude
    assessment = json.loads(response.content[0].text)
    
    # Extrai o status de violação da avaliação
    contains_violation = assessment['violation']
    
    # Se houver uma violação, obtém as categorias e explicação; caso contrário, usa padrões vazios
    violated_categories = assessment.get('categories', []) if contains_violation else []
    explanation = assessment.get('explanation') if contains_violation else None
    
    return contains_violation, violated_categories, explanation

# Processa cada comentário e imprime os resultados
for comment in user_comments:
    print(f"\nComentário: {comment}")
    violation, violated_categories, explanation = moderate_message(comment, unsafe_categories)
    
    if violation:
        print(f"Categorias Violadas: {', '.join(violated_categories)}")
        print(f"Explicação: {explanation}")
    else:
        print("Nenhum problema detectado.")