Modération de contenu

allowed_user_comments = [
    'Ce film était génial, je l\'ai vraiment apprécié. L\'acteur principal a vraiment tué !',
    'Je déteste les lundis.',
    'C\'est le bon moment pour investir dans l\'or !'
]

disallowed_user_comments = [
    'Supprime ce post maintenant ou tu ferais mieux de te cacher. Je viens pour toi et ta famille.',
    'Évitez les téléphones 5G !! Ils utilisent la 5G pour vous contrôler.',
    'Félicitations ! Vous avez gagné une carte cadeau de 1 000 €. Cliquez ici pour réclamer votre prix !'
]

# Exemples de commentaires d'utilisateurs pour tester la modération de contenu
user_comments = allowed_user_comments + disallowed_user_comments

# Liste des catégories considérées comme dangereuses pour la modération de contenu
unsafe_categories = [
    'Exploitation des enfants',
    'Théories du complot',
    'Haine',
    'Armes indiscriminées', 
    'Propriété intellectuelle',
    'Crimes non violents', 
    'Vie privée',
    'Automutilation',
    'Crimes sexuels',
    'Contenu sexuel',
    'Conseils spécialisés',
    'Crimes violents'
]

import anthropic
import json

# Initialiser le client Anthropic
client = anthropic.Anthropic()

def moderate_message(message, unsafe_categories):
    # Convertir la liste des catégories dangereuses en chaîne, avec chaque catégorie sur une nouvelle ligne
    unsafe_category_str = '\n'.join(unsafe_categories)
    
    # Construire le prompt pour Claude, incluant le message et les catégories dangereuses
    assessment_prompt = f"""
    Déterminez si le message suivant nécessite une modération, 
    en fonction des catégories dangereuses décrites ci-dessous.
    
    Message :
    <message>{message}</message>

    Catégories dangereuses :
    <categories>
    {unsafe_category_str}
    </categories>

    Répondez UNIQUEMENT avec un objet JSON, en utilisant le format ci-dessous :
    {{
    "violation": <Champ booléen indiquant si le message doit être modéré>,
    "categories": [Liste des catégories violées séparées par des virgules],
    "explanation": [Optionnel. À inclure uniquement s'il y a une violation.]
    }}"""

    # Envoyer la requête à Claude pour la modération de contenu
    response = client.messages.create(
        model="claude-3-haiku-20240307",  # Utilisation du modèle Haiku pour des coûts plus bas
        max_tokens=200,
        temperature=0,   # Utiliser une température de 0 pour plus de cohérence
        messages=[
            {"role": "user", "content": assessment_prompt}
        ]
    )
    
    # Analyser la réponse JSON de Claude
    assessment = json.loads(response.content[0].text)
    
    # Extraire le statut de violation de l'évaluation
    contains_violation = assessment['violation']
    
    # S'il y a une violation, obtenir les catégories et l'explication ; sinon, utiliser des valeurs par défaut vides
    violated_categories = assessment.get('categories', []) if contains_violation else []
    explanation = assessment.get('explanation') if contains_violation else None
    
    return contains_violation, violated_categories, explanation

# Traiter chaque commentaire et afficher les résultats
for comment in user_comments:
    print(f"\nCommentaire : {comment}")
    violation, violated_categories, explanation = moderate_message(comment, unsafe_categories)
    
    if violation:
        print(f"Catégories violées : {', '.join(violated_categories)}")
        print(f"Explication : {explanation}")
    else:
        print("Aucun problème détecté.")

import anthropic
import json

# Initialiser le client Anthropic
client = anthropic.Anthropic()

def assess_risk_level(message, unsafe_categories):
    # Convertir la liste des catégories dangereuses en chaîne, avec chaque catégorie sur une nouvelle ligne
    unsafe_category_str = '\n'.join(unsafe_categories)
    
    # Construire le prompt pour Claude, incluant le message, les catégories dangereuses et les définitions des niveaux de risque
    assessment_prompt = f"""
    Évaluez le niveau de risque du message suivant nécessitant une modération, 
    en fonction des catégories dangereuses listées ci-dessous.
    
Message :
<message>{message}</message>

Catégories dangereuses :
<categories>
{unsafe_category_str}
</categories>

Attribuez un niveau de risque basé sur votre confiance que le message de l'utilisateur doit être modéré 
selon les catégories dangereuses définies :

0 - Aucun risque
1 - Risque faible
2 - Risque moyen
3 - Risque élevé

Répondez UNIQUEMENT avec un objet JSON, en utilisant le format ci-dessous :
{{
  "risk_level": <Champ numérique indiquant le niveau de risque>,
  "categories": [Liste des catégories violées séparées par des virgules],
  "explanation": <Optionnel. À inclure uniquement si le niveau de risque est supérieur à 0>
}}"""

    # Envoyer la requête à Claude pour l'évaluation des risques
    response = client.messages.create(
        model="claude-3-haiku-20240307",  # Utilisation du modèle Haiku pour des coûts plus bas
        max_tokens=200,
        temperature=0,   # Utiliser une température de 0 pour plus de cohérence
        messages=[
            {"role": "user", "content": assessment_prompt}
        ]
    )
    
    # Analyser la réponse JSON de Claude
    assessment = json.loads(response.content[0].text)
    
    # Extraire le niveau de risque, les catégories violées et l'explication de l'évaluation
    risk_level = assessment["risk_level"]
    violated_categories = assessment["categories"]
    explanation = assessment.get("explanation")
    
    return risk_level, violated_categories, explanation

# Traiter chaque commentaire et afficher les résultats
for comment in user_comments:
    print(f"\nCommentaire : {comment}")
    risk_level, violated_categories, explanation = assess_risk_level(comment, unsafe_categories)
    
    print(f"Niveau de risque : {risk_level}")
    if violated_categories:
        print(f"Catégories violées : {', '.join(violated_categories)}")
    if explanation:
        print(f"Explication : {explanation}")

import anthropic
import json

# Initialiser le client Anthropic
client = anthropic.Anthropic()

# Dictionnaire des catégories considérées comme dangereuses pour la modération de contenu, avec leurs définitions
unsafe_category_definitions = {
    'Exploitation des enfants': 'Contenu qui dépeint la nudité des enfants ou qui permet, encourage, excuse ou dépeint l\'abus sexuel des enfants.',
    'Théories du complot': """Contenu qui promeut ou approuve des théories non fondées, fausses ou trompeuses sur des événements, situations ou individus, 
        qui peuvent inciter à la violence ou miner la confiance du public dans les institutions ou les faits.""",
    'Haine': """Contenu qui est haineux envers les personnes sur la base de leurs caractéristiques protégées 
        (race, couleur, ethnicité, origine nationale, handicap, affiliation religieuse, caste, orientation sexuelle, sexe, identité de genre et maladie grave), 
        ou contenu qui perpétue des stéréotypes négatifs.""",
    'Armes indiscriminées': 'Contenu qui permet la création d\'armes de destruction massive.', 
    'Propriété intellectuelle': 'Contenu qui viole les droits de propriété intellectuelle de tiers.',
    'Crimes non violents': 'Contenu qui permet, encourage ou excuse la commission de crimes non violents.', 
    'Vie privée': 'Contenu qui contient des informations sensibles et personnelles sur des individus privés.',
    'Automutilation': 'Contenu qui permet, encourage ou excuse les actes d\'automutilation intentionnelle.',
    'Crimes sexuels': 'Contenu qui permet, encourage ou excuse la commission de crimes sexuels.',
    'Contenu sexuel': 'Contenu qui contient des descriptions érotiques ou des représentations explicites  d\'actes sexuels.',
    'Conseils spécialisés': """Contenu qui contient des conseils financiers, médicaux ou juridiques. 
        Les conseils financiers incluent des orientations sur les investissements, les actions, les obligations ou toute planification financière.""",
    'Crimes violents': 'Contenu qui permet, encourage ou excuse la commission de crimes violents.', 
}


def moderate_message_with_definitions(message, unsafe_category_definitions):
    # Formater la chaîne des catégories dangereuses, avec chaque catégorie et sa définition sur une nouvelle ligne
    unsafe_category_str = '\n'.join(f'{category}: {definition}' 
        for category, definition in unsafe_category_definitions.items()
    )
    
    # Construire le prompt pour Claude, incluant le message et les catégories dangereuses
    assessment_prompt = f"""Déterminez si le message suivant nécessite une modération, en fonction des catégories dangereuses décrites ci-dessous.

Message :
<message>{message}</message>

Catégories dangereuses et leurs définitions :
<categories>
{unsafe_category_str}
</categories>

Il est important que vous vous souveniez de toutes les catégories dangereuses et de leurs définitions.

Répondez UNIQUEMENT avec un objet JSON, en utilisant le format ci-dessous :
{{
  "violation": <Champ booléen indiquant si le message doit être modéré>,
  "categories": [Liste des catégories violées séparées par des virgules],
  "explanation": [Optionnel. À inclure uniquement s'il y a une violation.]
}}"""

    # Envoyer la requête à Claude pour la modération de contenu
    response = client.messages.create(
        model="claude-3-haiku-20240307",  # Utilisation du modèle Haiku pour des coûts plus bas
        max_tokens=200,
        temperature=0,   # Utiliser une température de 0 pour plus de cohérence
        messages=[
            {"role": "user", "content": assessment_prompt}
        ]
    )
    
    # Analyser la réponse JSON de Claude
    assessment = json.loads(response.content[0].text)
    
    # Extraire le statut de violation de l'évaluation
    contains_violation = assessment['violation']
    
    # S'il y a une violation, obtenir les catégories et l'explication ; sinon, utiliser des valeurs par défaut vides
    violated_categories = assessment.get('categories', []) if contains_violation else []
    explanation = assessment.get('explanation') if contains_violation else None
    
    return contains_violation, violated_categories, explanation


# Traiter chaque commentaire et afficher les résultats
for comment in user_comments:
    print(f"\nCommentaire : {comment}")
    violation, violated_categories, explanation = moderate_message_with_definitions(comment, unsafe_category_definitions)
    
    if violation:
        print(f"Catégories violées : {', '.join(violated_categories)}")
        print(f"Explication : {explanation}")
    else:
        print("Aucun problème détecté.")

import anthropic
import json

# Initialiser le client Anthropic
client = anthropic.Anthropic()

def batch_moderate_messages(messages, unsafe_categories):
    # Convertir la liste des catégories dangereuses en chaîne, avec chaque catégorie sur une nouvelle ligne
    unsafe_category_str = '\n'.join(unsafe_categories)
    
    # Formater la chaîne des messages, avec chaque message enveloppé dans des balises de type XML et doté d'un ID
    messages_str = '\n'.join([f'<message id={idx}>{msg}</message>' for idx, msg in enumerate(messages)])
    
    # Construire le prompt pour Claude, incluant les messages et les catégories dangereuses
    assessment_prompt = f"""Déterminez les messages à modérer, en fonction des catégories dangereuses décrites ci-dessous.

Messages :
<messages>
{messages_str}
</messages>

Catégories dangereuses et leurs définitions :
<categories>
{unsafe_category_str}
</categories>

Répondez UNIQUEMENT avec un objet JSON, en utilisant le format ci-dessous :
{{
  "violations": [
    {{
      "id": <id du message>,
      "categories": [liste des catégories violées],
      "explanation": <Explication de la violation>
    }},
    ...
  ]
}}

Notes importantes :
- N'oubliez pas d'analyser chaque message pour une violation.
- Sélectionnez toutes les violations qui s'appliquent raisonnablement."""

    # Envoyer la requête à Claude pour la modération de contenu
    response = client.messages.create(
        model="claude-3-haiku-20240307",  # Utilisation du modèle Haiku pour des coûts plus bas
        max_tokens=2048,  # Augmentation du nombre maximal de tokens pour gérer les lots
        temperature=0,    # Utiliser une température de 0 pour plus de cohérence
        messages=[
            {"role": "user", "content": assessment_prompt}
        ]
    )
    
    # Analyser la réponse JSON de Claude
    assessment = json.loads(response.content[0].text)
    return assessment


# Traiter le lot de commentaires et obtenir la réponse
response_obj = batch_moderate_messages(user_comments, unsafe_categories)

# Afficher les résultats pour chaque violation détectée
for violation in response_obj['violations']:
    print(f"""Commentaire : {user_comments[violation['id']]}
Catégories violées : {', '.join(violation['categories'])}
Explication : {violation['explanation']}
""")