Модерация контента

allowed_user_comments = [
    'Этот фильм был отличным, мне он очень понравился. Главный актер просто убил!',
    'Я ненавижу понедельники.',
    'Сейчас отличное время для инвестиций в золото!'
]

disallowed_user_comments = [
    'Удали этот пост сейчас или тебе лучше спрятаться. Я иду за тобой и твоей семьей.',
    'Держитесь подальше от сотовых телефонов 5G!! Они используют 5G, чтобы контролировать вас.',
    'Поздравляем! Вы выиграли подарочную карту на 1000$. Нажмите здесь, чтобы получить свой приз!'
]

# Примеры комментариев пользователей для тестирования модерации контента
user_comments = allowed_user_comments + disallowed_user_comments

# Список категорий, считающихся небезопасными для модерации контента
unsafe_categories = [
    'Эксплуатация детей',
    'Теории заговора',
    'Ненависть',
    'Оружие массового поражения', 
    'Интеллектуальная собственность',
    'Ненасильственные преступления', 
    'Конфиденциальность',
    'Самоповреждение',
    'Сексуальные преступления',
    'Сексуальный контент',
    'Специализированные советы',
    'Насильственные преступления'
]

import anthropic
import json

# Инициализация клиента Anthropic
client = anthropic.Anthropic()

def moderate_message(message, unsafe_categories):
    # Преобразование списка небезопасных категорий в строку, каждая категория на новой строке
    unsafe_category_str = '\n'.join(unsafe_categories)
    
    # Создание промпта для Claude, включая сообщение и небезопасные категории
    assessment_prompt = f"""
    Определите, требует ли следующее сообщение модерации, 
    основываясь на перечисленных ниже небезопасных категориях.
    
    Сообщение:
    <message>{message}</message>

    Небезопасные категории:
    <categories>
    {unsafe_category_str}
    </categories>

    Ответьте ТОЛЬКО JSON-объектом, используя формат ниже:
    {{
    "violation": <Логическое поле, указывающее, должно ли сообщение быть модерировано>,
    "categories": [Список нарушенных категорий через запятую],
    "explanation": [Необязательно. Включать только если есть нарушение.]
    }}"""

    # Отправка запроса Claude для модерации контента
    response = client.messages.create(
        model="claude-3-haiku-20240307",  # Использование модели Haiku для снижения затрат
        max_tokens=200,
        temperature=0,   # Использование температуры 0 для повышения согласованности
        messages=[
            {"role": "user", "content": assessment_prompt}
        ]
    )
    
    # Разбор JSON-ответа от Claude
    assessment = json.loads(response.content[0].text)
    
    # Извлечение статуса нарушения из оценки
    contains_violation = assessment['violation']
    
    # Если есть нарушение, получить категории и объяснение; в противном случае использовать пустые значения по умолчанию
    violated_categories = assessment.get('categories', []) if contains_violation else []
    explanation = assessment.get('explanation') if contains_violation else None
    
    return contains_violation, violated_categories, explanation

# Обработка каждого комментария и вывод результатов
for comment in user_comments:
    print(f"\nКомментарий: {comment}")
    violation, violated_categories, explanation = moderate_message(comment, unsafe_categories)
    
    if violation:
        print(f"Нарушенные категории: {', '.join(violated_categories)}")
        print(f"Объяснение: {explanation}")
    else:
        print("Проблем не обнаружено.")

import anthropic
import json

# Инициализация клиента Anthropic
client = anthropic.Anthropic()

def assess_risk_level(message, unsafe_categories):
    # Преобразование списка небезопасных категорий в строку, каждая категория на новой строке
    unsafe_category_str = '\n'.join(unsafe_categories)
    
    # Создание промпта для Claude, включая сообщение, небезопасные категории и определения уровней риска
    assessment_prompt = f"""
    Оцените уровень риска следующего сообщения на предмет необходимости модерации, 
    основываясь на перечисленных ниже небезопасных категориях.
    
Сообщение:
<message>{message}</message>

Небезопасные категории:
<categories>
{unsafe_category_str}
</categories>

Назначьте уровень риска на основе вашей уверенности в том, что сообщение пользователя 
должно быть модерировано согласно определенным небезопасным категориям:

0 - Нет риска
1 - Низкий риск
2 - Средний риск
3 - Высокий риск

Ответьте ТОЛЬКО JSON-объектом, используя формат ниже:
{{
  "risk_level": <Числовое поле, указывающее уровень риска>,
  "categories": [Список нарушенных категорий через запятую],
  "explanation": <Необязательно. Включать только если уровень риска больше 0>
}}"""

    # Отправка запроса Claude для оценки риска
    response = client.messages.create(
        model="claude-3-haiku-20240307",  # Использование модели Haiku для снижения затрат
        max_tokens=200,
        temperature=0,   # Использование температуры 0 для повышения согласованности
        messages=[
            {"role": "user", "content": assessment_prompt}
        ]
    )
    
    # Разбор JSON-ответа от Claude
    assessment = json.loads(response.content[0].text)
    
    # Извлечение уровня риска, нарушенных категорий и объяснения из оценки
    risk_level = assessment["risk_level"]
    violated_categories = assessment["categories"]
    explanation = assessment.get("explanation")
    
    return risk_level, violated_categories, explanation

# Обработка каждого комментария и вывод результатов
for comment in user_comments:
    print(f"\nКомментарий: {comment}")
    risk_level, violated_categories, explanation = assess_risk_level(comment, unsafe_categories)
    
    print(f"Уровень риска: {risk_level}")
    if violated_categories:
        print(f"Нарушенные категории: {', '.join(violated_categories)}")
    if explanation:
        print(f"Объяснение: {explanation}")

import anthropic
import json

# Инициализация клиента Anthropic
client = anthropic.Anthropic()

# Словарь категорий, считающихся небезопасными для модерации контента, с их определениями
unsafe_category_definitions = {
    'Эксплуатация детей': 'Контент, который изображает детскую наготу или который позволяет, поощряет, оправдывает или изображает сексуальное насилие над детьми.',
    'Теории заговора': """Контент, который продвигает или поддерживает необоснованные, ложные или вводящие в заблуждение теории о событиях, ситуациях или людях, 
        которые могут причинить вред или подорвать общественное доверие к институтам или фактам.""",
    'Ненависть': """Контент, который является ненавистническим по отношению к людям на основе их защищенных характеристик 
        (раса, цвет кожи, этническая принадлежность, национальное происхождение, инвалидность, религиозная принадлежность, каста, сексуальная ориентация, пол, гендерная идентичность и серьезные заболевания), 
        или контент, который увековечивает негативные стереотипы.""",
    'Оружие массового поражения': 'Контент, который позволяет создавать оружие массового поражения.', 
    'Интеллектуальная собственность': 'Контент, который нарушает права интеллектуальной собственности третьих лиц.',
    'Ненасильственные преступления': 'Контент, который позволяет, поощряет или оправдывает совершение ненасильственных преступлений.', 
    'Конфиденциальность': 'Контент, который содержит конфиденциальную, личную информацию о частных лицах.',
    'Самоповреждение': 'Контент, который позволяет, поощряет или оправдывает акты намеренного самоповреждения.',
    'Сексуальные преступления': 'Контент, который позволяет, поощряет или оправдывает совершение сексуальных преступлений.',
    'Сексуальный контент': 'Контент, который содержит эротические описания или явные изображения половых актов.',
    'Специализированные советы': """Контент, который содержит финансовые, медицинские или юридические советы. 
        Финансовые советы включают рекомендации по инвестициям, акциям, облигациям или любому финансовому планированию.""",
    'Насильственные преступления': 'Контент, который позволяет, поощряет или оправдывает совершение насильственных преступлений.', 
}


def moderate_message_with_definitions(message, unsafe_category_definitions):
    # Форматирование строки небезопасных категорий, каждая категория и ее определение на новой строке
    unsafe_category_str = '\n'.join(f'{category}: {definition}' 
        for category, definition in unsafe_category_definitions.items()
    )
    
    # Создание промпта для Claude, включая сообщение и небезопасные категории
    assessment_prompt = f"""Определите, требует ли следующее сообщение модерации, основываясь на перечисленных ниже небезопасных категориях.

Сообщение:
<message>{message}</message>

Небезопасные категории и их определения:
<categories>
{unsafe_category_str}
</categories>

Важно, чтобы вы помнили все небезопасные категории и их определения.

Ответьте ТОЛЬКО JSON-объектом, используя формат ниже:
{{
  "violation": <Логическое поле, указывающее, должно ли сообщение быть модерировано>,
  "categories": [Список нарушенных категорий через запятую],
  "explanation": [Необязательно. Включать только если есть нарушение.]
}}"""

    # Отправка запроса Claude для модерации контента
    response = client.messages.create(
        model="claude-3-haiku-20240307",  # Использование модели Haiku для снижения затрат
        max_tokens=200,
        temperature=0,   # Использование температуры 0 для повышения согласованности
        messages=[
            {"role": "user", "content": assessment_prompt}
        ]
    )
    
    # Разбор JSON-ответа от Claude
    assessment = json.loads(response.content[0].text)
    
    # Извлечение статуса нарушения из оценки
    contains_violation = assessment['violation']
    
    # Если есть нарушение, получить категории и объяснение; в противном случае использовать пустые значения по умолчанию
    violated_categories = assessment.get('categories', []) if contains_violation else []
    explanation = assessment.get('explanation') if contains_violation else None
    
    return contains_violation, violated_categories, explanation


# Обработка каждого комментария и вывод результатов
for comment in user_comments:
    print(f"\nКомментарий: {comment}")
    violation, violated_categories, explanation = moderate_message_with_definitions(comment, unsafe_category_definitions)
    
    if violation:
        print(f"Нарушенные категории: {', '.join(violated_categories)}")
        print(f"Объяснение: {explanation}")
    else:
        print("Проблем не обнаружено.")

import anthropic
import json

# Инициализация клиента Anthropic
client = anthropic.Anthropic()

def batch_moderate_messages(messages, unsafe_categories):
    # Преобразование списка небезопасных категорий в строку, каждая категория на новой строке
    unsafe_category_str = '\n'.join(unsafe_categories)
    
    # Форматирование строки сообщений, каждое сообщение обернуто в XML-подобные теги и имеет ID
    messages_str = '\n'.join([f'<message id={idx}>{msg}</message>' for idx, msg in enumerate(messages)])
    
    # Создание промпта для Claude, включая сообщения и небезопасные категории
    assessment_prompt = f"""Определите сообщения для модерации, основываясь на перечисленных ниже небезопасных категориях.

Сообщения:
<messages>
{messages_str}
</messages>

Небезопасные категории и их определения:
<categories>
{unsafe_category_str}
</categories>

Ответьте ТОЛЬКО JSON-объектом, используя формат ниже:
{{
  "violations": [
    {{
      "id": <id сообщения>,
      "categories": [список нарушенных категорий],
      "explanation": <Объяснение, почему есть нарушение>
    }},
    ...
  ]
}}

Важные примечания:
- Помните о необходимости анализировать каждое сообщение на предмет нарушения.
- Выберите любое количество нарушений, которые разумно применимы."""

    # Отправка запроса Claude для модерации контента
    response = client.messages.create(
        model="claude-3-haiku-20240307",  # Использование модели Haiku для снижения затрат
        max_tokens=2048,  # Увеличенное максимальное количество токенов для обработки пакетов
        temperature=0,    # Использование температуры 0 для повышения согласованности
        messages=[
            {"role": "user", "content": assessment_prompt}
        ]
    )
    
    # Разбор JSON-ответа от Claude
    assessment = json.loads(response.content[0].text)
    return assessment


# Обработка пакета комментариев и получение ответа
response_obj = batch_moderate_messages(user_comments, unsafe_categories)

# Вывод результатов для каждого обнаруженного нарушения
for violation in response_obj['violations']:
    print(f"""Комментарий: {user_comments[violation['id']]}
Нарушенные категории: {', '.join(violation['categories'])}
Объяснение: {violation['explanation']}
""")