コンテンツモデレーション

allowed_user_comments = [
    'この映画は素晴らしかった、本当に楽しめました。主演俳優は本当に殺していました！',
    '月曜日が嫌いです。',
    '今は金に投資するのに絶好の時期です！'
]

disallowed_user_comments = [
    'この投稿を今すぐ削除しないと隠れた方がいいぞ。お前とお前の家族を追いかけてやる。',
    '5G携帯電話から離れろ！！彼らは5Gを使ってあなたを操作しているんだ。',
    'おめでとうございます！1,000ドルのギフトカードが当たりました。ここをクリックして賞品を受け取ってください！'
]

# コンテンツモデレーションをテストするためのサンプルユーザーコメント
user_comments = allowed_user_comments + disallowed_user_comments

# コンテンツモデレーションで安全でないとみなされるカテゴリのリスト
unsafe_categories = [
    '児童搾取',
    '陰謀論',
    '憎悪',
    '無差別兵器', 
    '知的財産',
    '非暴力犯罪', 
    'プライバシー',
    '自傷行為',
    '性犯罪',
    '性的コンテンツ',
    '専門的アドバイス',
    '暴力犯罪'
]

import anthropic
import json

# Anthropicクライアントを初期化
client = anthropic.Anthropic()

def moderate_message(message, unsafe_categories):
    # 安全でないカテゴリのリストを、各カテゴリが新しい行にある文字列に変換
    unsafe_category_str = '\n'.join(unsafe_categories)
    
    # メッセージと安全でないカテゴリを含むClaudeのプロンプトを構築
    assessment_prompt = f"""
    以下のメッセージが、下記の安全でないカテゴリに基づいて
    モデレーションを必要とするかどうかを判断してください。
    
    メッセージ：
    <message>{message}</message>

    安全でないカテゴリ：
    <categories>
    {unsafe_category_str}
    </categories>

    以下の形式を使用して、JSONオブジェクトのみで応答してください：
    {{
    "violation": <メッセージをモデレートすべきかどうかを示すブーリアンフィールド>,
    "categories": [違反したカテゴリのカンマ区切りリスト],
    "explanation": [オプション。違反がある場合のみ含めてください。]
    }}"""

    # コンテンツモデレーションのリクエストをClaudeに送信
    response = client.messages.create(
        model="claude-3-haiku-20240307",  # コストを抑えるためにHaikuモデルを使用
        max_tokens=200,
        temperature=0,   # 一貫性を高めるために温度0を使用
        messages=[
            {"role": "user", "content": assessment_prompt}
        ]
    )
    
    # ClaudeからのJSONレスポンスを解析
    assessment = json.loads(response.content[0].text)
    
    # 評価から違反状態を抽出
    contains_violation = assessment['violation']
    
    # 違反がある場合はカテゴリと説明を取得し、ない場合は空のデフォルトを使用
    violated_categories = assessment.get('categories', []) if contains_violation else []
    explanation = assessment.get('explanation') if contains_violation else None
    
    return contains_violation, violated_categories, explanation

# 各コメントを処理し、結果を表示
for comment in user_comments:
    print(f"\nコメント: {comment}")
    violation, violated_categories, explanation = moderate_message(comment, unsafe_categories)
    
    if violation:
        print(f"違反カテゴリ: {', '.join(violated_categories)}")
        print(f"説明: {explanation}")
    else:
        print("問題は検出されませんでした。")

import anthropic
import json

# Anthropicクライアントを初期化
client = anthropic.Anthropic()

def assess_risk_level(message, unsafe_categories):
    # 安全でないカテゴリのリストを、各カテゴリが新しい行にある文字列に変換
    unsafe_category_str = '\n'.join(unsafe_categories)
    
    # メッセージ、安全でないカテゴリ、リスクレベルの定義を含むClaudeのプロンプトを構築
    assessment_prompt = f"""
    以下のメッセージのリスクレベルが、下記の安全でないカテゴリに基づいて
    モデレーションを必要とするかどうかを評価してください。
    
メッセージ：
<message>{message}</message>

安全でないカテゴリ：
<categories>
{unsafe_category_str}
</categories>

定義された安全でないカテゴリに基づいて、ユーザーのメッセージをモデレートすべきだという
あなたの確信度に基づいてリスクレベルを割り当ててください：

0 - リスクなし
1 - 低リスク
2 - 中リスク
3 - 高リスク

以下の形式を使用して、JSONオブジェクトのみで応答してください：
{{
  "risk_level": <リスクレベルを示す数値フィールド>,
  "categories": [違反したカテゴリのカンマ区切りリスト],
  "explanation": <オプション。リスクレベルが0より大きい場合のみ含めてください>
}}"""

    # リスク評価のリクエストをClaudeに送信
    response = client.messages.create(
        model="claude-3-haiku-20240307",  # コストを抑えるためにHaikuモデルを使用
        max_tokens=200,
        temperature=0,   # 一貫性を高めるために温度0を使用
        messages=[
            {"role": "user", "content": assessment_prompt}
        ]
    )
    
    # ClaudeからのJSONレスポンスを解析
    assessment = json.loads(response.content[0].text)
    
    # 評価からリスクレベル、違反したカテゴリ、説明を抽出
    risk_level = assessment["risk_level"]
    violated_categories = assessment["categories"]
    explanation = assessment.get("explanation")
    
    return risk_level, violated_categories, explanation

# 各コメントを処理し、結果を表示
for comment in user_comments:
    print(f"\nコメント: {comment}")
    risk_level, violated_categories, explanation = assess_risk_level(comment, unsafe_categories)
    
    print(f"リスクレベル: {risk_level}")
    if violated_categories:
        print(f"違反カテゴリ: {', '.join(violated_categories)}")
    if explanation:
        print(f"説明: {explanation}")

import anthropic
import json

# Anthropicクライアントを初期化
client = anthropic.Anthropic()

# コンテンツモデレーションで安全でないとみなされるカテゴリの辞書（定義付き）
unsafe_category_definitions = {
    '児童搾取': '児童ヌードを描写するコンテンツ、または児童の性的虐待を可能にする、奨励する、言い訳する、または描写するコンテンツ。',
    '陰謀論': """出来事、状況、または個人に関する根拠のない、虚偽の、または誤解を招く理論を促進または支持するコンテンツで、
        害を引き起こしたり、制度や事実に対する公衆の信頼を損なう可能性があるもの。""",
    '憎悪': """保護された特性（人種、肌の色、民族、国籍、障害、宗教的所属、カースト、性的指向、性別、性同一性、重病）に基づいて
        人々に対して憎悪的なコンテンツ、または否定的なステレオタイプを永続させるコンテンツ。""",
    '無差別兵器': '大量破壊兵器の製造を可能にするコンテンツ。', 
    '知的財産': '第三者の知的財産権を侵害するコンテンツ。',
    '非暴力犯罪': '非暴力犯罪の実行を可能にする、奨励する、または言い訳するコンテンツ。', 
    'プライバシー': '個人に関する機密の個人情報を含むコンテンツ。',
    '自傷行為': '意図的な自傷行為を可能にする、奨励する、または言い訳するコンテンツ。',
    '性犯罪': '性犯罪の実行を可能にする、奨励する、または言い訳するコンテンツ。',
    '性的コンテンツ': '性行為の官能的な描写や露骨な描写を含むコンテンツ。',
    '専門的アドバイス': """財務、医療、または法的アドバイスを含むコンテンツ。
        財務アドバイスには、投資、株式、債券、または金融計画に関するガイダンスが含まれます。""",
    '暴力犯罪': '暴力犯罪の実行を可能にする、奨励する、または言い訳するコンテンツ。', 
}


def moderate_message_with_definitions(message, unsafe_category_definitions):
    # 各カテゴリとその定義が新しい行にある形式で安全でないカテゴリの文字列をフォーマット
    unsafe_category_str = '\n'.join(f'{category}: {definition}' 
        for category, definition in unsafe_category_definitions.items()
    )
    
    # メッセージと安全でないカテゴリを含むClaudeのプロンプトを構築
    assessment_prompt = f"""以下のメッセージが、下記の安全でないカテゴリに基づいてモデレーションを必要とするかどうかを判断してください。

メッセージ：
<message>{message}</message>

安全でないカテゴリとその定義：
<categories>
{unsafe_category_str}
</categories>

すべての安全でないカテゴリとその定義を覚えておくことが重要です。

以下の形式を使用して、JSONオブジェクトのみで応答してください：
{{
  "violation": <メッセージをモデレートすべきかどうかを示すブーリアンフィールド>,
  "categories": [違反したカテゴリのカンマ区切りリスト],
  "explanation": [オプション。違反がある場合のみ含めてください。]
}}"""

    # コンテンツモデレーションのリクエストをClaudeに送信
    response = client.messages.create(
        model="claude-3-haiku-20240307",  # コストを抑えるためにHaikuモデルを使用
        max_tokens=200,
        temperature=0,   # 一貫性を高めるために温度0を使用
        messages=[
            {"role": "user", "content": assessment_prompt}
        ]
    )
    
    # ClaudeからのJSONレスポンスを解析
    assessment = json.loads(response.content[0].text)
    
    # 評価から違反状態を抽出
    contains_violation = assessment['violation']
    
    # 違反がある場合はカテゴリと説明を取得し、ない場合は空のデフォルトを使用
    violated_categories = assessment.get('categories', []) if contains_violation else []
    explanation = assessment.get('explanation') if contains_violation else None
    
    return contains_violation, violated_categories, explanation


# 各コメントを処理し、結果を表示
for comment in user_comments:
    print(f"\nコメント: {comment}")
    violation, violated_categories, explanation = moderate_message_with_definitions(comment, unsafe_category_definitions)
    
    if violation:
        print(f"違反カテゴリ: {', '.join(violated_categories)}")
        print(f"説明: {explanation}")
    else:
        print("問題は検出されませんでした。")

import anthropic
import json

# Anthropicクライアントを初期化
client = anthropic.Anthropic()

def batch_moderate_messages(messages, unsafe_categories):
    # 安全でないカテゴリのリストを、各カテゴリが新しい行にある文字列に変換
    unsafe_category_str = '\n'.join(unsafe_categories)
    
    # メッセージ文字列をフォーマット。各メッセージをXMLライクなタグで囲み、IDを付与
    messages_str = '\n'.join([f'<message id={idx}>{msg}</message>' for idx, msg in enumerate(messages)])
    
    # メッセージと安全でないカテゴリを含むClaudeのプロンプトを構築
    assessment_prompt = f"""以下の安全でないカテゴリに基づいて、モデレートすべきメッセージを判断してください。

メッセージ：
<messages>
{messages_str}
</messages>

安全でないカテゴリとその定義：
<categories>
{unsafe_category_str}
</categories>

以下の形式を使用して、JSONオブジェクトのみで応答してください：
{{
  "violations": [
    {{
      "id": <メッセージID>,
      "categories": [違反したカテゴリのリスト],
      "explanation": <違反がある理由の説明>
    }},
    ...
  ]
}}

重要な注意事項：
- すべてのメッセージを違反の有無について分析することを忘れないでください。
- 合理的に適用されるすべての違反を選択してください。"""

    # コンテンツモデレーションのリクエストをClaudeに送信
    response = client.messages.create(
        model="claude-3-haiku-20240307",  # コストを抑えるためにHaikuモデルを使用
        max_tokens=2048,  # バッチを処理するために最大トークン数を増やす
        temperature=0,    # 一貫性を高めるために温度0を使用
        messages=[
            {"role": "user", "content": assessment_prompt}
        ]
    )
    
    # ClaudeからのJSONレスポンスを解析
    assessment = json.loads(response.content[0].text)
    return assessment


# コメントのバッチを処理し、レスポンスを取得
response_obj = batch_moderate_messages(user_comments, unsafe_categories)

# 検出された各違反の結果を表示
for violation in response_obj['violations']:
    print(f"""コメント: {user_comments[violation['id']]}
違反カテゴリ: {', '.join(violation['categories'])}
説明: {violation['explanation']}
""")