Moderasi konten

allowed_user_comments = [
    'Film ini bagus sekali, saya sangat menikmatinya. Pemeran utamanya benar-benar membunuh perannya!',
    'Saya benci hari Senin.',
    'Ini waktu yang tepat untuk berinvestasi emas!'
]

disallowed_user_comments = [
    'Hapus postingan ini sekarang atau kamu lebih baik bersembunyi. Aku akan mengejarmu dan keluargamu.',
    'Jauhi ponsel 5G!! Mereka menggunakan 5G untuk mengendalikanmu.',
    'Selamat! Anda telah memenangkan kartu hadiah senilai $1.000. Klik di sini untuk mengklaim hadiah Anda!'
]

# Contoh komentar pengguna untuk menguji moderasi konten
user_comments = allowed_user_comments + disallowed_user_comments

# Daftar kategori yang dianggap tidak aman untuk moderasi konten
unsafe_categories = [
    'Eksploitasi Anak',
    'Teori Konspirasi',
    'Kebencian',
    'Senjata Tidak Pandang Bulu', 
    'Kekayaan Intelektual',
    'Kejahatan Non-Kekerasan', 
    'Privasi',
    'Menyakiti Diri Sendiri',
    'Kejahatan Seksual',
    'Konten Seksual',
    'Saran Khusus',
    'Kejahatan Kekerasan'
]

import anthropic
import json

# Inisialisasi klien Anthropic
client = anthropic.Anthropic()

def moderate_message(message, unsafe_categories):
    # Mengubah daftar kategori tidak aman menjadi string, dengan setiap kategori di baris baru
    unsafe_category_str = '\n'.join(unsafe_categories)
    
    # Menyusun prompt untuk Claude, termasuk pesan dan kategori tidak aman
    assessment_prompt = f"""
    Tentukan apakah pesan berikut memerlukan moderasi, 
    berdasarkan kategori tidak aman yang diuraikan di bawah ini.
    
    Pesan:
    <message>{message}</message>

    Kategori Tidak Aman:
    <categories>
    {unsafe_category_str}
    </categories>

    Tanggapi HANYA dengan objek JSON, menggunakan format di bawah ini:
    {{
    "violation": <Bidang Boolean yang menunjukkan apakah pesan harus dimoderasi>,
    "categories": [Daftar kategori yang dilanggar, dipisahkan koma],
    "explanation": [Opsional. Hanya sertakan jika ada pelanggaran.]
    }}"""

    # Kirim permintaan ke Claude untuk moderasi konten
    response = client.messages.create(
        model="claude-3-haiku-20240307",  # Menggunakan model Haiku untuk biaya lebih rendah
        max_tokens=200,
        temperature=0,   # Gunakan temperature 0 untuk konsistensi yang lebih tinggi
        messages=[
            {"role": "user", "content": assessment_prompt}
        ]
    )
    
    # Parse respons JSON dari Claude
    assessment = json.loads(response.content[0].text)
    
    # Ekstrak status pelanggaran dari penilaian
    contains_violation = assessment['violation']
    
    # Jika ada pelanggaran, dapatkan kategori dan penjelasan; jika tidak, gunakan default kosong
    violated_categories = assessment.get('categories', []) if contains_violation else []
    explanation = assessment.get('explanation') if contains_violation else None
    
    return contains_violation, violated_categories, explanation

# Proses setiap komentar dan cetak hasilnya
for comment in user_comments:
    print(f"\nKomentar: {comment}")
    violation, violated_categories, explanation = moderate_message(comment, unsafe_categories)
    
    if violation:
        print(f"Kategori yang Dilanggar: {', '.join(violated_categories)}")
        print(f"Penjelasan: {explanation}")
    else:
        print("Tidak ada masalah terdeteksi.")

import anthropic
import json

# Inisialisasi klien Anthropic
client = anthropic.Anthropic()

def assess_risk_level(message, unsafe_categories):
    # Mengubah daftar kategori tidak aman menjadi string, dengan setiap kategori di baris baru
    unsafe_category_str = '\n'.join(unsafe_categories)
    
    # Menyusun prompt untuk Claude, termasuk pesan, kategori tidak aman, dan definisi tingkat risiko
    assessment_prompt = f"""
    Nilai tingkat risiko pesan berikut memerlukan moderasi, 
    berdasarkan kategori tidak aman yang tercantum di bawah ini.
    
Pesan:
<message>{message}</message>

Kategori Tidak Aman:
<categories>
{unsafe_category_str}
</categories>

Tetapkan tingkat risiko berdasarkan keyakinan Anda bahwa pesan pengguna harus dimoderasi 
berdasarkan kategori tidak aman yang ditentukan:

0 - Tidak ada risiko
1 - Risiko rendah
2 - Risiko sedang
3 - Risiko tinggi

Tanggapi HANYA dengan objek JSON, menggunakan format di bawah ini:
{{
  "risk_level": <Bidang numerik yang menunjukkan tingkat risiko>,
  "categories": [Daftar kategori yang dilanggar, dipisahkan koma],
  "explanation": <Opsional. Hanya sertakan jika tingkat risiko lebih besar dari 0>
}}"""

    # Kirim permintaan ke Claude untuk penilaian risiko
    response = client.messages.create(
        model="claude-3-haiku-20240307",  # Menggunakan model Haiku untuk biaya lebih rendah
        max_tokens=200,
        temperature=0,   # Gunakan temperature 0 untuk konsistensi yang lebih tinggi
        messages=[
            {"role": "user", "content": assessment_prompt}
        ]
    )
    
    # Parse respons JSON dari Claude
    assessment = json.loads(response.content[0].text)
    
    # Ekstrak tingkat risiko, kategori yang dilanggar, dan penjelasan dari penilaian
    risk_level = assessment["risk_level"]
    violated_categories = assessment["categories"]
    explanation = assessment.get("explanation")
    
    return risk_level, violated_categories, explanation

# Proses setiap komentar dan cetak hasilnya
for comment in user_comments:
    print(f"\nKomentar: {comment}")
    risk_level, violated_categories, explanation = assess_risk_level(comment, unsafe_categories)
    
    print(f"Tingkat Risiko: {risk_level}")
    if violated_categories:
        print(f"Kategori yang Dilanggar: {', '.join(violated_categories)}")
    if explanation:
        print(f"Penjelasan: {explanation}")

import anthropic
import json

# Inisialisasi klien Anthropic
client = anthropic.Anthropic()

# Kamus kategori yang dianggap tidak aman untuk moderasi konten, dengan definisinya
unsafe_category_definitions = {
    'Eksploitasi Anak': 'Konten yang menggambarkan ketelanjangan anak atau yang memungkinkan, mendorong, memaafkan, atau menggambarkan pelecehan seksual terhadap anak.',
    'Teori Konspirasi': """Konten yang mempromosikan atau mendukung teori yang tidak berdasar, salah, atau menyesatkan tentang peristiwa, situasi, atau individu, 
        yang dapat menimbulkan bahaya atau merusak kepercayaan publik terhadap institusi atau fakta.""",
    'Kebencian': """Konten yang mengandung kebencian terhadap orang berdasarkan karakteristik yang dilindungi mereka 
        (ras, warna kulit, etnis, asal kebangsaan, disabilitas, afiliasi agama, kasta, orientasi seksual, jenis kelamin, identitas gender dan penyakit serius), 
        atau konten yang melanggengkan stereotip negatif.""",
    'Senjata Tidak Pandang Bulu': 'Konten yang memungkinkan pembuatan senjata pemusnah massal.', 
    'Kekayaan Intelektual': 'Konten yang melanggar hak kekayaan intelektual pihak ketiga.',
    'Kejahatan Non-Kekerasan': 'Konten yang memungkinkan, mendorong, atau memaafkan tindakan kejahatan non-kekerasan.', 
    'Privasi': 'Konten yang berisi informasi sensitif, pribadi tentang individu pribadi.',
    'Menyakiti Diri Sendiri': 'Konten yang memungkinkan, mendorong, atau memaafkan tindakan menyakiti diri sendiri yang disengaja.',
    'Kejahatan Seksual': 'Konten yang memungkinkan, mendorong, atau memaafkan tindakan kejahatan seksual.',
    'Konten Seksual': 'Konten yang berisi deskripsi erotis atau penggambaran eksplisit tentang tindakan seksual.',
    'Saran Khusus': """Konten yang berisi saran keuangan, medis, atau hukum. 
        Saran keuangan termasuk panduan tentang investasi, saham, obligasi, atau perencanaan keuangan apa pun.""",
    'Kejahatan Kekerasan': 'Konten yang memungkinkan, mendorong, atau memaafkan tindakan kejahatan kekerasan.', 
}


def moderate_message_with_definitions(message, unsafe_category_definitions):
    # Format string kategori tidak aman, dengan setiap kategori dan definisinya di baris baru
    unsafe_category_str = '\n'.join(f'{category}: {definition}' 
        for category, definition in unsafe_category_definitions.items()
    )
    
    # Menyusun prompt untuk Claude, termasuk pesan dan kategori tidak aman
    assessment_prompt = f"""Tentukan apakah pesan berikut memerlukan moderasi, berdasarkan kategori tidak aman yang diuraikan di bawah ini.

Pesan:
<message>{message}</message>

Kategori Tidak Aman dan Definisinya:
<categories>
{unsafe_category_str}
</categories>

Penting untuk mengingat semua kategori tidak aman dan definisinya.

Tanggapi HANYA dengan objek JSON, menggunakan format di bawah ini:
{{
  "violation": <Bidang Boolean yang menunjukkan apakah pesan harus dimoderasi>,
  "categories": [Daftar kategori yang dilanggar, dipisahkan koma],
  "explanation": [Opsional. Hanya sertakan jika ada pelanggaran.]
}}"""

    # Kirim permintaan ke Claude untuk moderasi konten
    response = client.messages.create(
        model="claude-3-haiku-20240307",  # Menggunakan model Haiku untuk biaya lebih rendah
        max_tokens=200,
        temperature=0,   # Gunakan temperature 0 untuk konsistensi yang lebih tinggi
        messages=[
            {"role": "user", "content": assessment_prompt}
        ]
    )
    
    # Parse respons JSON dari Claude
    assessment = json.loads(response.content[0].text)
    
    # Ekstrak status pelanggaran dari penilaian
    contains_violation = assessment['violation']
    
    # Jika ada pelanggaran, dapatkan kategori dan penjelasan; jika tidak, gunakan default kosong
    violated_categories = assessment.get('categories', []) if contains_violation else []
    explanation = assessment.get('explanation') if contains_violation else None
    
    return contains_violation, violated_categories, explanation


# Proses setiap komentar dan cetak hasilnya
for comment in user_comments:
    print(f"\nKomentar: {comment}")
    violation, violated_categories, explanation = moderate_message_with_definitions(comment, unsafe_category_definitions)
    
    if violation:
        print(f"Kategori yang Dilanggar: {', '.join(violated_categories)}")
        print(f"Penjelasan: {explanation}")
    else:
        print("Tidak ada masalah terdeteksi.")

import anthropic
import json

# Inisialisasi klien Anthropic
client = anthropic.Anthropic()

def batch_moderate_messages(messages, unsafe_categories):
    # Mengubah daftar kategori tidak aman menjadi string, dengan setiap kategori di baris baru
    unsafe_category_str = '\n'.join(unsafe_categories)
    
    # Format string pesan, dengan setiap pesan dibungkus dalam tag seperti XML dan diberi ID
    messages_str = '\n'.join([f'<message id={idx}>{msg}</message>' for idx, msg in enumerate(messages)])
    
    # Menyusun prompt untuk Claude, termasuk pesan dan kategori tidak aman
    assessment_prompt = f"""Tentukan pesan mana yang harus dimoderasi, berdasarkan kategori tidak aman yang diuraikan di bawah ini.

Pesan:
<messages>
{messages_str}
</messages>

Kategori tidak aman dan definisinya:
<categories>
{unsafe_category_str}
</categories>

Tanggapi HANYA dengan objek JSON, menggunakan format di bawah ini:
{{
  "violations": [
    {{
      "id": <id pesan>,
      "categories": [daftar kategori yang dilanggar],
      "explanation": <Penjelasan mengapa ada pelanggaran>
    }},
    ...
  ]
}}

Catatan Penting:
- Ingat untuk menganalisis setiap pesan untuk pelanggaran.
- Pilih sejumlah pelanggaran yang masuk akal yang berlaku."""

    # Kirim permintaan ke Claude untuk moderasi konten
    response = client.messages.create(
        model="claude-3-haiku-20240307",  # Menggunakan model Haiku untuk biaya lebih rendah
        max_tokens=2048,  # Meningkatkan jumlah token maksimum untuk menangani batch
        temperature=0,    # Gunakan temperature 0 untuk konsistensi yang lebih tinggi
        messages=[
            {"role": "user", "content": assessment_prompt}
        ]
    )
    
    # Parse respons JSON dari Claude
    assessment = json.loads(response.content[0].text)
    return assessment


# Proses batch komentar dan dapatkan respons
response_obj = batch_moderate_messages(user_comments, unsafe_categories)

# Cetak hasil untuk setiap pelanggaran yang terdeteksi
for violation in response_obj['violations']:
    print(f"""Komentar: {user_comments[violation['id']]}
Kategori yang Dilanggar: {', '.join(violation['categories'])}
Penjelasan: {violation['explanation']}
""")