콘텐츠 관리

allowed_user_comments = [
    '이 영화 정말 좋았어요. 주연 배우가 정말 대박이었어요!',
    '월요일이 싫어요.',
    '지금이 금에 투자하기 좋은 시기예요!'
]

disallowed_user_comments = [
    '이 게시물을 지우지 않으면 숨어있어야 할 거예요. 당신과 당신 가족을 찾아갈 거예요.',
    '5G 휴대폰을 피하세요!! 5G로 당신을 조종하고 있어요.',
    '축하합니다! $1,000 상품권에 당첨되셨습니다. 여기를 클릭하여 상품을 받으세요!'
]

# 콘텐츠 관리를 테스트할 사용자 댓글 샘플
user_comments = allowed_user_comments + disallowed_user_comments

# 콘텐츠 관리에서 안전하지 않은 것으로 간주되는 카테고리 목록
unsafe_categories = [
    '아동 착취',
    '음모론',
    '혐오',
    '무차별 무기', 
    '지적 재산권',
    '비폭력 범죄', 
    '개인정보',
    '자해',
    '성범죄',
    '성적 콘텐츠',
    '전문적 조언',
    '폭력 범죄'
]

import anthropic
import json

# Anthropic 클라이언트 초기화
client = anthropic.Anthropic()

def moderate_message(message, unsafe_categories):
    # 안전하지 않은 카테고리 목록을 각 카테고리가 새 줄에 있는 문자열로 변환
    unsafe_category_str = '\n'.join(unsafe_categories)
    
    # Claude를 위한 프롬프트 구성, 메시지와 안전하지 않은 카테고리  포함
    assessment_prompt = f"""
    아래 나열된 안전하지 않은 카테고리를 기반으로 
    다음 메시지가 관리가 필요한지 판단하세요.
    
    Message:
    <message>{message}</message>

    Unsafe Categories:
    <categories>
    {unsafe_category_str}
    </categories>

    아래 형식을 사용하여 JSON 객체로만 응답하세요:
    {{
    "violation": <메시지가 관리되어야 하는지를 나타내는 Boolean 필드>,
    "categories": [위반된 카테고리의 쉼표로 구분된 목록],
    "explanation": [선택 사항. 위반이 있는 경우에만 포함.]
    }}"""

    # 콘텐츠 관리를 위해 Claude에 요청 전송
    response = client.messages.create(
        model="claude-3-haiku-20240307",  # 낮은 비용을 위해 Haiku 모델 사용
        max_tokens=200,
        temperature=0,   # 일관성 향상을 위해 0 temperature 사용
        messages=[
            {"role": "user", "content": assessment_prompt}
        ]
    )
    
    # Claude의 JSON 응답 파싱
    assessment = json.loads(response.content[0].text)
    
    # 평가에서 위반 상태 추출
    contains_violation = assessment['violation']
    
    # 위반이 있는 경우 카테고리와 설명을 가져오고, 그렇지 않으면 빈 기본값 사용
    violated_categories = assessment.get('categories', []) if contains_violation else []
    explanation = assessment.get('explanation') if contains_violation else None
    
    return contains_violation, violated_categories, explanation

# 각 댓글을 처리하고 결과 출력
for comment in user_comments:
    print(f"\nComment: {comment}")
    violation, violated_categories, explanation = moderate_message(comment, unsafe_categories)
    
    if violation:
        print(f"Violated Categories: {', '.join(violated_categories)}")
        print(f"Explanation: {explanation}")
    else:
        print("문제가 발견되지 않았습니다.")

import anthropic
import json

# Anthropic 클라이언트 초기화
client = anthropic.Anthropic()

def assess_risk_level(message, unsafe_categories):
    # 안전하지 않은 카테고리 목록을 각 카테고리가 새 줄에 있는 문자열로 변환
    unsafe_category_str = '\n'.join(unsafe_categories)
    
    # Claude를 위한 프롬프트 구성, 메시지, 안전하지 않은 카테고리 및 위험 수준 정의 포함
    assessment_prompt = f"""
    아래 나열된 안전하지 않은 카테고리를 기반으로 
    다음 메시지의 위험 수준을 평가하세요.
    
Message:
<message>{message}</message>

Unsafe Categories:
<categories>
{unsafe_category_str}
</categories>

정의된 안전하지 않은 카테고리를 기반으로 사용자의 메시지가 
관리되어야 한다는 확신에 따라 위험 수준을 할당하세요:

0 - 위험 없음
1 - 낮은 위험
2 - 중간 위험
3 - 높은 위험

아래 형식을 사용하여 JSON 객체로만 응답하세요:
{{
  "risk_level": <위험 수준을 나타내는 숫자 필드>,
  "categories": [위반된 카테고리의 쉼표로 구분된 목록],
  "explanation": <선택 사항. 위험 수준이 0보다 큰 경우에만 포함>
}}"""

    # 위험 평가를 위해 Claude에 요청 전송
    response = client.messages.create(
        model="claude-3-haiku-20240307",  # 낮은 비용을 위해 Haiku 모델 사용
        max_tokens=200,
        temperature=0,   # 일관성 향상을 위해 0 temperature 사용
        messages=[
            {"role": "user", "content": assessment_prompt}
        ]
    )
    
    # Claude의 JSON 응답 파싱
    assessment = json.loads(response.content[0].text)
    
    # 평가에서 위험 수준, 위반된 카테고리 및 설명 추출
    risk_level = assessment["risk_level"]
    violated_categories = assessment["categories"]
    explanation = assessment.get("explanation")
    
    return risk_level, violated_categories, explanation

# 각 댓글을 처리하고 결과 출력
for comment in user_comments:
    print(f"\nComment: {comment}")
    risk_level, violated_categories, explanation = assess_risk_level(comment, unsafe_categories)
    
    print(f"Risk Level: {risk_level}")
    if violated_categories:
        print(f"Violated Categories: {', '.join(violated_categories)}")
    if explanation:
        print(f"Explanation: {explanation}")

import anthropic
import json

# Anthropic 클라이언트 초기화
client = anthropic.Anthropic()

# 콘텐츠 관리에서 안전하지 않은 것으로 간주되는 카테고리와 정의 사전
unsafe_category_definitions = {
    '아동 착취': '아동 누드를 묘사하거나 아동의 성적 학대를 가능하게 하거나, 조장하거나, 변명하거나, 묘사하는 콘텐츠.',
    '음모론': """사건, 상황 또는 개인에 대한 근거 없는, 거짓이거나 오해의 소지가 있는 이론을 
        조장하거나 지지하는 콘텐츠로, 해를 끼치거나 기관이나 사실에 대한 공공의 신뢰를 훼손할 수 있는 콘텐츠.""",
    '혐오': """보호되는 특성(인종, 피부색, 민족, 출신 국가, 장애, 종교, 카스트, 성적 지향, 성별, 성 정체성 및 심각한 질병)을 
        기반으로 사람들에 대해 혐오적이거나 부정적인 고정관념을 영속시키는 콘텐츠.""",
    '무차별 무기': '대량 살상 무기의 제작을 가능하게 하는 콘텐츠.', 
    '지적 재산권': '제3자의 지적 재산권을 침해하는 콘텐츠.',
    '비폭력 범죄': '비폭력 범죄의 실행을 가능하게 하거나, 조장하거나, 변명하는 콘텐츠.', 
    '개인정보': '개인에 대한 민감하고 개인적인 정보를 포함하는 콘텐츠.',
    '자해': '의도적인 자해 행위를 가능하게 하거나, 조장하거나, 변명하는 콘텐츠.',
    '성범죄': '성범죄의 실행을 가능하게 하거나, 조장하거나, 변명하는 콘텐츠.',
    '성적 콘텐츠': '성행위에 대한 에로틱한 묘사나 명시적인 묘사를 포함하는 콘텐츠.',
    '전문적 조언': """재무, 의료 또는 법률 조언을 포함하는 콘텐츠. 
        재무 조언에는 투자, 주식, 채권 또는 재무 계획에 대한 지침이 포함됩니다.""",
    '폭력 범죄': '폭력 범죄의 실행을 가능하게 하거나, 조장하거나, 변명하는 콘텐츠.', 
}


def moderate_message_with_definitions(message, unsafe_category_definitions):
    # 각 카테고리와 정의가 새 줄에 있는 안전하지 않은 카테고리 문자열 형식 지정
    unsafe_category_str = '\n'.join(f'{category}: {definition}' 
        for category, definition in unsafe_category_definitions.items()
    )
    
    # Claude를 위한 프롬프트 구성, 메시지와 안전하지 않은 카테고리 포함
    assessment_prompt = f"""아래 나열된 안전하지 않은 카테고리를 기반으로 다음 메시지가 관리가 필요한지 판단하세요.

Message:
<message>{message}</message>

Unsafe Categories and Their Definitions:
<categories>
{unsafe_category_str}
</categories>

모든 안전하지 않은 카테고리와 그 정의를 기억하는 것이 중요합니다.

아래 형식을 사용하여 JSON 객체로만 응답하세요:
{{
  "violation": <메시지가 관리되어야 하는지를 나타내는 Boolean 필드>,
  "categories": [위반된 카테고리의 쉼표로 구분된 목록],
  "explanation": [선택 사항. 위반이 있는 경우에만 포함.]
}}"""

    # 콘텐츠 관리를 위해 Claude에 요청 전송
    response = client.messages.create(
        model="claude-3-haiku-20240307",  # 낮은 비용을 위해 Haiku 모델 사용
        max_tokens=200,
        temperature=0,   # 일관성 향상을 위해 0 temperature 사용
        messages=[
            {"role": "user", "content": assessment_prompt}
        ]
    )
    
    # Claude의 JSON 응답 파싱
    assessment = json.loads(response.content[0].text)
    
    # 평가에서 위반 상태 추출
    contains_violation = assessment['violation']
    
    # 위반이 있는 경우 카테고리와 설명을 가져오고, 그렇지 않으면 빈 기본값 사용
    violated_categories = assessment.get('categories', []) if contains_violation else []
    explanation = assessment.get('explanation') if contains_violation else None
    
    return contains_violation, violated_categories, explanation


# 각 댓글을 처리하고 결과 출력
for comment in user_comments:
    print(f"\nComment: {comment}")
    violation, violated_categories, explanation = moderate_message_with_definitions(comment, unsafe_category_definitions)
    
    if violation:
        print(f"Violated Categories: {', '.join(violated_categories)}")
        print(f"Explanation: {explanation}")
    else:
        print("문제가 발견되지 않았습니다.")

import anthropic
import json

# Anthropic 클라이언트 초기화
client = anthropic.Anthropic()

def batch_moderate_messages(messages, unsafe_categories):
    # 안전하지 않은 카테고리 목록을 각 카테고리가 새 줄에 있는 문자열로 변환
    unsafe_category_str = '\n'.join(unsafe_categories)
    
    # 각 메시지를 XML과 유사한 태그로 감싸고 ID를 부여하여 메시지 문자열 형식 지정
    messages_str = '\n'.join([f'<message id={idx}>{msg}</message>' for idx, msg in enumerate(messages)])
    
    # Claude를 위한 프롬프트 구성, 메시지와 안전하지 않은 카테고리 포함
    assessment_prompt = f"""아래 나열된 안전하지 않은 카테고리를 기반으로 관리할 메시지를 결정하세요.

Messages:
<messages>
{messages_str}
</messages>

Unsafe categories and their definitions:
<categories>
{unsafe_category_str}
</categories>

아래 형식을 사용하여 JSON 객체로만 응답하세요:
{{
  "violations": [
    {{
      "id": <메시지 id>,
      "categories": [위반된 카테고리 목록],
      "explanation": <위반이 있는 이유에 대한 설명>
    }},
    ...
  ]
}}

중요 참고 사항:
- 모든 메시지에 대해 위반 여부를 분석하는 것을 잊지 마세요.
- 합리적으로 적용되는 위반 사항을 모두 선택하세요."""

    # 콘텐츠 관리를 위해 Claude에 요청 전송
    response = client.messages.create(
        model="claude-3-haiku-20240307",  # 낮은 비용을 위해 Haiku 모델 사용
        max_tokens=2048,  # 배치를 처리하기 위해 최대 토큰 수 증가
        temperature=0,    # 일관성 향상을 위해 0 temperature 사용
        messages=[
            {"role": "user", "content": assessment_prompt}
        ]
    )
    
    # Claude의 JSON 응답 파싱
    assessment = json.loads(response.content[0].text)
    return assessment


# 댓글 배치를 처리하고 응답 가져오기
response_obj = batch_moderate_messages(user_comments, unsafe_categories)

# 감지된 각 위반에 대한 결과 출력
for violation in response_obj['violations']:
    print(f"""Comment: {user_comments[violation['id']]}
Violated Categories: {', '.join(violation['categories'])}
Explanation: {violation['explanation']}
""")