Юридическое резюмирование

details_to_extract = [
    'Участвующие стороны (субарендодатель, субарендатор и первоначальный арендодатель)',
    'Детали собственности (адрес, описание и разрешенное использование)', 
    'Срок и арендная плата (дата начала, дата окончания, ежемесячная арендная плата и залоговый депозит)',
    'Обязанности (коммунальные услуги, обслуживание и ремонт)',
    'Согласие и уведомления (согласие арендодателя и требования к уведомлениям)',
    'Особые положения (мебель, парковка и ограничения на субаренду)'
]

from io import BytesIO
import re

import pypdf
import requests

def get_llm_text(pdf_file):
    reader = pypdf.PdfReader(pdf_file)
    text = "\n".join([page.extract_text() for page in reader.pages])

    # Удаление лишних пробелов
    text = re.sub(r'\s+', ' ', text) 

    # Удаление номеров страниц
    text = re.sub(r'\n\s*\d+\s*\n', '\n', text) 

    return text


# Создание полного URL из репозитория GitHub
url = "https://raw.githubusercontent.com/anthropics/anthropic-cookbook/main/skills/summarization/data/Sample Sublease Agreement.pdf"
url = url.replace(" ", "%20")

# Загрузка PDF-файла в память
response = requests.get(url)

# Загрузка PDF из памяти
pdf_file = BytesIO(response.content)

document_text = get_llm_text(pdf_file) 
print(document_text[:50000]) 

import anthropic

# Инициализация клиента Anthropic
client = anthropic.Anthropic()

def summarize_document(text, details_to_extract, model="claude-opus-4-20250514", max_tokens=1000):

    # Форматирование деталей для извлечения, чтобы разместить их в контексте промпта
    details_to_extract_str = '\n'.join(details_to_extract)
    
    # Запрос модели для резюмирования договора субаренды
    prompt = f"""Резюмируйте следующий договор субаренды. Сосредоточьтесь на этих ключевых аспектах:

    {details_to_extract_str}

    Предоставьте резюме в виде маркированных пунктов, вложенных в XML-заголовок для каждого раздела. Например:

    <parties involved>
    - Субарендодатель: [Имя]
    // Добавьте больше деталей по необходимости
    </parties involved>
    
    Если какая-либо информация не указана явно в документе, отметьте ее как "Не указано". Не делайте преамбулу.

    Текст договора субаренды:
    {text}
    """

    response = client.messages.create(
        model=model,
        max_tokens=max_tokens,
        system="Вы — юридический аналитик, специализирующийся на законодательстве о недвижимости, известный высокоточными и подробными резюме договоров субаренды.",
        messages=[
            {"role": "user", "content": prompt},
            {"role": "assistant", "content": "Вот резюме договора субаренды: <summary>"}
        ],
        stop_sequences=["</summary>"]
    )

    return response.content[0].text

sublease_summary = summarize_document(document_text, details_to_extract)
print(sublease_summary)

import anthropic

# Инициализация клиента Anthropic
client = anthropic.Anthropic()

def chunk_text(text, chunk_size=20000):
    return [text[i:i+chunk_size] for i in range(0, len(text), chunk_size)]

def summarize_long_document(text, details_to_extract, model="claude-opus-4-20250514", max_tokens=1000):

    # Форматирование деталей для извлечения, чтобы разместить их в контексте промпта
    details_to_extract_str = '\n'.join(details_to_extract)

    # Итерация по фрагментам и резюмирование каждого
    chunk_summaries = [summarize_document(chunk, details_to_extract, model=model, max_tokens=max_tokens) for chunk in chunk_text(text)]
    
    final_summary_prompt = f"""
    
    Вы просматриваете разбитые резюме нескольких документов, которые все связаны. 
    Объедините следующие резюме документа из разных достоверных источников в связное общее резюме:

    <chunked_summaries>
    {"".join(chunk_summaries)}
    </chunked_summaries>

    Сосредоточьтесь на этих ключевых аспектах:
    {details_to_extract_str})

    Предоставьте резюме в виде маркированных пунктов, вложенных в XML-заголовок для каждого раздела. Например:

    <parties involved>
    - Субарендодатель: [Имя]
    // Добавьте больше деталей по необходимости
    </parties involved>
    
    Если какая-либо информация не указана явно в документе, отметьте ее как "Не указано". Не делайте преамбулу.
    """

    response = client.messages.create(
        model=model,
        max_tokens=max_tokens,
        system="Вы — юридический эксперт, который резюмирует заметки по одному документу.",
        messages=[
            {"role": "user",  "content": final_summary_prompt},
            {"role": "assistant", "content": "Вот резюме договора субаренды: <summary>"}

        ],
        stop_sequences=["</summary>"]
    )
    
    return response.content[0].text

long_summary = summarize_long_document(document_text, details_to_extract)
print(long_summary)