法律文档摘要

details_to_extract = [
    '相关方（转租人、承租人和原出租人）',
    '物业详情（地址、描述和允许用途）', 
    '期限和租金（开始日期、结束日期、月租金和押金）',
    '责任（水电费、维护和修理）',
    '同意和通知（房东的同意和通知要求）',
    '特殊条款（家具、停车和转租限制）'
]

from io import BytesIO
import re

import pypdf
import requests

def get_llm_text(pdf_file):
    reader = pypdf.PdfReader(pdf_file)
    text = "\n".join([page.extract_text() for page in reader.pages])

    # 移除多余的空白
    text = re.sub(r'\s+', ' ', text) 

    # 移除页码
    text = re.sub(r'\n\s*\d+\s*\n', '\n', text) 

    return text


# 从GitHub仓库创建完整URL
url = "https://raw.githubusercontent.com/anthropics/anthropic-cookbook/main/skills/summarization/data/Sample Sublease Agreement.pdf"
url = url.replace(" ", "%20")

# 将PDF文件下载到内存中
response = requests.get(url)

# 从内存加载PDF
pdf_file = BytesIO(response.content)

document_text = get_llm_text(pdf_file) 
print(document_text[:50000]) 

import anthropic

# 初始化Anthropic客户端
client = anthropic.Anthropic()

def summarize_document(text, details_to_extract, model="claude-opus-4-20250514", max_tokens=1000):

    # 格式化要提取的详细信息，以便放置在提示的上下文中
    details_to_extract_str = '\n'.join(details_to_extract)
    
    # 提示模型总结转租协议
    prompt = f"""总结以下转租协议。关注这些关键方面：

    {details_to_extract_str}

    请以项目符号形式提供摘要，嵌套在每个部分的XML标题内。例如：

    <parties involved>
    - 转租人：[姓名]
    // 根据需要添加更多详细信息
    </parties involved>
    
    如果文档中未明确说明任何信息，请注明"未指定"。不要添加前言。

    转租协议文本：
    {text}
    """

    response = client.messages.create(
        model=model,
        max_tokens=max_tokens,
        system="您是一位专门研究房地产法的法律分析师，以高度准确和详细的转租协议摘要而闻名。",
        messages=[
            {"role": "user", "content": prompt},
            {"role": "assistant", "content": "以下是转租协议的摘要：<summary>"}
        ],
        stop_sequences=["</summary>"]
    )

    return response.content[0].text

sublease_summary = summarize_document(document_text, details_to_extract)
print(sublease_summary)

import anthropic

# 初始化Anthropic客户端
client = anthropic.Anthropic()

def chunk_text(text, chunk_size=20000):
    return [text[i:i+chunk_size] for i in range(0, len(text), chunk_size)]

def summarize_long_document(text, details_to_extract, model="claude-opus-4-20250514", max_tokens=1000):

    # 格式化要提取的详细信息，以便放置在提示的上下文中
    details_to_extract_str = '\n'.join(details_to_extract)

    # 迭代块并总结每一个
    chunk_summaries = [summarize_document(chunk, details_to_extract, model=model, max_tokens=max_tokens) for chunk in chunk_text(text)]
    
    final_summary_prompt = f"""
    
    您正在查看来自多个相关文档的分块摘要。
    将以下来自不同真实来源的文档摘要合并成一个连贯的整体摘要：

    <chunked_summaries>
    {"".join(chunk_summaries)}
    </chunked_summaries>

    关注这些关键方面：
    {details_to_extract_str})

    请以项目符号形式提供摘要，嵌套在每个部分的XML标题内。例如：

    <parties involved>
    - 转租人：[姓名]
    // 根据需要添加更多详细信息
    </parties involved>
    
    如果文档中未明确说明任何信息，请注明"未指定"。不要添加前言。
    """

    response = client.messages.create(
        model=model,
        max_tokens=max_tokens,
        system="您是一位总结一份文档笔记的法律专家。",
        messages=[
            {"role": "user",  "content": final_summary_prompt},
            {"role": "assistant", "content": "以下是转租协议的摘要：<summary>"}

        ],
        stop_sequences=["</summary>"]
    )
    
    return response.content[0].text

long_summary = summarize_long_document(document_text, details_to_extract)
print(long_summary)