在使用 Claude 之前

决定是否使用 Claude 进行支持对话

以下是一些关键指标,表明您应该使用像 Claude 这样的 LLM 来自动化部分客户支持流程:

选择 Claude 而非其他 LLM 的一些考虑因素:

  • 您重视自然、细腻的对话:Claude sophisticated 的语言理解能力使其对话比其他 LLM 更自然、更具情境意识,更接近人类对话。
  • 您经常收到复杂和开放式查询:Claude 可以处理广泛的主题和查询,无需生成固定回复或需要对用户话语进行大量编程。
  • 您需要可扩展的多语言支持:Claude 的多语言能力使其能够用超过 200 种语言进行对话,无需为每种支持的语言设置单独的聊天机器人或进行大量翻译。

定义理想的聊天互动

概述理想的客户互动,以定义您期望客户如何以及何时与 Claude 互动。这个概述将有助于确定您解决方案的技术要求。

以下是汽车保险客户支持的示例聊天互动:

  • 客户:启动支持聊天体验
    • Claude:热情地问候客户并开始对话
  • 客户:询问关于他们新电动汽车的保险
    • Claude:提供相关的电动车保险信息
  • 客户:询问有关电动车保险的特殊需求
    • Claude:提供准确和信息丰富的答案,并提供信息来源链接
  • 客户:询问与保险或汽车无关的话题
    • Claude:明确表示不讨论无关话题,并将用户引导回汽车保险话题
  • 客户:表示对保险报价感兴趣
    • Claude:询问一系列问题以确定适当的报价,根据其回答进行调整
    • Claude:发送请求使用报价生成 API 工具,并附上从用户那里收集的必要信息
    • Claude:接收来自 API 工具使用的响应信息,将信息整合成自然的回应,并向用户展示提供的报价
  • 客户:询问后续问题
    • Claude:根据需要回答后续问题
    • Claude:指导客户进行保险流程的下一步并结束对话
在您为自己的用例编写真实示例时,您可能会发现写出这种互动中的实际用词很有用,这样您也可以了解您希望 Claude 具有的理想语气、回应长度和细节程度。

将互动分解为独特任务

客户支持聊天是多个不同任务的集合,从问题回答到信息检索再到处理请求,这些都包含在单个客户互动中。在开始构建之前,将您理想的客户互动分解为您希望 Claude 能够执行的每个任务。这确保您可以针对每个任务提示和评估 Claude,并让您在编写测试用例时对需要考虑的互动范围有很好的认识。

客户有时会发现将此可视化为基于用户请求的可能对话转折点的互动流程图很有帮助。

以下是与上述保险互动示例相关的关键任务:

  1. 问候和一般指导

    • 热情地问候客户并开始对话
    • 提供有关公司和互动的一般信息
  2. 产品信息

    • 提供有关电动车保险的信息
      这将需要 Claude 在其上下文中有必要的信息,并可能意味着需要 RAG 集成
    • 回答与电动车保险特殊需求相关的问题
    • 回答关于报价或保险详情的后续问题
    • 在适当时提供信息来源链接
  3. 对话管理

    • 保持话题相关(汽车保险)
    • 将偏离话题的问题重新引导回相关主题
  4. 报价生成

    • 询问适当的问题以确定报价资格
    • 根据客户回应调整问题
    • 将收集的信息提交给报价生成 API
    • 向客户展示提供的报价

建立成功标准

与您的支持团队合作,定义明确的成功标准并编写带有可衡量基准和目标的详细评估

以下是可用于评估 Claude 执行定义任务的成功程度的标准和基准:

以下是可用于评估使用 Claude 进行支持的业务影响的标准和基准:

如何将 Claude 实现为客服代理

选择合适的 Claude 模型

模型的选择取决于成本、准确性和响应时间之间的权衡。

对于客户支持聊天,claude-3-7-sonnet-20250219 很适合平衡智能、延迟和成本。然而,对于具有包括 RAG、工具使用和/或长上下文提示的多个提示的对话流,claude-3-haiku-20240307 可能更适合优化延迟。

构建强大的提示

使用 Claude 进行客户支持需要 Claude 有足够的指导和上下文来适当回应,同时具有足够的灵活性来处理广泛的客户查询。

让我们从编写强大提示的元素开始,首先是系统提示:

IDENTITY = """你是 Eva,Acme 保险公司友好且知识渊博的 AI 助手。
你的角色是热情地欢迎客户并提供有关 Acme 的保险产品信息,
包括汽车保险和电动汽车保险。你还可以帮助客户获取他们的保险需求报价。"""
虽然您可能想把所有信息都放在系统提示中,作为将指令与用户对话分开的一种方式,但 Claude 实际上在第一个 User 轮次中写入大部分提示内容时效果最好(唯一的例外是角色提示)。在使用系统提示赋予 Claude 角色了解更多。

最好将复杂的提示分解为子部分,一次编写一部分。对于每个任务,您可能会发现通过遵循逐步过程来定义 Claude 需要做好任务的提示部分会取得更大的成功。对于这个汽车保险客户支持示例,我们将逐步编写”问候和一般指导”任务的所有部分。这也使调试您的提示更容易,因为您可以更快地调整整体提示的各个部分。

我们将把所有这些部分放在一个名为 config.py 的文件中。

STATIC_GREETINGS_AND_GENERAL = """
<static_context>
Acme 汽车保险:您在路上值得信赖的伙伴

关于我们:
在 Acme 保险,我们理解您的车辆不仅仅是一种交通工具——它是您生活冒险的通行证。
1985 年以来,我们一直在制定汽车保险政策,让驾驶者能够自信地探索、通勤和旅行。
无论您是在城市街道上行驶还是embarking 跨国公路旅行,Acme 都在那里保护您和您的车辆。
我们创新的汽车保险政策旨在适应您的独特需求,涵盖从轻微碰撞到重大事故的一切。
凭借 Acme 屡获殊荣的客户服务和快速理赔解决方案,您可以专注于驾驶的乐趣,而我们来处理其余的事情。
我们不仅仅是保险提供商——我们是您人生旅程中的副驾驶。
选择 Acme 汽车保险,体验卓越保障和真诚关怀带来的保证。因为在 Acme,我们不仅仅是为您的车投保——我们为您在开阔道路上的冒险提供动力。

注意:我们还为电动车提供专门的保险,确保所有类型的车主都能从我们的保护中受益。

Acme 保险提供以下产品:
- 汽车保险
- 电动汽车保险
- 两轮车保险

营业时间:周一至周五,上午 9 点至下午 5 点(东部标准时间)
客服电话:1-800-123-4567
</static_context>
"""

然后我们将对汽车保险和电动汽车保险信息做同样的处理。

STATIC_CAR_INSURANCE="""
<static_context>
汽车保险保障:
Acme 的汽车保险政策通常包括:
1. 责任保险:支付您对他人造成的人身伤害和财产损失。
2. 碰撞保险:支付您的车辆在事故中的损坏。
3. 综合保险:支付非碰撞事故造成的车辆损坏。
4. 医疗费用保险:支付事故后的医疗费用。
5. 无保险/保险不足驾驶人保险:在被保险不足的驾驶人撞击时保护您。

可选保障包括:
- 租车报销
- 道路救援
- 新车更换
</static_context>
"""

STATIC_ELECTRIC_CAR_INSURANCE="""
<static_context>
电动汽车保险:
我们专门的电动汽车保险超越传统汽车保险,
为您的高科技投资提供量身定制的保护。除了标准保障外,我们还提供:
- 保护昂贵的电池系统
- 覆盖家用充电设备
- 适应快速发展的电动车世界

无论您驾驶的是 Rivian、Nissan Leaf、Chevrolet Bolt
还是任何其他电动车,我们知识渊博的代理人都准备好为您制定一份政策,
让您能够自信地享受每一英里的电力驱动旅程。
</static_context>
"""

现在我们有了静态内容,让我们添加至少 4-5 个”良好”互动的示例来指导 Claude 的回应。这些示例应该代表您理想的客户互动,可以包括护栏、工具调用等。

EXAMPLES="""
以下是您与客户互动的一些示例:

<example 1>
H:你们提供小企业商业保险吗?

A:啊!很抱歉,我们目前不提供商业保险。
不过,我们确实提供一系列个人保险产品,包括汽车保险和电动汽车保险。
您想了解更多关于这些产品的信息吗?
</example 1>

<example 2>
H:你们的营业时间是什么时候?

A:我们的营业时间是周一至周五,东部标准时间上午 9 点至下午 5 点。
如果您在这段时间内有任何问题或需要帮助,请随时联系我们。
今天我还能为您提供什么帮助吗?
</example 2>

<example 3>
H:我正在购买汽车保险。Acme 提供什么?

A:很好的选择!Acme 的汽车保险政策通常包括:
- 责任保险:在您造成事故时保护您
- 碰撞保险:支付事故中您车辆的损坏
- 综合保险:覆盖非碰撞事故如盗窃或破坏
- 医疗费用保险:支付事故后的医疗费用
- 无保险/保险不足驾驶人保险:保护您免受保险不足驾驶人的影响

我们还提供可选保障,如租车报销、道路救援和新车更换。
您想了解更多关于这些保障的详情,还是对为您的车辆投保有具体问题?
</example 3>

<example 4>
H:我想了解你们的电动汽车保险。

A:当然!我们的电动汽车保险专门设计以满足电动车车主的独特需求。
除了我们为普通汽车提供的所有标准保障外,我们的电动车保单还包括:

- 电池保障:保护您车辆昂贵电池系统的损坏或退化
- 科技包:覆盖先进电子设备和车载电脑系统的维修或更换
- 充电站保障:保护家用和便携充电设备
- 网络安全保护:覆盖黑客攻击或数字威胁
- 专业道路救援:包括平板拖车以保护车辆底盘

我们覆盖广泛的电动车型,包括来自 Tesla、Rivian、Nissan、Chevrolet 等品牌的流行车型。
您想为特定的电动车投保,还是想了解更多关于这些保障的详情?
</example 4>

<example 5>
H:我想为我的汽车获取保险报价。

A:当然!我很乐意帮您获取汽车保险报价。
为了给您提供准确的报价,我需要收集一些关于您的车辆和主要驾驶人的信息。
让我们从基本信息开始:

1. 您的车辆是什么品牌和型号?
2. 是哪一年生产的?
3. 大约行驶了多少英里?
4. 主要驾驶人的年龄是多少?

一旦您提供这些信息,我将使用我们的报价工具为您生成个性化的保险报价。
</example 5>
"""

您还需要包括任何重要的指示,概述 Claude 应该如何与客户互动的注意事项和禁忌。 这可能来自品牌准则或支持政策。

ADDITIONAL_GUARDRAILS = """请遵守以下准则:
1. 仅提供我们产品列表中列出的保险类型信息。
2. 如果被问及我们不提供的保险类型,请礼貌地说明
我们不提供该服务。
3. 不要推测未来的产品供应或公司计划。
4. 不要做出未经授权的承诺或达成协议。
您只提供信息和指导。
5. 不要提及任何竞争对手的产品或服务。
"""

现在让我们将所有这些部分组合成一个字符串,用作我们的提示。

TASK_SPECIFIC_INSTRUCTIONS = ' '.join([
   STATIC_GREETINGS_AND_GENERAL,
   STATIC_CAR_INSURANCE,
   STATIC_ELECTRIC_CAR_INSURANCE,
   EXAMPLES,
   ADDITIONAL_GUARDRAILS,
])

通过工具使用添加动态和主动能力

Claude 能够使用客户端工具使用功能来采取行动和动态检索信息。首先列出提示应该使用的任何外部工具或 API。

对于这个示例,我们将从一个用于计算报价的工具开始。

提醒一下,这个工具不会执行实际的计算,它只会向应用程序发出信号,表明应该使用具有指定参数的工具。

示例保险报价计算器:

TOOLS = [{
  "name": "get_quote",
  "description": "根据用户输入计算保险报价。返回值为每月保费。",
  "input_schema": {
    "type": "object",
    "properties": {
      "make": {"type": "string", "description": "车辆品牌。"},
      "model": {"type": "string", "description": "车辆型号。"},
      "year": {"type": "integer", "description": "车辆生产年份。"},
      "mileage": {"type": "integer", "description": "车辆里程数。"},
      "driver_age": {"type": "integer", "description": "主要驾驶人年龄。"}
    },
    "required": ["make", "model", "year", "mileage", "driver_age"]
  }
}]

def get_quote(make, model, year, mileage, driver_age):
    """返回每月保费(美元)"""
    # 您可以调用 http 端点或数据库来获取报价。
    # 这里,我们模拟 1 秒的延迟并返回固定报价 100。
    time.sleep(1)
    return 100

部署您的提示

如果不在测试生产环境中部署提示并运行评估,很难知道您的提示效果如何,所以让我们使用我们的提示、Anthropic SDK 和 streamlit 构建一个小型应用程序作为用户界面。

在一个名为 chatbot.py 的文件中,首先设置 ChatBot 类,该类将封装与 Anthropic SDK 的交互。

该类应该有两个主要方法:generate_messageprocess_user_input

from anthropic import Anthropic
from config import IDENTITY, TOOLS, MODEL, get_quote
from dotenv import load_dotenv

load_dotenv()

class ChatBot:
   def __init__(self, session_state):
       self.anthropic = Anthropic()
       self.session_state = session_state

   def generate_message(
       self,
       messages,
       max_tokens,
   ):
       try:
           response = self.anthropic.messages.create(
               model=MODEL,
               system=IDENTITY,
               max_tokens=max_tokens,
               messages=messages,
               tools=TOOLS,
           )
           return response
       except Exception as e:
           return {"error": str(e)}

   def process_user_input(self, user_input):
       self.session_state.messages.append({"role": "user", "content": user_input})

       response_message = self.generate_message(
           messages=self.session_state.messages,
           max_tokens=2048,
       )

       if "error" in response_message:
           return f"发生错误:{response_message['error']}"

       if response_message.content[-1].type == "tool_use":
           tool_use = response_message.content[-1]
           func_name = tool_use.name
           func_params = tool_use.input
           tool_use_id = tool_use.id

           result = self.handle_tool_use(func_name, func_params)
           self.session_state.messages.append(
               {"role": "assistant", "content": response_message.content}
           )
           self.session_state.messages.append({
               "role": "user",
               "content": [{
                   "type": "tool_result",
                   "tool_use_id": tool_use_id,
                   "content": f"{result}",
               }],
           })

           follow_up_response = self.generate_message(
               messages=self.session_state.messages,
               max_tokens=2048,
           )

           if "error" in follow_up_response:
               return f"发生错误:{follow_up_response['error']}"

           response_text = follow_up_response.content[0].text
           self.session_state.messages.append(
               {"role": "assistant", "content": response_text}
           )
           return response_text
      
       elif response_message.content[0].type == "text":
           response_text = response_message.content[0].text
           self.session_state.messages.append(
               {"role": "assistant", "content": response_text}
           )
           return response_text
      
       else:
           raise Exception("发生错误:意外的响应类型")

   def handle_tool_use(self, func_name, func_params):
       if func_name == "get_quote":
           premium = get_quote(**func_params)
           return f"已生成报价:每月 ${premium:.2f}"
      
       raise Exception("使用了意外的工具")

构建您的用户界面

使用 Streamlit 和主方法测试部署此代码。这个 main() 函数设置了一个基于 Streamlit 的聊天界面。

我们将在一个名为 app.py 的文件中完成这个操作

import streamlit as st
from chatbot import ChatBot
from config import TASK_SPECIFIC_INSTRUCTIONS

def main():
   st.title("与 Eva(Acme 保险公司的助手)聊天🤖")

   if "messages" not in st.session_state:
       st.session_state.messages = [
           {'role': "user", "content": TASK_SPECIFIC_INSTRUCTIONS},
           {'role': "assistant", "content": "已理解"},
       ]

   chatbot = ChatBot(st.session_state)

   # 显示用户和助手消息,跳过前两条
   for message in st.session_state.messages[2:]:
       # 忽略工具使用块
       if isinstance(message["content"], str):
           with st.chat_message(message["role"]):
               st.markdown(message["content"])

   if user_msg := st.chat_input("在这里输入您的消息..."):
       st.chat_message("user").markdown(user_msg)

       with st.chat_message("assistant"):
           with st.spinner("Eva 正在思考..."):
               response_placeholder = st.empty()
               full_response = chatbot.process_user_input(user_msg)
               response_placeholder.markdown(full_response)

if __name__ == "__main__":
   main()

使用以下命令运行程序:

streamlit run app.py

评估您的提示

提示通常需要测试和优化才能准备好投入生产。要确定您的解决方案是否准备就绪,请使用系统化流程结合定量和定性方法评估聊天机器人性能。基于您定义的成功标准创建强大的实证评估将允许您优化您的提示。

Anthropic Console 现在提供了一个评估工具,允许您在各种场景下测试您的提示。

提高性能

在复杂场景中,除了标准的提示工程技术护栏实施策略外,考虑其他策略来提高性能可能会有帮助。以下是一些常见场景:

使用 RAG 减少长上下文延迟

在处理大量静态和动态上下文时,在提示中包含所有信息可能会导致高成本、响应时间较慢和达到上下文窗口限制。在这种情况下,实施检索增强生成(RAG)技术可以显著提高性能和效率。

通过使用像 Voyage 这样的嵌入模型将信息转换为向量表示,您可以创建一个更具可扩展性和响应性的系统。这种方法允许基于当前查询动态检索相关信息,而不是在每个提示中包含所有可能的上下文。

为支持用例实施 RAG RAG recipe 已被证明可以提高准确性、减少响应时间,并在具有大量上下文要求的系统中降低 API 成本。

通过工具使用集成实时数据

在处理需要实时信息的查询时,如账户余额或保单详情,基于嵌入的 RAG 方法是不够的。相反,您可以利用工具使用来显著增强您的聊天机器人提供准确、实时响应的能力。例如,您可以使用工具使用来查找客户信息、检索订单详情,并代表客户取消订单。

这种方法,在我们的工具使用:客服代理配方中概述,允许您将实时数据无缝集成到您的 Claude 的响应中,并提供更个性化和高效的客户体验。

加强输入和输出护栏

在部署聊天机器人时,特别是在客户服务场景中,防止与滥用、超出范围的查询和不当响应相关的风险至关重要。虽然 Claude 本身对这些场景具有弹性,但以下是加强您的聊天机器人护栏的额外步骤:

  • 减少幻觉:实施事实检查机制和引用,以将响应建立在提供的信息基础上。
  • 交叉检查信息:验证代理的响应是否符合您公司的政策和已知事实。
  • 避免合同承诺:确保代理不做出未经授权的承诺或达成协议。
  • 减轻越狱:使用无害性筛选和输入验证等方法来防止用户利用模型漏洞,试图生成不当内容。
  • 避免提及竞争对手:实施竞争对手提及过滤器以保持品牌焦点,不提及任何竞争对手的产品或服务。
  • 保持 Claude 的角色:防止 Claude 在长期、复杂的互动中改变其上下文风格。
  • 删除个人身份信息(PII):除非明确要求和授权,否则从响应中删除任何 PII。

通过流式传输减少感知响应时间

在处理可能较长的响应时,实施流式传输可以显著提高用户参与度和满意度。在这种情况下,用户逐步接收答案,而不是等待整个响应生成。

以下是如何实施流式传输:

  1. 使用 Anthropic 流式传输 API 支持流式响应。
  2. 设置您的前端以处理传入的文本块。
  3. 在每个块到达时显示它,模拟实时打字。
  4. 实施机制以保存完整响应,允许用户在导航离开并返回时查看它。

在某些情况下,流式传输使得使用具有更高基础延迟的更高级模型成为可能,因为渐进式显示减轻了较长处理时间的影响。

扩展您的聊天机器人

随着您的聊天机器人复杂性的增长,您的应用程序架构可以相应发展。在向您的架构添加更多层之前,请考虑以下不太详尽的选项:

  • 确保您充分利用了您的提示并通过提示工程进行优化。使用我们的提示工程指南来编写最有效的提示。
  • 向提示添加额外的工具(可以包括提示链)并看看是否可以实现所需的功能。

如果您的聊天机器人处理极其多样的任务,您可能想考虑添加一个单独的意图分类器来路由初始客户查询。对于现有应用程序,这将涉及创建一个决策树,该树将通过分类器将客户查询路由到专门的对话(具有自己的工具集和系统提示)。注意,这种方法需要对 Claude 进行额外调用,可能会增加延迟。

将 Claude 集成到您的支持工作流程中

虽然我们的示例集中在 Streamlit 环境中可调用的 Python 函数上,但部署 Claude 进行实时支持聊天机器人需要一个 API 服务。

以下是您可以采取的方法:

  1. 创建 API 包装器:围绕您的分类函数开发一个简单的 API 包装器。例如,您可以使用 Flask API 或 Fast API 将您的代码包装成 HTTP 服务。您的 HTTP 服务可以接受用户输入并完整返回助手响应。因此,您的服务可以具有以下特征:

    • 服务器发送事件(SSE):SSE 允许从服务器到客户端实时流式传输响应。这对于使用 LLM 时提供流畅、交互式的体验至关重要。
    • 缓存:实施缓存可以显著提高响应时间并减少不必要的 API 调用。
    • 上下文保留:在用户导航离开并返回时保持上下文对于对话的连续性很重要。
  2. 构建网页界面:实施用户友好的网页 UI 以与 Claude 驱动的代理互动。

Was this page helpful?