Agen dukungan pelanggan

​

Sebelum membangun dengan Claude

​

Putuskan apakah akan menggunakan Claude untuk obrolan dukungan

Berikut adalah beberapa indikator utama bahwa Anda sebaiknya menggunakan LLM seperti Claude untuk mengotomatisasi bagian dari proses dukungan pelanggan Anda:

Beberapa pertimbangan untuk memilih Claude dibandingkan LLM lainnya:

• Anda memprioritaskan percakapan yang alami dan bernuansa: Pemahaman bahasa Claude yang canggih memungkinkan percakapan yang lebih alami dan sadar konteks yang terasa lebih manusiawi daripada obrolan dengan LLM lainnya.
• Anda sering menerima pertanyaan kompleks dan terbuka: Claude dapat menangani berbagai topik dan pertanyaan tanpa menghasilkan respons yang sudah jadi atau memerlukan pemrograman ekstensif dari permutasi ucapan pengguna.
• Anda membutuhkan dukungan multibahasa yang dapat diskalakan: Kemampuan multibahasa Claude memungkinkannya terlibat dalam percakapan dalam lebih dari 200 bahasa tanpa perlu chatbot terpisah atau proses terjemahan ekstensif untuk setiap bahasa yang didukung.

​

Tentukan interaksi obrolan ideal Anda

Buatlah garis besar interaksi pelanggan yang ideal untuk menentukan bagaimana dan kapan Anda mengharapkan pelanggan berinteraksi dengan Claude. Garis besar ini akan membantu menentukan persyaratan teknis dari solusi Anda.

Berikut adalah contoh interaksi obrolan untuk dukungan asuransi mobil:

• Pelanggan: Memulai pengalaman obrolan dukungan
  • Claude: Menyapa pelanggan dengan hangat dan memulai percakapan
• Pelanggan: Bertanya tentang asuransi untuk mobil listrik baru mereka
  • Claude: Memberikan informasi relevan tentang cakupan kendaraan listrik
• Pelanggan: Mengajukan pertanyaan terkait kebutuhan unik untuk asuransi kendaraan listrik
  • Claude: Merespons dengan jawaban yang akurat dan informatif serta memberikan tautan ke sumber
• Pelanggan: Mengajukan pertanyaan di luar topik yang tidak terkait dengan asuransi atau mobil
  • Claude: Mengklarifikasi bahwa ia tidak membahas topik yang tidak terkait dan mengarahkan pengguna kembali ke asuransi mobil
• Pelanggan: Mengungkapkan minat untuk mendapatkan penawaran asuransi
  • Claude: Mengajukan serangkaian pertanyaan untuk menentukan penawaran yang sesuai, beradaptasi dengan respons mereka
  • Claude: Mengirim permintaan untuk menggunakan alat API pembuat penawaran bersama dengan informasi yang diperlukan yang dikumpulkan dari pengguna
  • Claude: Menerima informasi respons dari penggunaan alat API, mensintesis informasi menjadi respons alami, dan menyajikan penawaran yang diberikan kepada pengguna
• Pelanggan: Mengajukan pertanyaan lanjutan
  • Claude: Menjawab pertanyaan lanjutan sesuai kebutuhan
  • Claude: Memandu pelanggan ke langkah selanjutnya dalam proses asuransi dan mengakhiri percakapan

​

Pecah interaksi menjadi tugas-tugas unik

Obrolan dukungan pelanggan adalah kumpulan dari beberapa tugas berbeda, mulai dari menjawab pertanyaan hingga pengambilan informasi hingga mengambil tindakan atas permintaan, yang terbungkus dalam satu interaksi pelanggan. Sebelum Anda mulai membangun, pecah interaksi pelanggan ideal Anda menjadi setiap tugas yang ingin Anda agar Claude dapat melakukannya. Ini memastikan Anda dapat memberikan prompt dan mengevaluasi Claude untuk setiap tugas, dan memberi Anda gambaran yang baik tentang berbagai interaksi yang perlu Anda perhitungkan saat menulis kasus uji.

Berikut adalah tugas-tugas utama yang terkait dengan contoh interaksi asuransi di atas:

1. Salam dan panduan umum

   • Menyapa pelanggan dengan hangat dan memulai percakapan
   • Memberikan informasi umum tentang perusahaan dan interaksi

2. Informasi Produk

   • Memberikan informasi tentang cakupan kendaraan listrik
     Ini akan memerlukan Claude memiliki informasi yang diperlukan dalam konteksnya, dan mungkin menyiratkan bahwa integrasi RAG diperlukan.
   • Menjawab pertanyaan terkait kebutuhan asuransi kendaraan listrik yang unik
   • Menjawab pertanyaan lanjutan tentang penawaran atau detail asuransi
   • Menawarkan tautan ke sumber saat sesuai

3. Manajemen Percakapan

   • Tetap pada topik (asuransi mobil)
   • Mengarahkan pertanyaan di luar topik kembali ke subjek yang relevan

4. Pembuatan Penawaran

   • Mengajukan pertanyaan yang sesuai untuk menentukan kelayakan penawaran
   • Menyesuaikan pertanyaan berdasarkan respons pelanggan
   • Mengirimkan informasi yang dikumpulkan ke API pembuatan penawaran
   • Menyajikan penawaran yang diberikan kepada pelanggan

​

Tetapkan kriteria keberhasilan

Bekerjalah dengan tim dukungan Anda untuk menentukan kriteria keberhasilan yang jelas dan tulis evaluasi terperinci dengan tolok ukur dan tujuan yang dapat diukur.

Berikut adalah kriteria dan tolok ukur yang dapat digunakan untuk mengevaluasi seberapa sukses Claude melakukan tugas yang ditentukan:

Berikut adalah kriteria dan tolok ukur yang dapat digunakan untuk mengevaluasi dampak bisnis dari penggunaan Claude untuk dukungan:

​

Cara mengimplementasikan Claude sebagai agen layanan pelanggan

​

Pilih model Claude yang tepat

Pilihan model tergantung pada trade-off antara biaya, akurasi, dan waktu respons.

Untuk obrolan dukungan pelanggan, claude-opus-4-20250514 sangat cocok untuk menyeimbangkan kecerdasan, latensi, dan biaya. Namun, untuk kasus di mana Anda memiliki alur percakapan dengan beberapa prompt termasuk RAG, penggunaan alat, dan/atau prompt konteks panjang, claude-3-haiku-20240307 mungkin lebih cocok untuk mengoptimalkan latensi.

​

Bangun prompt yang kuat

Menggunakan Claude untuk dukungan pelanggan memerlukan Claude memiliki cukup arahan dan konteks untuk merespons dengan tepat, sambil memiliki cukup fleksibilitas untuk menangani berbagai pertanyaan pelanggan.

Mari kita mulai dengan menulis elemen-elemen prompt yang kuat, dimulai dengan prompt sistem:

IDENTITY = """You are Eva, a friendly and knowledgeable AI assistant for Acme Insurance 
Company. Your role is to warmly welcome customers and provide information on 
Acme's insurance offerings, which include car insurance and electric car 
insurance. You can also help customers get quotes for their insurance needs."""

Sebaiknya memecah prompt kompleks menjadi subbagian dan menulis satu bagian pada satu waktu. Untuk setiap tugas, Anda mungkin menemukan kesuksesan yang lebih besar dengan mengikuti proses langkah demi langkah untuk menentukan bagian-bagian prompt yang dibutuhkan Claude untuk melakukan tugas dengan baik. Untuk contoh dukungan asuransi mobil ini, kita akan menulis secara bertahap semua bagian untuk prompt dimulai dengan tugas “Salam dan panduan umum”. Ini juga membuat debugging prompt Anda lebih mudah karena Anda dapat lebih cepat menyesuaikan bagian-bagian individual dari keseluruhan prompt.

Kita akan menempatkan semua bagian ini dalam file bernama config.py.

STATIC_GREETINGS_AND_GENERAL = """
<static_context>
Acme Auto Insurance: Your Trusted Companion on the Road

About:
At Acme Insurance, we understand that your vehicle is more than just a mode of transportation—it's your ticket to life's adventures. 
Since 1985, we've been crafting auto insurance policies that give drivers the confidence to explore, commute, and travel with peace of mind.
Whether you're navigating city streets or embarking on cross-country road trips, Acme is there to protect you and your vehicle. 
Our innovative auto insurance policies are designed to adapt to your unique needs, covering everything from fender benders to major collisions.
With Acme's award-winning customer service and swift claim resolution, you can focus on the joy of driving while we handle the rest. 
We're not just an insurance provider—we're your co-pilot in life's journeys.
Choose Acme Auto Insurance and experience the assurance that comes with superior coverage and genuine care. Because at Acme, we don't just 
insure your car—we fuel your adventures on the open road.

Note: We also offer specialized coverage for electric vehicles, ensuring that drivers of all car types can benefit from our protection.

Acme Insurance offers the following products:
- Car insurance
- Electric car insurance
- Two-wheeler insurance

Business hours: Monday-Friday, 9 AM - 5 PM EST
Customer service number: 1-800-123-4567
</static_context>
"""

Kita kemudian akan melakukan hal yang sama untuk informasi asuransi mobil dan asuransi mobil listrik kita.

STATIC_CAR_INSURANCE="""
<static_context>
Car Insurance Coverage:
Acme's car insurance policies typically cover:
1. Liability coverage: Pays for bodily injury and property damage you cause to others.
2. Collision coverage: Pays for damage to your car in an accident.
3. Comprehensive coverage: Pays for damage to your car from non-collision incidents.
4. Medical payments coverage: Pays for medical expenses after an accident.
5. Uninsured/underinsured motorist coverage: Protects you if you're hit by a driver with insufficient insurance.

Optional coverages include:
- Rental car reimbursement
- Roadside assistance
- New car replacement
</static_context>
"""

STATIC_ELECTRIC_CAR_INSURANCE="""
<static_context>
Electric Car Insurance:
Our specialized electric car insurance goes beyond traditional auto coverage, 
offering tailored protection for your high-tech investment. In addition to standard coverages, we offer:
- Safeguarding expensive battery systems
- Covering home charging equipment
- Adapting to the rapidly evolving world of electric vehicles

Whether you're driving a Rivian, Nissan Leaf, Chevrolet Bolt, 
or any other electric vehicle, our knowledgeable agents are ready to craft a policy 
that gives you the confidence to enjoy every electron-powered mile.
</static_context>
"""

Sekarang kita memiliki konten statis, mari tambahkan setidaknya 4-5 contoh interaksi “baik” untuk memandu respons Claude. Contoh-contoh ini harus mewakili interaksi pelanggan ideal Anda dan dapat mencakup pagar pembatas, panggilan alat, dll.

EXAMPLES="""
Here are a few examples of how you can interact with customers:

<example 1>
H: Hi, do you offer commercial insurance for small businesses?

A: Ah! Unfortunately, we don't offer commercial insurance at this time. 
However, we do provide a range of personal insurance products including car insurance and electric car insurance. 
Would you like to know more about these offerings?
</example 1>

<example 2>
H: Hi, what are your business hours?

A: Our business hours are Monday to Friday, 9 AM to 5 PM EST. 
If you have any questions or need assistance, feel free to reach out during those times. 
How else can I assist you today?
</example 2>

<example 3>
H: I'm shopping for car insurance. What does Acme offer?

A: Great choice! Acme's car insurance policies typically include:
- Liability coverage: Protects you if you're at fault in an accident
- Collision coverage: Pays for damage to your car in an accident
- Comprehensive coverage: Covers non-collision incidents like theft or vandalism
- Medical payments coverage: Pays for medical expenses after an accident
- Uninsured/underinsured motorist coverage: Protects you from drivers with insufficient insurance

We also offer optional coverages like rental car reimbursement, roadside assistance, and new car replacement. 
Would you like more details on any of these coverages, or do you have specific questions about insuring your vehicle?
</example 3>

<example 4>
H: I'd like to hear about your electric car insurance.

A: Certainly! Our electric car insurance is specially designed to meet the unique needs of electric vehicle owners. 
In addition to all the standard coverages we offer for regular cars, our electric car policies include:

- Battery coverage: Protection against damage or degradation of your vehicle's expensive battery system
- Tech package: Covers repairs or replacement of advanced electronics and onboard computer systems
- Charging station coverage: Protects both home and portable charging equipment
- Cybersecurity protection: Coverage against hacking or digital threats
- Specialized roadside assistance: Includes flatbed towing to protect the vehicle's undercarriage

We cover a wide range of electric vehicles, including popular models from Tesla, Rivian, Nissan, Chevrolet, and more. 
Is there a specific electric vehicle you're looking to insure, or would you like more details on any of these coverages?
</example 4>

<example 5>
H: I'd like to get a quote for my car insurance.

A: Certainly! I'd be happy to help you get a quote for your car insurance. 
To provide you with an accurate quote, I'll need to collect some information about your vehicle and the primary driver. 
Let's start with the basics:

1. What is the make and model of your vehicle?
2. What year was it manufactured?
3. Approximately how many miles have you driven?
4. What is the age of the primary driver?

Once you provide this information, I'll use our quoting tool to generate a personalized insurance quote for you.
</example 5>
"""

Anda juga akan ingin menyertakan instruksi penting yang menguraikan Hal yang Boleh dan Tidak Boleh dilakukan tentang bagaimana Claude harus berinteraksi dengan pelanggan. Ini mungkin diambil dari pagar pembatas merek atau kebijakan dukungan.

ADDITIONAL_GUARDRAILS = """Please adhere to the following guardrails:
1. Only provide information about insurance types listed in our offerings.
2. If asked about an insurance type we don't offer, politely state 
that we don't provide that service.
3. Do not speculate about future product offerings or company plans.
4. Don't make promises or enter into agreements it's not authorized to make.
You only provide information an guidance.
5. Do not mention any competitor's products or services.
"""

Sekarang mari kita gabungkan semua bagian ini menjadi satu string untuk digunakan sebagai prompt kita.

TASK_SPECIFIC_INSTRUCTIONS = ' '.join([
   STATIC_GREETINGS_AND_GENERAL,
   STATIC_CAR_INSURANCE,
   STATIC_ELECTRIC_CAR_INSURANCE,
   EXAMPLES,
   ADDITIONAL_GUARDRAILS,
])

​

Tambahkan kemampuan dinamis dan agentic dengan penggunaan alat

Claude mampu mengambil tindakan dan mengambil informasi secara dinamis menggunakan fungsionalitas penggunaan alat sisi klien. Mulailah dengan membuat daftar alat atau API eksternal yang harus digunakan prompt.

Untuk contoh ini, kita akan mulai dengan satu alat untuk menghitung penawaran.

Contoh kalkulator penawaran asuransi:

TOOLS = [{
  "name": "get_quote",
  "description": "Calculate the insurance quote based on user input. Returned value is per month premium.",
  "input_schema": {
    "type": "object",
    "properties": {
      "make": {"type": "string", "description": "The make of the vehicle."},
      "model": {"type": "string", "description": "The model of the vehicle."},
      "year": {"type": "integer", "description": "The year the vehicle was manufactured."},
      "mileage": {"type": "integer", "description": "The mileage on the vehicle."},
      "driver_age": {"type": "integer", "description": "The age of the primary driver."}
    },
    "required": ["make", "model", "year", "mileage", "driver_age"]
  }
}]

def get_quote(make, model, year, mileage, driver_age):
    """Returns the premium per month in USD"""
    # You can call an http endpoint or a database to get the quote.
    # Here, we simulate a delay of 1 seconds and return a fixed quote of 100.
    time.sleep(1)
    return 100

​

Deploy prompt Anda

Sulit untuk mengetahui seberapa baik prompt Anda bekerja tanpa men-deploy-nya dalam pengaturan produksi uji dan menjalankan evaluasi, jadi mari kita bangun aplikasi kecil menggunakan prompt kita, SDK Anthropic, dan streamlit untuk antarmuka pengguna.

Dalam file bernama chatbot.py, mulailah dengan menyiapkan kelas ChatBot, yang akan mengenkapsulasi interaksi dengan SDK Anthropic.

Kelas ini harus memiliki dua metode utama: generate_message dan process_user_input.

from anthropic import Anthropic
from config import IDENTITY, TOOLS, MODEL, get_quote
from dotenv import load_dotenv

load_dotenv()

class ChatBot:
   def __init__(self, session_state):
       self.anthropic = Anthropic()
       self.session_state = session_state

   def generate_message(
       self,
       messages,
       max_tokens,
   ):
       try:
           response = self.anthropic.messages.create(
               model=MODEL,
               system=IDENTITY,
               max_tokens=max_tokens,
               messages=messages,
               tools=TOOLS,
           )
           return response
       except Exception as e:
           return {"error": str(e)}

   def process_user_input(self, user_input):
       self.session_state.messages.append({"role": "user", "content": user_input})

       response_message = self.generate_message(
           messages=self.session_state.messages,
           max_tokens=2048,
       )

       if "error" in response_message:
           return f"An error occurred: {response_message['error']}"

       if response_message.content[-1].type == "tool_use":
           tool_use = response_message.content[-1]
           func_name = tool_use.name
           func_params = tool_use.input
           tool_use_id = tool_use.id

           result = self.handle_tool_use(func_name, func_params)
           self.session_state.messages.append(
               {"role": "assistant", "content": response_message.content}
           )
           self.session_state.messages.append({
               "role": "user",
               "content": [{
                   "type": "tool_result",
                   "tool_use_id": tool_use_id,
                   "content": f"{result}",
               }],
           })

           follow_up_response = self.generate_message(
               messages=self.session_state.messages,
               max_tokens=2048,
           )

           if "error" in follow_up_response:
               return f"An error occurred: {follow_up_response['error']}"

           response_text = follow_up_response.content[0].text
           self.session_state.messages.append(
               {"role": "assistant", "content": response_text}
           )
           return response_text
      
       elif response_message.content[0].type == "text":
           response_text = response_message.content[0].text
           self.session_state.messages.append(
               {"role": "assistant", "content": response_text}
           )
           return response_text
      
       else:
           raise Exception("An error occurred: Unexpected response type")

   def handle_tool_use(self, func_name, func_params):
       if func_name == "get_quote":
           premium = get_quote(**func_params)
           return f"Quote generated: ${premium:.2f} per month"
      
       raise Exception("An unexpected tool was used")

​

Bangun antarmuka pengguna Anda

Uji men-deploy kode ini dengan Streamlit menggunakan metode main. Fungsi main() ini menyiapkan antarmuka obrolan berbasis Streamlit.

Kita akan melakukan ini dalam file bernama app.py

import streamlit as st
from chatbot import ChatBot
from config import TASK_SPECIFIC_INSTRUCTIONS

def main():
   st.title("Chat with Eva, Acme Insurance Company's Assistant🤖")

   if "messages" not in st.session_state:
       st.session_state.messages = [
           {'role': "user", "content": TASK_SPECIFIC_INSTRUCTIONS},
           {'role': "assistant", "content": "Understood"},
       ]

   chatbot = ChatBot(st.session_state)

   # Display user and assistant messages skipping the first two
   for message in st.session_state.messages[2:]:
       # ignore tool use blocks
       if isinstance(message["content"], str):
           with st.chat_message(message["role"]):
               st.markdown(message["content"])

   if user_msg := st.chat_input("Type your message here..."):
       st.chat_message("user").markdown(user_msg)

       with st.chat_message("assistant"):
           with st.spinner("Eva is thinking..."):
               response_placeholder = st.empty()
               full_response = chatbot.process_user_input(user_msg)
               response_placeholder.markdown(full_response)

if __name__ == "__main__":
   main()

Jalankan program dengan:

streamlit run app.py

​

Evaluasi prompt Anda

Prompting sering memerlukan pengujian dan optimasi agar siap untuk produksi. Untuk menentukan kesiapan solusi Anda, evaluasi kinerja chatbot menggunakan proses sistematis yang menggabungkan metode kuantitatif dan kualitatif. Membuat evaluasi empiris yang kuat berdasarkan kriteria keberhasilan yang Anda tentukan akan memungkinkan Anda untuk mengoptimalkan prompt Anda.

​

Tingkatkan kinerja

Dalam skenario kompleks, mungkin membantu untuk mempertimbangkan strategi tambahan untuk meningkatkan kinerja di luar teknik rekayasa prompt standar & strategi implementasi pagar pembatas. Berikut adalah beberapa skenario umum:

​

Kurangi latensi konteks panjang dengan RAG

Ketika berurusan dengan jumlah konteks statis dan dinamis yang besar, termasuk semua informasi dalam prompt dapat menyebabkan biaya tinggi, waktu respons lebih lambat, dan mencapai batas jendela konteks. Dalam skenario ini, menerapkan teknik Retrieval Augmented Generation (RAG) dapat secara signifikan meningkatkan kinerja dan efisiensi.

Dengan menggunakan model embedding seperti Voyage untuk mengubah informasi menjadi representasi vektor, Anda dapat membuat sistem yang lebih skalabel dan responsif. Pendekatan ini memungkinkan pengambilan dinamis informasi yang relevan berdasarkan kueri saat ini, daripada menyertakan semua konteks yang mungkin dalam setiap prompt.

Menerapkan RAG untuk kasus penggunaan dukungan resep RAG telah terbukti meningkatkan akurasi, mengurangi waktu respons, dan mengurangi biaya API dalam sistem dengan persyaratan konteks yang luas.

​

Integrasikan data real-time dengan penggunaan alat

Ketika berurusan dengan kueri yang memerlukan informasi real-time, seperti saldo akun atau detail kebijakan, pendekatan RAG berbasis embedding tidak cukup. Sebagai gantinya, Anda dapat memanfaatkan penggunaan alat untuk secara signifikan meningkatkan kemampuan chatbot Anda untuk memberikan respons yang akurat dan real-time. Misalnya, Anda dapat menggunakan penggunaan alat untuk mencari informasi pelanggan, mengambil detail pesanan, dan membatalkan pesanan atas nama pelanggan.

Pendekatan ini, diuraikan dalam resep penggunaan alat kami: agen layanan pelanggan, memungkinkan Anda untuk mulus mengintegrasikan data langsung ke dalam respons Claude Anda dan memberikan pengalaman pelanggan yang lebih personal dan efisien.

​

Perkuat pagar pembatas input dan output

Ketika men-deploy chatbot, terutama dalam skenario layanan pelanggan, penting untuk mencegah risiko yang terkait dengan penyalahgunaan, kueri di luar cakupan, dan respons yang tidak pantas. Meskipun Claude secara inheren tangguh terhadap skenario seperti itu, berikut adalah langkah-langkah tambahan untuk memperkuat pagar pembatas chatbot Anda:

• Kurangi halusinasi: Terapkan mekanisme pemeriksaan fakta dan kutipan untuk mendasarkan respons pada informasi yang diberikan.
• Periksa silang informasi: Verifikasi bahwa respons agen selaras dengan kebijakan perusahaan Anda dan fakta yang diketahui.
• Hindari komitmen kontraktual: Pastikan agen tidak membuat janji atau masuk ke dalam perjanjian yang tidak diizinkan untuk dibuatnya.
• Mitigasi jailbreak: Gunakan metode seperti layar keamanan dan validasi input untuk mencegah pengguna mengeksploitasi kerentanan model, yang bertujuan untuk menghasilkan konten yang tidak pantas.
• Hindari menyebutkan pesaing: Terapkan filter penyebutan pesaing untuk mempertahankan fokus merek dan tidak menyebutkan produk atau layanan pesaing.
• Jaga Claude tetap dalam karakter: Cegah Claude mengubah gaya konteksnya, bahkan selama interaksi yang panjang dan kompleks.
• Hapus Informasi Pribadi yang Dapat Diidentifikasi (PII): Kecuali secara eksplisit diperlukan dan diizinkan, hapus PII apa pun dari respons.

​

Kurangi waktu respons yang dirasakan dengan streaming

Ketika berurusan dengan respons yang berpotensi panjang, menerapkan streaming dapat secara signifikan meningkatkan keterlibatan dan kepuasan pengguna. Dalam skenario ini, pengguna menerima jawaban secara progresif alih-alih menunggu seluruh respons dihasilkan.

Berikut cara menerapkan streaming:

1. Gunakan Anthropic Streaming API untuk mendukung respons streaming.
2. Siapkan frontend Anda untuk menangani potongan teks yang masuk.
3. Tampilkan setiap potongan saat tiba, mensimulasikan pengetikan real-time.
4. Terapkan mekanisme untuk menyimpan respons lengkap, memungkinkan pengguna untuk melihatnya jika mereka menavigasi pergi dan kembali.

Dalam beberapa kasus, streaming memungkinkan penggunaan model yang lebih canggih dengan latensi dasar yang lebih tinggi, karena tampilan progresif mengurangi dampak waktu pemrosesan yang lebih lama.

​

Skalakan Chatbot Anda

Seiring dengan bertambahnya kompleksitas Chatbot Anda, arsitektur aplikasi Anda dapat berkembang untuk menyesuaikan. Sebelum Anda menambahkan lapisan lebih lanjut ke arsitektur Anda, pertimbangkan opsi yang kurang menyeluruh berikut:

• Pastikan bahwa Anda memanfaatkan prompt Anda semaksimal mungkin dan mengoptimalkan melalui rekayasa prompt. Gunakan panduan rekayasa prompt kami untuk menulis prompt yang paling efektif.
• Tambahkan alat tambahan ke prompt (yang dapat mencakup rantai prompt) dan lihat apakah Anda dapat mencapai fungsionalitas yang diperlukan.

Jika Chatbot Anda menangani tugas yang sangat bervariasi, Anda mungkin ingin mempertimbangkan untuk menambahkan pengklasifikasi maksud terpisah untuk mengarahkan kueri pelanggan awal. Untuk aplikasi yang ada, ini akan melibatkan pembuatan pohon keputusan yang akan mengarahkan kueri pelanggan melalui pengklasifikasi dan kemudian ke percakapan khusus (dengan set alat dan prompt sistem mereka sendiri). Perhatikan, metode ini memerlukan panggilan tambahan ke Claude yang dapat meningkatkan latensi.

​

Integrasikan Claude ke dalam alur kerja dukungan Anda

Sementara contoh kami telah berfokus pada fungsi Python yang dapat dipanggil dalam lingkungan Streamlit, men-deploy Claude untuk chatbot dukungan real-time memerlukan layanan API.

Berikut cara Anda dapat mendekati ini:

1. Buat wrapper API: Kembangkan wrapper API sederhana di sekitar fungsi klasifikasi Anda. Misalnya, Anda dapat menggunakan Flask API atau Fast API untuk membungkus kode Anda menjadi Layanan HTTP. Layanan HTTP Anda dapat menerima input pengguna dan mengembalikan respons Asisten secara keseluruhan. Dengan demikian, layanan Anda dapat memiliki karakteristik berikut:

   • Server-Sent Events (SSE): SSE memungkinkan streaming respons real-time dari server ke klien. Ini penting untuk memberikan pengalaman yang lancar dan interaktif saat bekerja dengan LLM.
   • Caching: Menerapkan caching dapat secara signifikan meningkatkan waktu respons dan mengurangi panggilan API yang tidak perlu.
   • Retensi konteks: Mempertahankan konteks ketika pengguna menavigasi pergi dan kembali penting untuk kontinuitas dalam percakapan.

2. Bangun antarmuka web: Implementasikan UI web yang ramah pengguna untuk berinteraksi dengan agen yang didukung Claude.