At AWS re: Invent Năm 2023, chúng tôi đã công bố tính khả dụng rộng rãi của Cơ sở kiến ​​thức về Amazon Bedrock. Với cơ sở tri thức, bạn có thể kết nối các mô hình nền tảng (FM) một cách an toàn trong nền tảng Amazon vào dữ liệu công ty của bạn để có được Thế hệ tăng cường truy xuất (RAG) được quản lý hoàn toàn.

Trong một trước bài, chúng tôi đã mô tả cách Cơ sở Kiến thức dành cho Amazon Bedrock quản lý quy trình làm việc RAG toàn diện cho bạn và chia sẻ thông tin chi tiết về một số lần ra mắt tính năng gần đây.

Đối với các ứng dụng dựa trên RAG, độ chính xác của phản hồi được tạo từ các mô hình ngôn ngữ lớn (LLM) phụ thuộc vào ngữ cảnh được cung cấp cho mô hình. Bối cảnh được lấy từ cơ sở dữ liệu vector dựa trên truy vấn của người dùng. Tìm kiếm ngữ nghĩa được sử dụng rộng rãi vì nó có thể hiểu được nhiều câu hỏi giống con người hơn—truy vấn của người dùng không phải lúc nào cũng liên quan trực tiếp đến các từ khóa chính xác trong nội dung trả lời nó. Tìm kiếm ngữ nghĩa giúp đưa ra câu trả lời dựa trên ý nghĩa của văn bản. Tuy nhiên, nó có những hạn chế trong việc nắm bắt tất cả các từ khóa có liên quan. Hiệu suất của nó phụ thuộc vào chất lượng của các từ nhúng được sử dụng để thể hiện ý nghĩa của văn bản. Để khắc phục những hạn chế đó, việc kết hợp tìm kiếm ngữ nghĩa với tìm kiếm từ khóa (hybrid) sẽ cho kết quả tốt hơn.

Trong bài đăng này, chúng tôi thảo luận về tính năng mới của tìm kiếm kết hợp mà bạn có thể chọn làm tùy chọn truy vấn cùng với tìm kiếm ngữ nghĩa.

Tổng quan về tìm kiếm kết hợp

Tìm kiếm kết hợp tận dụng điểm mạnh của nhiều thuật toán tìm kiếm, tích hợp các khả năng độc đáo của chúng để nâng cao mức độ liên quan của kết quả tìm kiếm trả về. Đối với các ứng dụng dựa trên RAG, khả năng tìm kiếm ngữ nghĩa thường được kết hợp với tìm kiếm dựa trên từ khóa truyền thống để cải thiện mức độ liên quan của kết quả tìm kiếm. Nó cho phép tìm kiếm cả nội dung của tài liệu và ý nghĩa cơ bản của chúng. Ví dụ: hãy xem xét truy vấn sau:

What is the cost of the book "<book_name>" on <website_name>?

Trong truy vấn tên sách và tên trang web này, tìm kiếm từ khóa sẽ cho kết quả tốt hơn vì chúng tôi muốn giá của cuốn sách cụ thể. Tuy nhiên, thuật ngữ “chi phí” có thể có các từ đồng nghĩa như “giá cả”, vì vậy sẽ tốt hơn nếu sử dụng tìm kiếm ngữ nghĩa để hiểu ý nghĩa của văn bản. Tìm kiếm kết hợp mang lại ưu điểm tốt nhất của cả hai phương pháp: độ chính xác của tìm kiếm ngữ nghĩa và phạm vi bao phủ của từ khóa. Nó hoạt động hiệu quả cho các ứng dụng dựa trên RAG trong đó trình truy xuất phải xử lý nhiều loại truy vấn ngôn ngữ tự nhiên. Các từ khóa giúp bao gồm các thực thể cụ thể trong truy vấn như tên sản phẩm, màu sắc và giá cả, trong khi ngữ nghĩa hiểu rõ hơn ý nghĩa và mục đích trong truy vấn. Ví dụ: nếu bạn muốn xây dựng một chatbot cho trang web thương mại điện tử để xử lý các truy vấn của khách hàng như chính sách hoàn trả hoặc thông tin chi tiết về sản phẩm thì sử dụng tìm kiếm kết hợp sẽ phù hợp nhất.

Các trường hợp sử dụng cho tìm kiếm kết hợp

Sau đây là một số trường hợp sử dụng phổ biến cho tìm kiếm kết hợp:

• Trả lời câu hỏi tên miền mở – Điều này liên quan đến việc trả lời các câu hỏi về nhiều chủ đề khác nhau. Điều này đòi hỏi phải tìm kiếm trên các bộ sưu tập tài liệu lớn với nội dung đa dạng, chẳng hạn như dữ liệu trang web, có thể bao gồm nhiều chủ đề khác nhau như tính bền vững, khả năng lãnh đạo, kết quả tài chính, v.v. Chỉ tìm kiếm ngữ nghĩa không thể tổng quát hóa tốt nhiệm vụ này vì nó thiếu khả năng khớp từ vựng của các thực thể không nhìn thấy, điều này rất quan trọng để xử lý các ví dụ ngoài miền. Do đó, việc kết hợp tìm kiếm dựa trên từ khóa với tìm kiếm ngữ nghĩa có thể giúp thu hẹp phạm vi và mang lại kết quả tốt hơn cho việc trả lời câu hỏi tên miền mở.
• Chatbot dựa trên ngữ cảnh – Cuộc trò chuyện có thể nhanh chóng thay đổi hướng và đề cập đến những chủ đề không thể đoán trước. Tìm kiếm kết hợp có thể xử lý tốt hơn các hộp thoại mở như vậy.
• Tìm kiếm cá nhân – Tìm kiếm trên quy mô web trên nội dung không đồng nhất được hưởng lợi từ cách tiếp cận kết hợp. Tìm kiếm ngữ nghĩa xử lý các truy vấn head phổ biến, trong khi từ khóa bao gồm các truy vấn đuôi dài hiếm gặp.

Mặc dù tìm kiếm kết hợp cung cấp phạm vi bao phủ rộng hơn bằng cách kết hợp hai cách tiếp cận, nhưng tìm kiếm ngữ nghĩa có lợi thế về độ chính xác khi miền hẹp và ngữ nghĩa được xác định rõ ràng hoặc khi có ít khả năng diễn giải sai, như hệ thống trả lời câu hỏi thực tế.

Lợi ích của tìm kiếm kết hợp

Cả tìm kiếm từ khóa và ngữ nghĩa sẽ trả về một tập hợp kết quả riêng biệt cùng với điểm liên quan của chúng, sau đó được kết hợp để trả về kết quả phù hợp nhất. Cơ sở Kiến thức về Amazon Bedrock hiện hỗ trợ bốn cửa hàng vectơ: Amazon OpenSearch Serverless, Phiên bản tương thích với Amazon Aurora PostgreSQL, trái tùngvà Đám mây doanh nghiệp Redis. Tại thời điểm viết bài này, tính năng tìm kiếm kết hợp đã có sẵn cho OpenSearch Serverless và sắp có hỗ trợ cho các cửa hàng vectơ khác.

Sau đây là một số lợi ích của việc sử dụng tìm kiếm kết hợp:

• Cải thiện độ chính xác – Độ chính xác của phản hồi được tạo từ FM phụ thuộc trực tiếp vào mức độ liên quan của kết quả được truy xuất. Dựa trên dữ liệu của bạn, việc cải thiện độ chính xác của ứng dụng chỉ bằng cách sử dụng tìm kiếm ngữ nghĩa có thể là một thách thức. Lợi ích chính của việc sử dụng tìm kiếm kết hợp là cải thiện chất lượng kết quả được truy xuất, từ đó giúp FM tạo ra các câu trả lời chính xác hơn.
• Khả năng tìm kiếm mở rộng – Tìm kiếm từ khóa tạo ra một mạng lưới rộng hơn và tìm thấy các tài liệu có thể liên quan nhưng có thể không chứa cấu trúc ngữ nghĩa trong toàn bộ tài liệu. Nó cho phép bạn tìm kiếm theo từ khóa cũng như ngữ nghĩa của văn bản, từ đó mở rộng khả năng tìm kiếm.

Trong các phần sau, chúng tôi sẽ trình bày cách sử dụng tìm kiếm kết hợp với Cơ sở kiến ​​thức cho Amazon Bedrock.

Sử dụng các tùy chọn tìm kiếm kết hợp và tìm kiếm ngữ nghĩa thông qua SDK

Khi bạn gọi API Truy xuất, Cơ sở Kiến thức dành cho Amazon Bedrock sẽ chọn chiến lược tìm kiếm phù hợp với bạn để mang lại cho bạn kết quả phù hợp nhất. Bạn có tùy chọn ghi đè nó để sử dụng tìm kiếm kết hợp hoặc tìm kiếm ngữ nghĩa trong API.

Truy xuất API

API Truy xuất được thiết kế để tìm nạp các kết quả tìm kiếm có liên quan bằng cách cung cấp truy vấn người dùng, ID cơ sở kiến ​​thức và số lượng kết quả mà bạn muốn API trả về. API này chuyển đổi truy vấn của người dùng thành nội dung nhúng, tìm kiếm cơ sở kiến ​​thức bằng cách sử dụng tìm kiếm kết hợp hoặc tìm kiếm ngữ nghĩa (vectơ) và trả về kết quả có liên quan, mang lại cho bạn nhiều quyền kiểm soát hơn để xây dựng quy trình công việc tùy chỉnh trên đầu kết quả tìm kiếm. Ví dụ: bạn có thể thêm logic xử lý hậu kỳ vào kết quả được truy xuất hoặc thêm lời nhắc của riêng bạn và kết nối với bất kỳ FM nào do Amazon Bedrock cung cấp để tạo câu trả lời.

Để cho bạn thấy một ví dụ về chuyển đổi giữa các tùy chọn tìm kiếm kết hợp và ngữ nghĩa (vectơ), chúng tôi đã tạo một cơ sở kiến ​​thức bằng cách sử dụng Tài liệu Amazon 10K cho năm 2023. Để biết thêm chi tiết về cách tạo cơ sở kiến ​​thức, hãy tham khảo Xây dựng ứng dụng chatbot theo ngữ cảnh bằng Cơ sở kiến ​​thức cho Amazon Bedrock.

Để chứng minh giá trị của tìm kiếm kết hợp, chúng tôi sử dụng truy vấn sau:

As of December 31st 2023, what is the leased square footage for physical stores in North America?

Câu trả lời cho truy vấn trước đó liên quan đến một vài từ khóa, chẳng hạn như date, physical storesvà North America. Câu trả lời đúng là 22,871 thousand square feet. Hãy quan sát sự khác biệt trong kết quả tìm kiếm cho cả tìm kiếm kết hợp và tìm kiếm ngữ nghĩa.

Đoạn mã sau đây cho biết cách sử dụng tìm kiếm kết hợp hoặc ngữ nghĩa (vectơ) bằng API Truy xuất với Boto3:

import boto3

bedrock_agent_runtime = boto3.client(
    service_name = "bedrock-agent-runtime"
)

def retrieve(query, kbId, numberOfResults=5):
    return bedrock_agent_runtime.retrieve(
        retrievalQuery= {
            'text': query
        },
        knowledgeBaseId=kbId,
        retrievalConfiguration= {
            'vectorSearchConfiguration': {
                'numberOfResults': numberOfResults,
                'overrideSearchType': "HYBRID/SEMANTIC", # optional
            }
        }
    )
response = retrieve("As of December 31st 2023, what is the leased square footage for physical stores in North America?", "<knowledge base id>")["retrievalResults"]

Sản phẩm overrideSearchType tùy chọn trong retrievalConfiguration cung cấp sự lựa chọn để sử dụng một trong hai HYBRID or SEMANTIC. Theo mặc định, nó sẽ chọn chiến lược phù hợp để cung cấp cho bạn kết quả phù hợp nhất và nếu bạn muốn ghi đè tùy chọn mặc định để sử dụng tìm kiếm kết hợp hoặc ngữ nghĩa, bạn có thể đặt giá trị thành HYBRID/SEMANTIC. Đầu ra của Retrieve API bao gồm các đoạn văn bản được truy xuất, loại vị trí và URI của dữ liệu nguồn cũng như điểm liên quan của các lần truy xuất. Điểm số giúp xác định phần nào phù hợp nhất với phản hồi của truy vấn.

Sau đây là kết quả cho truy vấn trước sử dụng tìm kiếm kết hợp (với một số kết quả đầu ra được biên tập lại để ngắn gọn):

[
  {
    "content": {
      "text": "... Description of Use Leased Square Footage (1).... Physical stores (2) 22,871  ..."
    },
    "location": {
      "type": "S3",
      "s3Location": {
        "uri": "s3://<bucket_name>/amazon-10k-2023.pdf"
      }
    },
    "score": 0.6389407
  },
  {
    "content": {
      "text": "Property and equipment, net by segment is as follows (in millions): December 31, 2021 2022 2023 North America $ 83,640 $ 90,076 $ 93,632 International 21,718 23,347 24,357 AWS 43,245 60,324 72,701 Corporate 1.."
    },
    "location": {
      "type": "S3",
      "s3Location": {
        "uri": "s3://<bucket_name>/amazon-10k-2023.pdf"
      }
    },
    "score": 0.6389407
  },
  {
    "content": {
      "text": "..amortization of property and equipment acquired under finance leases of $9.9 billion, $6.1 billion, and $5.9 billion for 2021, 2022, and 2023. 54 Table of Contents Note 4 — LEASES We have entered into non-cancellable operating and finance leases for fulfillment network, data center, office, and physical store facilities as well as server and networking equipment, aircraft, and vehicles. Gross assets acquired under finance leases, ..."
    },
    "location": {
      "type": "S3",
      "s3Location": {
        "uri": "s3://<bucket_name>/amazon-10k-2023.pdf"
      }
    },
    "score": 0.61908984
  }
]

Sau đây là kết quả tìm kiếm ngữ nghĩa (với một số kết quả đầu ra được sắp xếp lại để ngắn gọn):

[
  {
    "content": {
      "text": "Property and equipment, net by segment is as follows (in millions):    December 31,    2021 2022 2023   North America $ 83,640 $ 90,076 $ 93,632  International 21,718 23,347 24,357  AWS 43,245 60,324 72,701.."
    },
    "location": {
      "type": "S3",
      "s3Location": {
        "uri": "s3://<bucket_name>/amazon-10k-2023.pdf"
      }
    },
    "score": 0.6389407
  },
  {
    "content": {
      "text": "Depreciation and amortization expense on property and equipment was $22.9 billion, $24.9 billion, and $30.2 billion which includes amortization of property and equipment acquired under finance leases of $9.9 billion, $6.1 billion, and $5.9 billion for 2021, 2022, and 2023.   54        Table of Contents   Note 4 — LEASES We have entered into non-cancellable operating and finance leases for fulfillment network, data center, office, and physical store facilities as well a..."
    },
    "location": {
      "type": "S3",
      "s3Location": {
        "uri": "s3://<bucket_name>/amazon-10k-2023.pdf"
      }
    },
    "score": 0.61908984
  },
  {
    "content": {
      "text": "Incentives that we receive from property and equipment   vendors are recorded as a reduction to our costs. Property includes buildings and land that we own, along with property we have acquired under build-to-suit lease arrangements when we have control over the building during the construction period and finance lease arrangements..."
    },
    "location": {
      "type": "S3",
      "s3Location": {
        "uri": "s3://<bucket_name>/amazon-10k-2023.pdf"
      }
    },
    "score": 0.61353767
  }
]

Như bạn có thể thấy trong kết quả, tìm kiếm kết hợp có thể truy xuất kết quả tìm kiếm với diện tích thuê cho các cửa hàng thực tế ở Bắc Mỹ như được đề cập trong truy vấn của người dùng. Lý do chính là tìm kiếm kết hợp có thể kết hợp các kết quả từ các từ khóa như date, physical storesvà North America trong truy vấn, trong khi tìm kiếm ngữ nghĩa thì không. Do đó, khi kết quả tìm kiếm được tăng cường bằng truy vấn và lời nhắc của người dùng, FM sẽ không thể cung cấp phản hồi chính xác trong trường hợp tìm kiếm ngữ nghĩa.

Bây giờ hãy nhìn vào RetrieveAndGenerate API với tìm kiếm kết hợp để hiểu phản hồi cuối cùng do FM tạo ra.

API truy xuất và tạo

Sản phẩm RetrieveAndGenerate API truy vấn cơ sở kiến ​​thức và tạo phản hồi dựa trên kết quả được truy xuất. Bạn chỉ định ID cơ sở kiến ​​thức cũng như FM để tạo phản hồi từ kết quả. Amazon Bedrock chuyển đổi truy vấn thành nội dung nhúng, truy vấn cơ sở kiến ​​thức dựa trên loại tìm kiếm, sau đó bổ sung lời nhắc FM bằng kết quả tìm kiếm dưới dạng thông tin ngữ cảnh và trả về phản hồi do FM tạo ra.

Hãy sử dụng truy vấn “Tính đến ngày 31 tháng 2023 năm XNUMX, diện tích thuê cho các cửa hàng thực tế ở Bắc Mỹ là bao nhiêu?” và hỏi RetrieveAndGenerate API để tạo phản hồi bằng truy vấn của chúng tôi:

def retrieveAndGenerate(input, kbId):
    return bedrock_agent_runtime.retrieve_and_generate(
        input={
            'text': input
        },
        retrieveAndGenerateConfiguration={
            'type': 'KNOWLEDGE_BASE',
            'knowledgeBaseConfiguration': {
                'knowledgeBaseId': kbId,
                'modelArn': 'arn:aws:bedrock:us-east-1::foundation-model/anthropic.claude-instant-v1'
                'retrievalConfiguration': {
                'overrideSearchType': 'HYBRID/SEMANTIC',
                }
                }
            }
        )
response = retrieveAndGenerate("As of December 31st 2023, what is the leased square footage for physical stores in North America?", "<knowledge base id>")["output"]["text"]

Sau đây là kết quả sử dụng tìm kiếm kết hợp:

22,871 thousand leased square feet

Sau đây là kết quả sử dụng tìm kiếm ngữ nghĩa:

The search results do not contain any information about the leased square footage for physical stores in North America for 2023.

Câu trả lời thực tế cho truy vấn là 22,871 thousand leased square feet, được tạo ra bởi tìm kiếm kết hợp. Kết quả tìm kiếm được truy xuất cho tìm kiếm kết hợp bao gồm thông tin về diện tích thuê cho các cửa hàng thực tế ở Bắc Mỹ, trong khi tìm kiếm ngữ nghĩa không thể lấy thông tin chính xác từ cửa hàng vectơ do dịch thuật nhúng. Do đó, FM không thể cung cấp phản hồi chính xác vì nó không có kết quả tìm kiếm chính xác và phù hợp nhất.

Tuy nhiên, đối với những câu hỏi chung chung hơn không liên quan đến các thực thể như physical stores or North America, cả tìm kiếm kết hợp và ngữ nghĩa đều cho kết quả tương tự.

Sau đây là các câu trả lời mẫu từ một số truy vấn thể hiện các trường hợp khi cả tìm kiếm kết hợp và tìm kiếm ngữ nghĩa đều mang lại kết quả tương tự.

Sử dụng các tùy chọn tìm kiếm kết hợp và tìm kiếm ngữ nghĩa thông qua bảng điều khiển Amazon Bedrock

Để sử dụng các tùy chọn tìm kiếm kết hợp và ngữ nghĩa trên bảng điều khiển Amazon Bedrock, hãy hoàn thành các bước sau:

1. Trên bảng điều khiển Amazon Bedrock, chọn Kiến thức cơ bản trong khung điều hướng.
2. Chọn cơ sở kiến ​​thức bạn đã tạo.
3. Chọn Kiểm tra cơ sở kiến ​​thức.
4. Chọn biểu tượng cấu hình.
   
5. Trong Loại tìm kiếmlựa chọn Tìm kiếm kết hợp (ngữ nghĩa & văn bản).
   

Theo mặc định, bạn có thể chọn FM để nhận phản hồi được tạo cho truy vấn của mình. Nếu bạn chỉ muốn xem kết quả được truy xuất, bạn có thể chuyển đổi Tạo phản hồi tắt để chỉ nhận được kết quả được truy xuất.

Kết luận

Trong bài đăng này, chúng tôi đã đề cập đến tính năng truy vấn mới trong Cơ sở kiến ​​thức dành cho Amazon Bedrock, tính năng này cho phép tìm kiếm kết hợp. Chúng tôi đã tìm hiểu cách định cấu hình tùy chọn tìm kiếm kết hợp trong SDK và bảng điều khiển Amazon Bedrock. Điều này giúp khắc phục một số hạn chế của việc chỉ dựa vào tìm kiếm ngữ nghĩa, đặc biệt là tìm kiếm trên các bộ sưu tập tài liệu lớn với nội dung đa dạng. Việc sử dụng tìm kiếm kết hợp tùy thuộc vào loại tài liệu và trường hợp sử dụng mà bạn đang cố triển khai.

Để biết thêm tài nguyên, hãy tham khảo các tài liệu sau:

dự án

Cải thiện hiệu suất truy xuất trong đường ống RAG với tìm kiếm kết hợp

Về các tác giả

Mani Khanuja là Trưởng nhóm công nghệ – Chuyên gia AI sáng tạo, tác giả cuốn sách Học máy ứng dụng và Điện toán hiệu suất cao trên AWS, đồng thời là thành viên Ban Giám đốc dành cho Phụ nữ trong Ban Tổ chức Giáo dục Sản xuất. Cô lãnh đạo các dự án học máy trong nhiều lĩnh vực khác nhau như thị giác máy tính, xử lý ngôn ngữ tự nhiên và AI tổng hợp. Cô phát biểu tại các hội nghị nội bộ và bên ngoài như AWS re:Invent, Women in Manufacturing West, hội thảo trực tuyến trên YouTube và GHC 23. Khi rảnh rỗi, cô thích chạy bộ dài dọc bãi biển.

Pallavi Nargund là Kiến trúc sư giải pháp chính tại AWS. Với vai trò là người hỗ trợ công nghệ đám mây, cô làm việc với khách hàng để hiểu mục tiêu và thách thức của họ, đồng thời đưa ra hướng dẫn mang tính quy định để họ đạt được mục tiêu bằng các dịch vụ AWS. Cô đam mê phụ nữ trong lĩnh vực công nghệ và là thành viên cốt lõi của Women in AI/ML tại Amazon. Cô phát biểu tại các hội nghị nội bộ và bên ngoài như AWS re:Invent, Hội nghị thượng đỉnh AWS và hội thảo trên web. Ngoài công việc, cô thích hoạt động tình nguyện, làm vườn, đạp xe và đi bộ đường dài.

• Phân phối nội dung và PR được hỗ trợ bởi SEO. Được khuếch đại ngay hôm nay.
• PlatoData.Network Vertical Generative Ai. Trao quyền cho chính mình. Truy cập Tại đây.
• PlatoAiStream. Thông minh Web3. Kiến thức khuếch đại. Truy cập Tại đây.
• Trung tâmESG. Than đá, công nghệ sạch, Năng lượng, Môi trường Hệ mặt trời, Quản lý chất thải. Truy cập Tại đây.
• PlatoSức khỏe. Tình báo thử nghiệm lâm sàng và công nghệ sinh học. Truy cập Tại đây.
• nguồn: https://aws.amazon.com/blogs/machine-learning/knowledge-bases-for-amazon-bedrock-now-supports-hybrid-search/