Năm 2023 là một năm bận rộn đối với Dịch vụ Tìm kiếm Mở của Amazon! Tìm hiểu thêm về các bản phát hành mà Dịch vụ OpenSearch đã phát hành trong nửa đầu 2023.

Vào nửa cuối năm 2023, Dịch vụ OpenSearch đã bổ sung hỗ trợ cho hai tính năng mới Tìm kiếm mở phiên bản: 2.9 và 2.11 Hai phiên bản này giới thiệu các tính năng mới trong không gian tìm kiếm, không gian tìm kiếm máy học (ML), di chuyển và khía cạnh vận hành của dịch vụ.

Với việc phát hành tích hợp zero-ETL với Dịch vụ lưu trữ đơn giản của Amazon (Amazon S3), bạn có thể phân tích dữ liệu trong kho dữ liệu của mình bằng Dịch vụ OpenSearch để xây dựng bảng thông tin và truy vấn dữ liệu mà không cần phải di chuyển dữ liệu từ Amazon S3.

Dịch vụ OpenSearch cũng đã công bố tích hợp zero-ETL mới với Máy phát điện Amazon thông qua plugin DynamoDB cho Nhập liệu Amazon OpenSearch. OpenSearch Ingestion đảm nhiệm việc khởi động và liên tục truyền dữ liệu từ nguồn DynamoDB của bạn.

OpenSearch Serverless đã công bố tính khả dụng rộng rãi của Công cụ Vector cho Amazon OpenSearch Serverless cùng với các tính năng khác để nâng cao trải nghiệm của bạn với các bộ sưu tập chuỗi thời gian, quản lý chi phí cho môi trường phát triển và nhanh chóng mở rộng quy mô tài nguyên để phù hợp với nhu cầu khối lượng công việc của bạn.

Trong bài đăng này, chúng tôi thảo luận về các bản phát hành mới trong Dịch vụ OpenSearch để hỗ trợ doanh nghiệp của bạn về khả năng tìm kiếm, khả năng quan sát, phân tích bảo mật và di chuyển.

Xây dựng các giải pháp tiết kiệm chi phí với Dịch vụ OpenSearch

Với tích hợp zero-ETL cho Amazon S3, Dịch vụ OpenSearch giờ đây cho phép bạn truy vấn dữ liệu của mình tại chỗ, tiết kiệm chi phí lưu trữ. Di chuyển dữ liệu là một hoạt động tốn kém vì bạn cần sao chép dữ liệu trên các kho dữ liệu khác nhau. Điều này làm tăng dung lượng dữ liệu của bạn và tăng chi phí. Việc di chuyển dữ liệu cũng bổ sung thêm chi phí quản lý quy trình để di chuyển dữ liệu từ một nguồn đến đích mới.

Dịch vụ OpenSearch cũng đã thêm các loại phiên bản mới cho nút dữ liệu—Im4gn và OR1—để giúp bạn tối ưu hóa hơn nữa chi phí cơ sở hạ tầng của mình. Với ổ đĩa thể rắn (SSD) bộ nhớ cố định (NVMe) tối đa 30 TB, phiên bản Im4gn cung cấp dung lượng lưu trữ dày đặc và hiệu năng tốt hơn. Phiên bản OR1 sử dụng tính năng sao chép phân đoạn và lưu trữ được hỗ trợ từ xa để tăng đáng kể thông lượng cho khối lượng công việc nặng về lập chỉ mục.

Zero-ETL từ DynamoDB đến Dịch vụ OpenSearch

Vào tháng 2023 năm XNUMX, DynamoDB và OpenSearch Ingestion đã giới thiệu tính năng tích hợp không ETL cho Dịch vụ OpenSearch. Các miền Dịch vụ OpenSearch và bộ sưu tập OpenSearch Serverless cung cấp khả năng tìm kiếm nâng cao, chẳng hạn như tìm kiếm toàn văn bản và tìm kiếm vectơ, trên dữ liệu DynamoDB của bạn. Với một vài cú nhấp chuột vào Bảng điều khiển quản lý AWS, giờ đây bạn có thể tải và đồng bộ hóa dữ liệu của mình từ DynamoDB sang Dịch vụ OpenSearch một cách liền mạch, loại bỏ nhu cầu viết mã tùy chỉnh để trích xuất, chuyển đổi và tải dữ liệu.

Truy vấn trực tiếp (không có ETL cho dữ liệu Amazon S3, ở dạng xem trước)

Dịch vụ OpenSearch đã công bố một cách mới để bạn truy vấn nhật ký vận hành trong các hồ dữ liệu dựa trên Amazon S3 và S3 mà không cần phải chuyển đổi giữa các công cụ để phân tích dữ liệu vận hành. Trước đây, bạn phải sao chép dữ liệu từ Amazon S3 sang Dịch vụ OpenSearch để tận dụng các tính năng trực quan và phân tích phong phú của OpenSearch nhằm hiểu dữ liệu của bạn, xác định các điểm bất thường và phát hiện các mối đe dọa tiềm ẩn.

Tuy nhiên, việc sao chép dữ liệu liên tục giữa các dịch vụ có thể tốn kém và đòi hỏi công việc vận hành. Với tính năng truy vấn trực tiếp của Dịch vụ OpenSearch, bạn có thể truy cập dữ liệu nhật ký hoạt động được lưu trữ trong Amazon S3 mà không cần phải di chuyển dữ liệu đó. Giờ đây, bạn có thể thực hiện các truy vấn và trực quan hóa phức tạp trên dữ liệu của mình mà không cần bất kỳ chuyển động dữ liệu nào.

Hỗ trợ Im4gn với Dịch vụ OpenSearch

Phiên bản Im4gn được tối ưu hóa cho khối lượng công việc quản lý tập dữ liệu lớn và cần mật độ lưu trữ cao trên mỗi vCPU. Phiên bản Im4gn có kích thước từ lớn đến 16xlarge, với kích thước ổ đĩa SSD NVMe lên tới 30 TB. Phiên bản Im4g được xây dựng trên Hệ thống AWS Nitro SSD cung cấp khả năng truy cập đĩa thông lượng cao, độ trễ thấp để có hiệu suất tốt nhất. Phiên bản Im4gn của Dịch vụ OpenSearch hỗ trợ tất cả các phiên bản OpenSearch và phiên bản Elaticsearch 7.9 trở lên. Để biết thêm chi tiết, hãy tham khảo Các loại phiên bản được hỗ trợ trong Amazon OpenSearch Service.

Giới thiệu OR1, dòng Phiên bản được tối ưu hóa cho OpenSearch để lập chỉ mục khối lượng công việc nặng

Vào tháng 2023 năm XNUMX, Dịch vụ OpenSearch đã ra mắt OR1, dòng Phiên bản được tối ưu hóa cho OpenSearch, mang lại sự cải thiện về giá-hiệu suất lên tới 30% so với các phiên bản hiện có trong điểm chuẩn nội bộ và sử dụng Amazon S3 để mang lại độ bền 11 giây. Miền có phiên bản OR9 sử dụng Cửa hàng đàn hồi Amazon (Amazon EBS) dành cho bộ lưu trữ chính, với dữ liệu được sao chép đồng bộ sang Amazon S3 khi nó đến. Các phiên bản OR1 sử dụng OpenSearch tính năng sao chép phân đoạn để cho phép các phân đoạn bản sao đọc dữ liệu trực tiếp từ Amazon S3, tránh chi phí tài nguyên khi lập chỉ mục ở cả phân đoạn chính và bản sao. Dòng phiên bản OR1 cũng hỗ trợ khôi phục dữ liệu tự động trong trường hợp xảy ra lỗi. Để biết thêm thông tin về các tùy chọn loại phiên bản OR1, hãy tham khảo Các loại phiên bản thế hệ hiện tại trong Dịch vụ Tìm kiếm Mở.

Hỗ trợ doanh nghiệp của bạn với các tính năng phân tích bảo mật

Plugin Phân tích bảo mật trong Dịch vụ OpenSearch hỗ trợ ngay lập tức các loại nhật ký đóng gói sẵn và cung cấp các quy tắc phát hiện bảo mật (quy tắc SIGMA) để phát hiện các sự cố bảo mật tiềm ẩn.

Trong OpenSearch 2.9, plugin Phân tích bảo mật đã thêm hỗ trợ cho các loại nhật ký khách hàng và hỗ trợ riêng cho Khung lược đồ an ninh mạng mở (OCSF) định dạng dữ liệu. Với sự hỗ trợ mới này, bạn có thể xây dựng trình phát hiện với dữ liệu OCSF được lưu trữ trong Hồ bảo mật Amazon để phân tích các phát hiện về bảo mật và giảm thiểu mọi sự cố có thể xảy ra. Plugin Phân tích bảo mật cũng đã thêm khả năng tạo loại nhật ký tùy chỉnh của riêng bạn và tạo quy tắc phát hiện tùy chỉnh.

Xây dựng các giải pháp tìm kiếm được hỗ trợ bởi ML

Vào năm 2023, Dịch vụ OpenSearch đã đầu tư vào việc loại bỏ gánh nặng cần thiết để xây dựng các ứng dụng tìm kiếm thế hệ tiếp theo. Với các tính năng như quy trình tìm kiếm, bộ xử lý tìm kiếm và trình kết nối AI/ML, Dịch vụ OpenSearch cho phép phát triển nhanh chóng các ứng dụng tìm kiếm được hỗ trợ bởi tìm kiếm thần kinh, tìm kiếm kết hợp và kết quả được cá nhân hóa. Ngoài ra, các cải tiến đối với plugin kNN đã cải thiện khả năng lưu trữ và truy xuất dữ liệu vectơ. Các plugin tùy chọn mới ra mắt cho Dịch vụ OpenSearch cho phép tích hợp liền mạch với các trình phân tích ngôn ngữ bổ sung và Cá nhân hóa Amazon.

Tìm kiếm đường ống

Tìm kiếm đường ống cung cấp những cách mới để nâng cao truy vấn tìm kiếm và cải thiện kết quả tìm kiếm. Bạn xác định một đường dẫn tìm kiếm và sau đó gửi truy vấn của mình tới nó. Khi bạn xác định đường dẫn tìm kiếm, bạn chỉ định bộ vi xử lý giúp biến đổi và tăng cường truy vấn của bạn cũng như xếp hạng lại kết quả của bạn. Bộ xử lý truy vấn dựng sẵn bao gồm chuyển đổi ngày, tổng hợp, thao tác chuỗi và chuyển đổi kiểu dữ liệu. Bộ xử lý kết quả trong đường dẫn tìm kiếm sẽ chặn và điều chỉnh kết quả một cách nhanh chóng trước khi hiển thị sang giai đoạn tiếp theo. Cả quá trình xử lý yêu cầu và phản hồi cho đường dẫn đều được thực hiện trên nút điều phối, do đó không có quá trình xử lý ở cấp độ phân đoạn.

Các plugin tùy chọn

Dịch vụ OpenSearch cho phép bạn liên kết các ứng dụng được cài đặt sẵn plugin OpenSearch tùy chọn để sử dụng với tên miền của bạn. Gói plugin tùy chọn tương thích với một phiên bản OpenSearch cụ thể và chỉ có thể được liên kết với các miền có phiên bản đó. Các plugin có sẵn được liệt kê trên Gói trang trên bảng điều khiển Dịch vụ OpenSearch. Plugin tùy chọn bao gồm plugin Amazon Personalize, tích hợp Dịch vụ OpenSearch với Amazon Personalize và các trình phân tích ngôn ngữ mới như Nori, Sudachi, STConvert và Bính âm.

Hỗ trợ cho máy phân tích ngôn ngữ mới

Dịch vụ OpenSearch đã thêm hỗ trợ cho bốn tính năng mới plugin phân tích ngôn ngữ: Nori (tiếng Hàn), Sudachi (tiếng Nhật), bính âm (tiếng Trung) và Phân tích STConvert (tiếng Trung). Chúng có sẵn ở tất cả các Khu vực AWS dưới dạng plugin tùy chọn mà bạn có thể liên kết với các miền chạy bất kỳ phiên bản OpenSearch nào. Bạn có thể dùng Gói trên bảng điều khiển Dịch vụ OpenSearch để liên kết các plugin này với miền của bạn hoặc sử dụng API gói liên kết.

Tính năng tìm kiếm thần kinh

Tìm kiếm thần kinh thường có sẵn với Dịch vụ OpenSearch phiên bản 2.9 trở lên. Tìm kiếm thần kinh cho phép bạn tích hợp với các mô hình ML được lưu trữ từ xa bằng cách sử dụng khung phân phối mô hình. Khi bạn sử dụng truy vấn thần kinh trong quá trình tìm kiếm, tìm kiếm thần kinh sẽ chuyển đổi văn bản truy vấn thành các nội dung nhúng vectơ, sử dụng tìm kiếm vectơ để so sánh truy vấn và nội dung nhúng tài liệu, đồng thời trả về kết quả gần nhất. Trong quá trình nhập, tìm kiếm thần kinh sẽ chuyển đổi văn bản tài liệu thành dạng nhúng vectơ và lập chỉ mục cả văn bản cũng như các phần nhúng vectơ của nó trong chỉ mục vectơ.

Tích hợp với Amazon Personalize

Dịch vụ OpenSearch đã giới thiệu một plugin tùy chọn để tích hợp với Amazon Personalize trong phiên bản OpenSearch 2.9 trở lên. Plugin Dịch vụ OpenSearch dành cho Xếp hạng tìm kiếm cá nhân hóa của Amazon cho phép bạn cải thiện mức độ tương tác và chuyển đổi của người dùng cuối từ tìm kiếm trên trang web và ứng dụng của bạn bằng cách tận dụng khả năng học sâu do Amazon Personalize cung cấp. Là một plugin tùy chọn, gói tương thích với OpenSearch phiên bản 2.9 trở lênvà chỉ có thể được liên kết với các miền có phiên bản đó.

Lọc truy vấn hiệu quả với k-NN FAISS của OpenSearch

Dịch vụ OpenSearch đã giới thiệu tính năng lọc truy vấn hiệu quả với k-NN FAISS của OpenSearch trong phiên bản 2.9 trở lên. Tìm kiếm mở bộ lọc truy vấn vector hiệu quả khả năng đánh giá một cách thông minh các chiến lược lọc tối ưu—lọc trước với hàng xóm gần nhất (ANN) gần đúng hoặc lọc với hàng xóm gần nhất k chính xác (k-NN)—để xác định chiến lược tốt nhất nhằm cung cấp các truy vấn tìm kiếm vectơ chính xác và có độ trễ thấp. Trong các phiên bản OpenSearch trước đó, các truy vấn vectơ trên công cụ FAISS đã sử dụng các kỹ thuật lọc sau, cho phép các truy vấn được lọc trên quy mô lớn nhưng có khả năng trả về ít hơn số lượng kết quả “k” được yêu cầu. Bộ lọc truy vấn vector hiệu quả mang lại độ trễ thấp và kết quả chính xác, cho phép bạn sử dụng tìm kiếm kết hợp giữa các kỹ thuật vectơ và từ vựng.

Các vectơ lượng tử hóa byte trong Dịch vụ OpenSearch

Với mới vectơ lượng tử hóa byte được giới thiệu với 2.9, bạn có thể giảm yêu cầu bộ nhớ xuống 4 lần và giảm đáng kể độ trễ tìm kiếm với mức giảm tối thiểu về chất lượng (thu hồi). Với tính năng này, các số float 32 bit thông thường được sử dụng cho vectơ được lượng tử hóa hoặc chuyển đổi thành số nguyên có dấu 8 bit. Đối với nhiều ứng dụng, dữ liệu vectơ float hiện có có thể được lượng tử hóa mà không làm giảm chất lượng. So sánh điểm chuẩn, bạn sẽ thấy rằng việc sử dụng vectơ byte thay vì số float 32 bit sẽ giúp giảm đáng kể mức sử dụng bộ nhớ và bộ nhớ, đồng thời cải thiện thông lượng lập chỉ mục và giảm độ trễ truy vấn. Nội bộ điểm chuẩn cho thấy mức sử dụng bộ nhớ đã giảm tới 78% và mức sử dụng RAM giảm tới 59% (đối với tập dữ liệu găng tay-200 góc). Giá trị thu hồi cho các bộ dữ liệu góc thấp hơn so với các bộ dữ liệu Euclide.

Trình kết nối AI/ML

Hỗ trợ OpenSearch 2.9 trở lên tích hợp với các mô hình ML được lưu trữ trên các dịch vụ AWS hoặc nền tảng của bên thứ ba. Điều này cho phép quản trị viên hệ thống và nhà khoa học dữ liệu chạy khối lượng công việc ML bên ngoài miền Dịch vụ OpenSearch của họ. Trình kết nối ML đi kèm với một bộ bản thiết kế ML được hỗ trợ—các mẫu xác định tập hợp tham số bạn cần cung cấp khi gửi yêu cầu API đến một trình kết nối cụ thể. Dịch vụ OpenSearch cung cấp trình kết nối cho một số nền tảng, chẳng hạn như Amazon SageMaker, nền tảng Amazon, Trò chuyện OpenAI GPTvà Mạch lạc.

Tích hợp bảng điều khiển Dịch vụ OpenSearch

OpenSearch 2.9 trở lên đã thêm tính năng tích hợp mới trên bảng điều khiển. Tích hợp cung cấp cho bạn một Hình thành đám mây AWS mẫu để xây dựng của bạn tìm kiếm ngữ nghĩa trường hợp sử dụng bằng cách kết nối với các mô hình ML được lưu trữ trên SageMaker hoặc Amazon Bedrock. Mẫu CloudFormation tạo điểm cuối mô hình và đăng ký ID mô hình với miền Dịch vụ OpenSearch mà bạn cung cấp làm đầu vào cho mẫu.

Tìm kiếm kết hợp và chuẩn hóa phạm vi

Sản phẩm bộ xử lý chuẩn hóa và truy vấn kết hợp được xây dựng dựa trên hai tính năng được phát hành trước đó vào năm 2023—tìm kiếm thần kinh và đường ống tìm kiếm. Vì các truy vấn từ vựng và ngữ nghĩa trả về điểm liên quan ở các thang đo khác nhau nên việc tinh chỉnh các truy vấn tìm kiếm kết hợp rất khó khăn.

Dịch vụ OpenSearch 2.11 hiện hỗ trợ bộ xử lý kết hợp và chuẩn hóa cho tìm kiếm kết hợp. Giờ đây, bạn có thể thực hiện các truy vấn tìm kiếm kết hợp, kết hợp truy vấn tìm kiếm vectơ k-NN dựa trên từ vựng và ngôn ngữ tự nhiên. Dịch vụ OpenSearch cũng cho phép bạn điều chỉnh các kết quả tìm kiếm kết hợp của mình để có mức độ liên quan tối đa bằng cách sử dụng nhiều kỹ thuật chuẩn hóa và kết hợp tính điểm.

Tìm kiếm đa phương thức với Amazon Bedrock

Dịch vụ OpenSearch 2.11 ra mắt hỗ trợ tìm kiếm đa phương thức cho phép bạn tìm kiếm dữ liệu văn bản và hình ảnh bằng cách sử dụng các mô hình nhúng đa phương thức. Để tạo các phần nhúng vectơ, bạn cần tạo một đường dẫn nhập có chứa một bộ xử lý text_image_embedding, chuyển đổi các tệp nhị phân văn bản hoặc hình ảnh trong trường tài liệu thành các phần nhúng vectơ. Bạn có thể sử dụng mệnh đề truy vấn thần kinh, trong API plugin k-NN or Truy vấn DSL truy vấn, để thực hiện kết hợp tìm kiếm văn bản và hình ảnh. Bạn có thể sử dụng các tính năng tích hợp Dịch vụ OpenSearch mới để bắt đầu nhanh chóng với tìm kiếm đa phương thức.

Truy xuất thưa thớt thần kinh

Tìm kiếm thưa thớt thần kinh, một phương pháp truy xuất ngữ nghĩa hiệu quả mới, có sẵn trong Dịch vụ OpenSearch 2.11. Tìm kiếm thưa thớt thần kinh hoạt động ở hai chế độ: bộ mã hóa hai chiều và chỉ tài liệu. Với chế độ mã hóa kép, cả tài liệu và truy vấn tìm kiếm đều được chuyển qua bộ mã hóa sâu. Ở chế độ chỉ tài liệu, chỉ tài liệu mới được chuyển qua bộ mã hóa sâu, trong khi truy vấn tìm kiếm được mã hóa. Bộ mã hóa thưa thớt chỉ dành cho tài liệu tạo ra chỉ mục có kích thước bằng 10.4% kích thước của chỉ mục mã hóa dày đặc. Đối với bộ mã hóa hai chiều, kích thước chỉ mục là 7.2% kích thước của chỉ mục mã hóa dày đặc. Tìm kiếm thưa thớt thần kinh được kích hoạt bằng các mô hình mã hóa thưa thớt tạo ra các phần nhúng vectơ thưa thớt: một tập hợp <token: weight> các cặp đại diện cho mục nhập văn bản và trọng số tương ứng của nó trong vectơ thưa thớt. Để tìm hiểu thêm về các mô hình được đào tạo trước cho tìm kiếm thần kinh thưa thớt, hãy tham khảo Mô hình mã hóa thưa thớt.

Tìm kiếm thưa thớt thần kinh giúp giảm chi phí, cải thiện mức độ liên quan của tìm kiếm và có độ trễ thấp hơn. Bạn có thể sử dụng các tính năng tích hợp Dịch vụ OpenSearch mới để bắt đầu nhanh chóng với tìm kiếm thưa thớt thần kinh.

Nội dung cập nhật của OpenSearch Ingest

Nhập tìm kiếm mở là một đường dẫn nhập có quy mô tự động và được quản lý hoàn toàn, cung cấp dữ liệu của bạn đến các miền Dịch vụ OpenSearch và các bộ sưu tập OpenSearch Serverless. Kể từ khi phát hành vào năm 2023, OpenSearch Ingestion tiếp tục bổ sung các tính năng mới để giúp việc chuyển đổi và di chuyển dữ liệu của bạn từ nguồn được hỗ trợ đến các đích xuôi dòng như OpenSearch Service, OpenSearch Serverless và Amazon S3.

Các tính năng di chuyển mới trong OpenSearch Ingestion

Vào tháng 2023 năm 7, OpenSearch Ingestion đã công bố phát hành các tính năng mới để hỗ trợ di chuyển dữ liệu từ các miền Elasticsearch phiên bản XNUMX.x tự quản lý sang các phiên bản mới nhất của Dịch vụ OpenSearch.

OpenSearch Ingestion cũng hỗ trợ di chuyển dữ liệu từ các miền được quản lý bởi Dịch vụ OpenSearch đang chạy OpenSearch phiên bản 2.x sang các bộ sưu tập OpenSearch Serverless.

Tìm hiểu cách bạn có thể sử dụng tính năng Nhập OpenSearch để di chuyển dữ liệu của bạn sang Dịch vụ OpenSearch.

Cải thiện độ bền của dữ liệu bằng tính năng Nhập OpenSearch

Vào tháng 2023 năm XNUMX, OpenSearch Ingestion đã giới thiệu tính năng đệm liên tục cho các nguồn dựa trên lực đẩy như nguồn HTTP (HTTP, Fluentd, FluentBit) và bộ thu thập OpenTelemetry.

Theo mặc định, OpenSearch Ingestion sử dụng tính năng đệm trong bộ nhớ. Với tính năng đệm liên tục, OpenSearch Ingestion lưu trữ dữ liệu của bạn trong kho lưu trữ trên đĩa có độ linh hoạt cao hơn. Nếu hiện có các quy trình dẫn nhập, bạn có thể bật tính năng đệm liên tục cho các quy trình này, như minh họa trong ảnh chụp màn hình sau.

Hỗ trợ các plugin mới

Đầu năm 2023, OpenSearch Ingestion đã bổ sung hỗ trợ cho Truyền trực tuyến được quản lý của Amazon cho Apache Kafka (Amazon MSK). Việc nhập OpenSearch sử dụng Plugin Kafka để truyền dữ liệu từ Amazon MSK đến các miền được quản lý bởi OpenSearch Service hoặc bộ sưu tập OpenSearch Serverless. Để tìm hiểu thêm về cách thiết lập Amazon MSK làm nguồn dữ liệu, hãy xem Sử dụng quy trình Nhập liệu OpenSearch với Amazon Managed Streaming cho Apache Kafka.

Bản cập nhật OpenSearch Serverless

OpenSearch Serverless tiếp tục nâng cao trải nghiệm serverless của bạn với OpenSearch bằng cách giới thiệu sự hỗ trợ của một bộ sưu tập tìm kiếm vectơ loại mới để lưu trữ các nội dung nhúng và chạy tìm kiếm tương tự. OpenSearch Serverless hiện hỗ trợ mở rộng quy mô bản sao phân đoạn để xử lý các mức tăng đột biến về thông lượng truy vấn. Và nếu bạn đang sử dụng bộ sưu tập chuỗi thời gian, giờ đây bạn có thể thiết lập chính sách lưu giữ dữ liệu tùy chỉnh để phù hợp với yêu cầu lưu giữ dữ liệu của mình.

Công cụ Vector cho OpenSearch Serverless

Vào tháng 2023 năm XNUMX, chúng tôi đã ra mắt công cụ vector cho Amazon OpenSearch Serverless. Công cụ vectơ giúp dễ dàng xây dựng trải nghiệm tìm kiếm tăng cường ML hiện đại và các ứng dụng trí tuệ nhân tạo tổng quát (AI tổng quát) mà không cần quản lý cơ sở hạ tầng cơ sở dữ liệu vectơ cơ bản. Nó cũng cho phép bạn chạy tìm kiếm kết hợp, kết hợp tìm kiếm vectơ và tìm kiếm toàn văn bản trong cùng một truy vấn, loại bỏ nhu cầu quản lý và duy trì các kho dữ liệu riêng biệt hoặc một ngăn xếp ứng dụng phức tạp.

Môi trường thử nghiệm và phát triển OpenSearch Serverless với chi phí thấp hơn

OpenSearch Serverless hiện hỗ trợ khối lượng công việc phát triển và thử nghiệm bằng cách cho phép bạn tránh chạy bản sao. Việc loại bỏ các bản sao giúp loại bỏ nhu cầu có OCU dự phòng trong Vùng sẵn sàng khác chỉ nhằm mục đích sẵn sàng. Nếu bạn đang sử dụng OpenSearch Serverless để phát triển và thử nghiệm, khi tính khả dụng không phải là vấn đề đáng lo ngại, bạn có thể giảm OCU tối thiểu của mình từ 4 xuống 2.

OpenSearch Serverless hỗ trợ xóa dữ liệu theo thời gian tự động bằng chính sách vòng đời dữ liệu

Vào tháng 2023 năm XNUMX, OpenSearch Serverless đã công bố hỗ trợ quản lý việc lưu giữ dữ liệu của các bộ sưu tập và chỉ mục chuỗi thời gian. Với tính năng xóa dữ liệu dựa trên thời gian tự động mới, bạn có thể chỉ định thời gian bạn muốn lưu giữ dữ liệu. OpenSearch Serverless tự động quản lý vòng đời của dữ liệu dựa trên cấu hình này. Để tìm hiểu thêm, hãy tham khảo Amazon OpenSearch Serverless hiện hỗ trợ xóa dữ liệu tự động theo thời gian.

OpenSearch Serverless đã công bố hỗ trợ mở rộng quy mô bản sao ở cấp độ phân đoạn

Khi ra mắt, OpenSearch Serverless đã hỗ trợ tự động tăng dung lượng để đáp ứng kích thước dữ liệu ngày càng tăng. Với chia tỷ lệ bản sao phân đoạn mới Tính năng này, OpenSearch Serverless tự động phát hiện các phân đoạn bị ép buộc do tốc độ truy vấn tăng đột biến và tự động thêm các bản sao phân đoạn mới để xử lý thông lượng truy vấn tăng lên trong khi vẫn duy trì thời gian phản hồi nhanh. Cách tiếp cận này tỏ ra hiệu quả hơn về mặt chi phí so với việc chỉ thêm các bản sao chỉ mục mới.

Thông báo người dùng AWS để theo dõi việc sử dụng OCU của bạn

Với lần ra mắt này, bạn có thể định cấu hình hệ thống để gửi thông báo khi mức sử dụng OCU sắp đến hoặc đã đạt đến giới hạn được định cấu hình tối đa cho tìm kiếm hoặc nhập. Với tính năng tích hợp Thông báo người dùng AWS mới, bạn có thể định cấu hình hệ thống để gửi thông báo bất cứ khi nào ngưỡng dung lượng bị vi phạm. Tính năng Thông báo người dùng loại bỏ nhu cầu giám sát dịch vụ liên tục. Để biết thêm thông tin, xem Giám sát Amazon OpenSearch Serverless bằng Thông báo người dùng AWS.

Nâng cao trải nghiệm của bạn với Trang tổng quan OpenSearch

OpenSearch 2.9 trong Dịch vụ OpenSearch đã giới thiệu các tính năng mới giúp bạn dễ dàng phân tích nhanh chóng dữ liệu của mình trong Bảng thông tin OpenSearch. Các tính năng mới này bao gồm bảng thông tin có sẵn mới, được định cấu hình sẵn với Tích hợp OpenSearch và khả năng tạo cảnh báo và phát hiện bất thường từ hình ảnh trực quan hiện có trong bảng thông tin của bạn.

Tích hợp Bảng điều khiển OpenSearch

OpenSearch 2.9 đã thêm hỗ trợ tích hợp OpenSearch trong Bảng điều khiển OpenSearch. Tích hợp OpenSearch bao gồm các trang tổng quan được định cấu hình sẵn để bạn có thể nhanh chóng bắt đầu phân tích dữ liệu của mình đến từ các nguồn phổ biến như Mặt trận đám mây AWS, AWSWAF, Đường mòn đám mây AWSvà Đám mây riêng ảo Amazon Nhật ký luồng (Amazon VPC).

Cảnh báo và các điểm bất thường trong Bảng thông tin OpenSearch

Trong OpenSearch Service 2.9, bạn có thể tạo trình giám sát cảnh báo mới trực tiếp từ hiển thị biểu đồ đường trong Bảng điều khiển OpenSearch. Bạn cũng có thể liên kết các màn hình hoặc trình phát hiện hiện có được tạo trước đó trong OpenSearch với trực quan hóa trang tổng quan.

Tính năng mới này giúp giảm việc chuyển đổi ngữ cảnh giữa các bảng thông tin và cả plugin Cảnh báo hoặc Phát hiện bất thường. Hãy tham khảo bảng thông tin sau để thêm trình giám sát cảnh báo nhằm phát hiện sự sụt giảm về khối lượng dữ liệu trung bình trong các dịch vụ của bạn.

OpenSearch mở rộng hỗ trợ tổng hợp không gian địa lý

Với OpenSearch phiên bản 2.9, Dịch vụ OpenSearch đã bổ sung thêm sự hỗ trợ của ba loại hình dạng địa lý tổng hợp dữ liệu thông qua API: giới hạn địa lý, geo_hashvà geo_tile.

Loại trường hình dạng địa lý cung cấp khả năng lập chỉ mục dữ liệu vị trí ở các định dạng địa lý khác nhau như điểm, đa giác hoặc chuỗi đường. Với các loại tập hợp mới, bạn có thể linh hoạt hơn trong việc tổng hợp tài liệu từ một chỉ mục bằng cách sử dụng tập hợp không gian địa lý theo hệ mét và nhiều nhóm.

Cập nhật hoạt động của Dịch vụ OpenSearch

Dịch vụ OpenSearch đã loại bỏ nhu cầu triển khai màu xanh lam/xanh lục khi thay đổi các nút được quản lý miền. Ngoài ra, dịch vụ đã cải thiện các sự kiện Tự động điều chỉnh với sự hỗ trợ của các số liệu Tự động điều chỉnh mới để theo dõi các thay đổi trong miền Dịch vụ OpenSearch của bạn.

Dịch vụ OpenSearch hiện cho phép bạn cập nhật các nút quản lý miền mà không cần triển khai xanh lam/xanh lục

Kể từ đầu nửa cuối năm 2, Dịch vụ OpenSearch đã cho phép bạn sửa đổi loại phiên bản hoặc số lượng phiên bản của các nút quản lý cụm chuyên dụng mà không cần triển khai xanh lam/xanh lục. Cải tiến này cho phép cập nhật nhanh hơn với sự gián đoạn tối thiểu đối với hoạt động miền của bạn, đồng thời tránh mọi chuyển động dữ liệu.

Trước đây, việc cập nhật các nút quản lý cụm chuyên dụng của bạn trên Dịch vụ OpenSearch có nghĩa là sử dụng triển khai xanh lam/xanh lục để thực hiện thay đổi. Mặc dù việc triển khai màu xanh lam/xanh lá cây nhằm tránh bất kỳ sự gián đoạn nào đối với miền của bạn nhưng vì việc triển khai sử dụng các tài nguyên bổ sung trên miền, bạn nên thực hiện chúng trong thời gian lưu lượng truy cập thấp. Giờ đây, bạn có thể cập nhật số lượng phiên bản hoặc loại phiên bản trình quản lý cụm mà không yêu cầu triển khai xanh lam/xanh lục, nhờ đó, những cập nhật này có thể hoàn tất nhanh hơn đồng thời tránh mọi gián đoạn tiềm ẩn đối với hoạt động miền của bạn. Trong trường hợp bạn sửa đổi cả loại và số lượng phiên bản trình quản lý miền, Dịch vụ OpenSearch sẽ vẫn sử dụng triển khai màu xanh lam/xanh lục để thực hiện thay đổi. Bạn có thể sử dụng tùy chọn chạy thử để kiểm tra xem thay đổi của bạn có yêu cầu triển khai màu xanh lam/xanh lục hay không.

Trải nghiệm Auto-Tune nâng cao

Vào tháng 2023 năm XNUMX, Dịch vụ OpenSearch đã bổ sung các chỉ số Auto-Tune mới và các sự kiện Auto-Tune cải tiến nhằm giúp bạn hiểu rõ hơn về các hoạt động tối ưu hóa hiệu suất miền do Auto-Tune thực hiện.

Auto-Tune là một hệ thống quản lý tài nguyên thích ứng tự động cập nhật tài nguyên miền Dịch vụ OpenSearch để cải thiện hiệu quả và hiệu suất. Ví dụ: Auto-Tune tối ưu hóa cấu hình liên quan đến bộ nhớ như kích thước hàng đợi, kích thước bộ đệm và cài đặt máy ảo Java (JVM) trên các nút của bạn.

Với lần ra mắt này, giờ đây bạn có thể kiểm tra lịch sử của các thay đổi cũng như theo dõi chúng theo thời gian thực từ amazoncloudwatch giao diện điều khiển.

Ngoài ra, Dịch vụ OpenSearch hiện công bố chi tiết về những thay đổi đối với Sự kiện Amazon khi cài đặt Auto-Tune được đề xuất hoặc áp dụng cho miền Dịch vụ OpenSearch. Những sự kiện Auto-Tune này cũng sẽ hiển thị trên Thông báo trang trên bảng điều khiển Dịch vụ OpenSearch.

Tăng tốc quá trình di chuyển của bạn sang Dịch vụ OpenSearch bằng giải pháp Trợ lý di chuyển mới

Vào tháng 2023 năm XNUMX, nhóm OpenSearch đã ra mắt một giải pháp nguồn mở mới—Trợ lý di chuyển cho dịch vụ Amazon OpenSearch. Giải pháp này hỗ trợ di chuyển dữ liệu từ các miền Elaticsearch và OpenSearch tự quản lý sang Dịch vụ OpenSearch, hỗ trợ Elaticsearch 7.x (<=7.10), OpenSearch 1.x và OpenSearch 2.x làm nguồn di chuyển. Giải pháp tạo điều kiện thuận lợi cho việc di chuyển dữ liệu hiện có và trực tiếp giữa nguồn và đích.

Kết luận

Trong bài đăng này, chúng tôi đã đề cập đến các bản phát hành mới trong Dịch vụ OpenSearch để giúp bạn đổi mới doanh nghiệp của mình bằng tính năng tìm kiếm, khả năng quan sát, phân tích bảo mật và di chuyển. Chúng tôi đã cung cấp cho bạn thông tin về thời điểm sử dụng từng tính năng mới trong Dịch vụ OpenSearch, Nhập OpenSearch và OpenSearch Serverless.

Tìm hiểu thêm về Bảng điều khiển OpenSearch và plugin OpenSearch cũng như trợ lý OpenSearch thú vị mới bằng cách sử dụng Sân chơi OpenSearch.

Hãy xem các tính năng được mô tả trong bài đăng này và chúng tôi đánh giá cao việc bạn cung cấp cho chúng tôi phản hồi có giá trị.

Về các tác giả

Jon xử lý là Kiến trúc sư giải pháp chính cấp cao tại Amazon Web Services có trụ sở tại Palo Alto, CA. Jon hợp tác chặt chẽ với OpenSearch và Amazon OpenSearch Service, cung cấp trợ giúp và hướng dẫn cho nhiều khách hàng có khối lượng công việc phân tích nhật ký và tìm kiếm mà họ muốn chuyển sang Đám mây AWS. Trước khi gia nhập AWS, sự nghiệp phát triển phần mềm của Jon bao gồm 4 năm mã hóa một công cụ tìm kiếm thương mại điện tử quy mô lớn. Jon có bằng Cử nhân Nghệ thuật của Đại học Pennsylvania, bằng Thạc sĩ Khoa học và Tiến sĩ về Khoa học Máy tính và Trí tuệ Nhân tạo của Đại học Northwestern.

Hajer Bouafif là Kiến trúc sư giải pháp chuyên gia phân tích tại Amazon Web Services. Cô tập trung vào Dịch vụ tìm kiếm mở của Amazon và giúp khách hàng thiết kế cũng như xây dựng khối lượng công việc phân tích có kiến ​​trúc tốt trong nhiều ngành khác nhau. Hajer thích dành thời gian ở ngoài trời và khám phá những nền văn hóa mới.

Aruna Govindaraju là Kiến trúc sư giải pháp chuyên gia tìm kiếm mở của Amazon và đã làm việc với nhiều công cụ tìm kiếm nguồn mở và thương mại. Cô ấy đam mê tìm kiếm, mức độ liên quan và trải nghiệm người dùng. Chuyên môn của cô về mối tương quan giữa các tín hiệu của người dùng cuối với hành vi của công cụ tìm kiếm đã giúp nhiều khách hàng cải thiện trải nghiệm tìm kiếm của họ.

Prashant Agrawal là Kiến trúc sư giải pháp chuyên gia tìm kiếm cấp cao với Dịch vụ tìm kiếm mở của Amazon. Anh ấy làm việc chặt chẽ với khách hàng để giúp họ di chuyển khối lượng công việc của mình sang đám mây và giúp khách hàng hiện tại tinh chỉnh các cụm của họ để đạt được hiệu suất tốt hơn và tiết kiệm chi phí. Trước khi gia nhập AWS, anh ấy đã giúp nhiều khách hàng sử dụng OpenSearch và Elaticsearch cho các trường hợp sử dụng phân tích nhật ký và tìm kiếm của họ. Khi không làm việc, bạn có thể thấy anh ấy đi du lịch và khám phá những địa điểm mới. Tóm lại, anh ấy thích Ăn → Du lịch → Lặp lại.

Hồi giáo Abu Taha là Kiến trúc sư giải pháp chuyên gia OpenSearch cấp cao chuyên hướng dẫn khách hàng thông qua việc di chuyển khối lượng công việc tìm kiếm liền mạch, tinh chỉnh các cụm để có hiệu suất cao nhất và đảm bảo hiệu quả về chi phí. Với nền tảng là Người quản lý tài khoản kỹ thuật (TAM), Muslim mang lại nhiều kinh nghiệm trong việc hỗ trợ khách hàng doanh nghiệp áp dụng đám mây và tối ưu hóa nhóm khối lượng công việc khác nhau của họ. Muslim thích dành thời gian bên gia đình, đi du lịch và khám phá những địa điểm mới.

• Phân phối nội dung và PR được hỗ trợ bởi SEO. Được khuếch đại ngay hôm nay.
• PlatoData.Network Vertical Generative Ai. Trao quyền cho chính mình. Truy cập Tại đây.
• PlatoAiStream. Thông minh Web3. Kiến thức khuếch đại. Truy cập Tại đây.
• Trung tâmESG. Than đá, công nghệ sạch, Năng lượng, Môi trường Hệ mặt trời, Quản lý chất thải. Truy cập Tại đây.
• PlatoSức khỏe. Tình báo thử nghiệm lâm sàng và công nghệ sinh học. Truy cập Tại đây.
• nguồn: https://aws.amazon.com/blogs/big-data/amazon-opensearch-h2-2023-in-review/