Tahun 2023 merupakan tahun yang sibuk Layanan Pencarian Terbuka Amazon! Pelajari lebih lanjut tentang rilis yang diluncurkan OpenSearch Service di Paruh pertama 2023.
Pada paruh kedua tahun 2023, Layanan OpenSearch menambahkan dukungan dua yang baru Pencarian Terbuka versi: 2.9 dan 2.11 Kedua versi ini memperkenalkan fitur baru di ruang pencarian, ruang pencarian pembelajaran mesin (ML), migrasi, dan sisi operasional layanan.
Dengan dirilisnya integrasi zero-ETL dengan Layanan Penyimpanan Sederhana Amazon (Amazon S3), Anda dapat menganalisis data yang ada di data lake Anda menggunakan Layanan OpenSearch untuk membuat dasbor dan menanyakan data tanpa perlu memindahkan data Anda dari Amazon S3.
OpenSearch Service juga mengumumkan integrasi zero-ETL baru dengan Amazon DynamoDB melalui plugin DynamoDB untuk Penyerapan Amazon OpenSearch. OpenSearch Ingestion menangani bootstrapping dan terus mengalirkan data dari sumber DynamoDB Anda.
OpenSearch Serverless mengumumkan ketersediaan umum Mesin Vektor untuk Amazon OpenSearch Tanpa Server serta fitur lainnya untuk menyempurnakan pengalaman Anda dengan pengumpulan rangkaian waktu, mengelola biaya untuk lingkungan pengembangan, dan dengan cepat menskalakan sumber daya agar sesuai dengan tuntutan beban kerja Anda.
Dalam postingan ini, kami membahas rilis baru di Layanan OpenSearch untuk memberdayakan bisnis Anda dengan penelusuran, kemampuan observasi, analisis keamanan, dan migrasi.
Bangun solusi hemat biaya dengan OpenSearch Service
Dengan integrasi zero-ETL untuk Amazon S3, OpenSearch Service kini memungkinkan Anda menanyakan data Anda di tempat, sehingga menghemat biaya penyimpanan. Perpindahan data adalah operasi yang mahal karena Anda perlu mereplikasi data di penyimpanan data yang berbeda. Hal ini meningkatkan jejak data Anda dan meningkatkan biaya. Memindahkan data juga menambah beban pengelolaan alur untuk memigrasikan data dari satu sumber ke tujuan baru.
OpenSearch Service juga menambahkan jenis instans baru untuk node data—Im4gn dan OR1—untuk membantu Anda lebih mengoptimalkan biaya infrastruktur. Dengan solid state drive (SSD) memori non-volatile (NVMe) maksimum 30 TB, instans Im4gn menyediakan penyimpanan padat dan kinerja lebih baik. Instans OR1 menggunakan replikasi segmen dan penyimpanan yang didukung jarak jauh untuk meningkatkan throughput secara signifikan untuk beban kerja pengindeksan yang berat.
Zero-ETL dari DynamoDB ke Layanan OpenSearch
Pada bulan November 2023, DynamoDB dan OpenSearch Ingestion memperkenalkan integrasi zero-ETL untuk OpenSearch Service. Domain OpenSearch Service dan koleksi OpenSearch Serverless menyediakan kemampuan pencarian tingkat lanjut, seperti pencarian teks lengkap dan vektor, pada data DynamoDB Anda. Dengan beberapa klik di Konsol Manajemen AWS, Anda kini dapat dengan lancar memuat dan menyinkronkan data Anda dari DynamoDB ke Layanan OpenSearch, menghilangkan kebutuhan untuk menulis kode khusus untuk mengekstrak, mengubah, dan memuat data.
Kueri langsung (zero-ETL untuk data Amazon S3, dalam pratinjau)
OpenSearch Service mengumumkan cara baru bagi Anda untuk menanyakan log operasional di data lake berbasis Amazon S3 dan S3 tanpa perlu beralih antar alat untuk menganalisis data operasional. Sebelumnya, Anda harus menyalin data dari Amazon S3 ke Layanan OpenSearch untuk memanfaatkan fitur analitik dan visualisasi OpenSearch yang kaya untuk memahami data Anda, mengidentifikasi anomali, dan mendeteksi potensi ancaman.
Namun, mereplikasi data antar layanan secara terus-menerus bisa memakan biaya yang mahal dan memerlukan upaya operasional. Dengan fitur kueri langsung OpenSearch Service, Anda dapat mengakses data log operasional yang disimpan di Amazon S3, tanpa perlu memindahkan data itu sendiri. Sekarang Anda dapat melakukan kueri dan visualisasi kompleks pada data Anda tanpa perpindahan data apa pun.
Dukungan Im4gn dengan Layanan OpenSearch
Instans Im4gn dioptimalkan untuk beban kerja yang mengelola kumpulan data besar dan memerlukan kepadatan penyimpanan per vCPU yang tinggi. Instans Im4gn hadir dalam ukuran besar hingga 16xlarge, dengan ukuran disk NVMe SSD hingga 30 TB. Instans Im4gn dibangun di atas Sistem Nitro AWS SSD, yang menawarkan akses disk dengan throughput tinggi dan latensi rendah untuk performa terbaik. Instans OpenSearch Service Im4gn mendukung semua versi OpenSearch dan Elasticsearch versi 7.9 dan yang lebih baru. Untuk lebih jelasnya, lihat Jenis instans yang didukung di Amazon OpenSearch Service.
Memperkenalkan OR1, rangkaian Instans yang Dioptimalkan OpenSearch untuk mengindeks beban kerja berat
Pada November 2023, Layanan OpenSearch diluncurkan OR1, keluarga Instans yang Dioptimalkan OpenSearch, yang memberikan peningkatan kinerja harga hingga 30% dibandingkan instans yang ada dalam tolok ukur internal dan menggunakan Amazon S3 untuk memberikan daya tahan 11 9 detik. Domain dengan contoh OR1 menggunakan Toko Blok Elastis Amazon (Amazon EBS) volume untuk penyimpanan utama, dengan data disalin secara sinkron ke Amazon S3 saat data tiba. Contoh OR1 menggunakan OpenSearch fitur replikasi segmen untuk mengaktifkan pecahan replika untuk membaca data langsung dari Amazon S3, menghindari biaya sumber daya pengindeksan di pecahan primer dan replika. Keluarga instans OR1 juga mendukung pemulihan data otomatis jika terjadi kegagalan. Untuk informasi selengkapnya tentang opsi jenis instans OR1, lihat Jenis instans generasi saat ini di Layanan OpenSearch.
Aktifkan bisnis Anda dengan fitur analisis keamanan
Plugin Analisis Keamanan di Layanan OpenSearch mendukung out-of-the-box jenis log yang dikemas sebelumnya dan menyediakan aturan deteksi keamanan (aturan SIGMA) untuk mendeteksi potensi insiden keamanan.
Di OpenSearch 2.9, plugin Analisis Keamanan menambahkan dukungan untuk jenis log pelanggan dan dukungan asli untuk Kerangka Skema Keamanan Siber Terbuka (OCSF) format data. Dengan dukungan baru ini, Anda dapat membuat detektor dengan data OCSF yang tersimpan di dalamnya Danau Keamanan Amazon untuk menganalisis temuan keamanan dan memitigasi potensi insiden. Plugin Analisis Keamanan juga menambahkan kemungkinan untuk membuat jenis log kustom Anda sendiri dan membuat aturan deteksi kustom.
Bangun solusi pencarian yang didukung ML
Pada tahun 2023, OpenSearch Service berinvestasi dalam menghilangkan beban berat yang diperlukan untuk membangun aplikasi pencarian generasi berikutnya. Dengan fitur seperti saluran pencarian, pemroses pencarian, dan konektor AI/ML, OpenSearch Service memungkinkan pengembangan pesat aplikasi pencarian yang didukung oleh pencarian saraf, pencarian hibrid, dan hasil yang dipersonalisasi. Selain itu, penyempurnaan pada plugin kNN meningkatkan penyimpanan dan pengambilan data vektor. Plugin opsional yang baru diluncurkan untuk Layanan OpenSearch memungkinkan integrasi tanpa hambatan dengan penganalisis bahasa tambahan dan Amazon Personalisasi.
Cari saluran pipa
Cari saluran pipa memberikan cara baru untuk menyempurnakan kueri penelusuran dan meningkatkan hasil penelusuran. Anda menentukan saluran pencarian dan kemudian mengirimkan pertanyaan Anda ke sana. Saat Anda menentukan saluran pencarian, Anda menentukannya prosesor yang mengubah dan menambah kueri Anda, dan memberi peringkat ulang pada hasil Anda. Pemroses kueri bawaan mencakup konversi tanggal, agregasi, manipulasi string, dan konversi tipe data. Pemroses hasil dalam saluran pencarian memotong dan mengadaptasi hasil dengan cepat sebelum dirender ke tahap berikutnya. Pemrosesan permintaan dan respons untuk alur dilakukan pada node koordinator, sehingga tidak ada pemrosesan tingkat shard.
Plugin opsional
Layanan OpenSearch memungkinkan Anda mengasosiasikan yang sudah diinstal sebelumnya plugin OpenSearch opsional untuk digunakan dengan domain Anda. Paket plugin opsional kompatibel dengan versi OpenSearch tertentu, dan hanya dapat dikaitkan ke domain dengan versi tersebut. Plugin yang tersedia tercantum di Paket Kami. halaman di konsol OpenSearch Service. Plugin opsional mencakup plugin Amazon Personalize, yang mengintegrasikan OpenSearch Service dengan Amazon Personalize, dan penganalisis bahasa baru seperti Nori, Sudachi, STConvert, dan Pinyin.
Dukungan untuk penganalisis bahasa baru
OpenSearch Service menambahkan dukungan untuk empat yang baru plugin penganalisis bahasa: Nori (Korea), Sudachi (Jepang), Pinyin (Cina), dan Analisis STConvert (Cina). Ini tersedia di semua Wilayah AWS sebagai plugin opsional yang dapat Anda kaitkan dengan domain yang menjalankan versi OpenSearch apa pun. Anda dapat menggunakan Paket Kami. halaman di konsol OpenSearch Service untuk mengaitkan plugin ini ke domain Anda, atau menggunakan Associate Package API.
Fitur pencarian saraf
Pencarian saraf umumnya tersedia dengan OpenSearch Service versi 2.9 dan yang lebih baru. Penelusuran neural memungkinkan Anda berintegrasi dengan model ML yang dihosting dari jarak jauh menggunakan kerangka penyajian model. Saat Anda menggunakan kueri saraf selama penelusuran, penelusuran saraf mengubah teks kueri menjadi penyematan vektor, menggunakan penelusuran vektor untuk membandingkan kueri dan penyematan dokumen, dan mengembalikan hasil yang paling mendekati. Selama penyerapan, penelusuran saraf mengubah teks dokumen menjadi penyematan vektor dan mengindeks teks dan penyematan vektornya dalam indeks vektor.
Integrasi dengan Amazon Personalisasi
OpenSearch Service memperkenalkan plugin opsional untuk diintegrasikan dengan Amazon Personalize di OpenSearch versi 2.9 atau lebih baru. Plugin OpenSearch Service untuk Amazon Personalize Search Ranking memungkinkan Anda meningkatkan keterlibatan pengguna akhir dan konversi dari pencarian situs web dan aplikasi Anda dengan memanfaatkan kemampuan pembelajaran mendalam yang ditawarkan oleh Amazon Personalize. Sebagai plugin opsional, paket kompatibel dengan OpenSearch versi 2.9 atau lebih baru, dan hanya dapat dikaitkan ke domain dengan versi tersebut.
Pemfilteran kueri yang efisien dengan k-NN FAISS OpenSearch
OpenSearch Service memperkenalkan pemfilteran kueri yang efisien dengan k-NN FAISS OpenSearch di versi 2.9 dan yang lebih baru. OpenSearch's filter kueri vektor yang efisien kemampuan secara cerdas mengevaluasi strategi pemfilteran yang optimal—pra-pemfilteran dengan perkiraan tetangga terdekat (ANN) atau pemfilteran dengan k-nearest neighbour (k-NN) yang tepat—untuk menentukan strategi terbaik dalam memberikan kueri penelusuran vektor yang akurat dan berlatensi rendah. Pada versi OpenSearch sebelumnya, kueri vektor pada mesin FAISS menggunakan teknik pasca-pemfilteran, yang memungkinkan kueri yang difilter dalam skala besar, namun berpotensi menghasilkan jumlah hasil yang kurang dari “k” yang diminta. Filter kueri vektor yang efisien memberikan latensi rendah dan hasil yang akurat, memungkinkan Anda menggunakan penelusuran hibrid di seluruh teknik vektor dan leksikal.
Vektor terkuantisasi byte di OpenSearch Service
Dengan baru vektor terkuantisasi byte diperkenalkan dengan 2.9, Anda dapat mengurangi kebutuhan memori sebanyak 4 kali lipat dan secara signifikan mengurangi latensi pencarian, dengan penurunan kualitas yang minimal (recall). Dengan fitur ini, float 32-bit yang biasa digunakan untuk vektor dikuantisasi atau dikonversi menjadi bilangan bulat bertanda 8-bit. Untuk banyak aplikasi, data vektor mengambang yang ada dapat dikuantisasi dengan sedikit penurunan kualitas. Membandingkan tolok ukur, Anda akan menemukan bahwa menggunakan vektor byte daripada float 32-bit menghasilkan pengurangan yang signifikan dalam penggunaan penyimpanan dan memori sekaligus meningkatkan throughput pengindeksan dan mengurangi latensi kueri. Sebuah internal patokan menunjukkan penggunaan penyimpanan berkurang hingga 78%, dan penggunaan RAM berkurang hingga 59% (untuk kumpulan data glove-200-angular). Nilai perolehan kembali untuk kumpulan data sudut lebih rendah dibandingkan dengan kumpulan data Euclidean.
Konektor AI/ML
OpenSearch 2.9 dan yang lebih baru mendukung integrasi dengan model ML dihosting di layanan AWS atau platform pihak ketiga. Hal ini memungkinkan administrator sistem dan data scientist menjalankan beban kerja ML di luar domain OpenSearch Service mereka. Konektor ML dilengkapi dengan serangkaian cetak biru ML yang didukung—templat yang menentukan serangkaian parameter yang perlu Anda sediakan saat mengirim permintaan API ke konektor tertentu. OpenSearch Service menyediakan konektor untuk beberapa platform, seperti Amazon SagePembuat, Batuan Dasar Amazon, BukaAI ChatGPT, dan Berpadu.
Integrasi konsol Layanan OpenSearch
OpenSearch 2.9 dan yang lebih baru menambahkan fitur integrasi baru di konsol. Integrasi memberi Anda Formasi AWS Cloud templat untuk membangun Anda pencarian semantik kasus penggunaan dengan menghubungkan ke model ML Anda yang dihosting di SageMaker atau Amazon Bedrock. Templat CloudFormation menghasilkan titik akhir model dan mendaftarkan ID model dengan domain OpenSearch Service yang Anda berikan sebagai input ke templat.
Pencarian hibrid dan normalisasi jangkauan
Grafik prosesor normalisasi dan kueri hibrid dibangun berdasarkan dua fitur yang dirilis sebelumnya pada tahun 2023—pencarian saraf dan saluran pencarian. Karena kueri leksikal dan semantik mengembalikan skor relevansi pada skala yang berbeda, menyempurnakan kueri penelusuran hibrid menjadi sulit.
OpenSearch Service 2.11 kini mendukung prosesor kombinasi dan normalisasi untuk pencarian hibrid. Anda sekarang dapat melakukan kueri penelusuran hibrid, menggabungkan kueri penelusuran vektor k-NN berbasis leksikal dan bahasa alami. OpenSearch Service juga memungkinkan Anda menyesuaikan hasil pencarian hibrid untuk relevansi maksimum menggunakan beberapa kombinasi penilaian dan teknik normalisasi.
Pencarian multimodal dengan Amazon Bedrock
OpenSearch Service 2.11 meluncurkan dukungan pencarian multimodal yang memungkinkan Anda mencari data teks dan gambar menggunakan model penyematan multimodal. Untuk menghasilkan penyematan vektor, Anda perlu membuat alur penyerapan yang berisi a prosesor text_image_embedding, yang mengonversi biner teks atau gambar dalam bidang dokumen menjadi penyematan vektor. Anda dapat menggunakan klausa kueri saraf, baik di API plugin k-NN or Permintaan DSL kueri, untuk melakukan kombinasi penelusuran teks dan gambar. Anda dapat menggunakan fitur integrasi OpenSearch Service baru untuk memulai pencarian multimodal dengan cepat.
Pengambilan jarang saraf
Pencarian jarang saraf, metode pengambilan semantik baru yang efisien, tersedia di OpenSearch Service 2.11. Pencarian neural sparse beroperasi dalam dua mode: bi-encoder dan hanya dokumen. Dengan mode bi-encoder, dokumen dan kueri penelusuran diteruskan melalui deep encoder. Dalam mode hanya dokumen, hanya dokumen yang diteruskan melalui pembuat enkode mendalam, sementara kueri penelusuran diberi token. Encoder renggang khusus dokumen menghasilkan indeks sebesar 10.4% dari ukuran indeks pengkodean padat. Untuk bi-encoder, ukuran indeksnya adalah 7.2% dari ukuran indeks pengkodean padat. Penelusuran renggang neural diaktifkan oleh model pengkodean renggang yang membuat penyematan vektor renggang: satu set <token: weight> pasangan yang mewakili entri teks dan bobotnya yang sesuai dalam vektor renggang. Untuk mempelajari lebih lanjut tentang model terlatih untuk penelusuran saraf renggang, lihat Model pengkodean yang jarang.
Pencarian neural sparse mengurangi biaya, meningkatkan relevansi pencarian, dan memiliki latensi yang lebih rendah. Anda dapat menggunakan fitur integrasi OpenSearch Service baru untuk memulai penelusuran neural sparse dengan cepat.
Pembaruan Penyerapan OpenSearch
Penyerapan OpenSearch adalah saluran penyerapan yang dikelola sepenuhnya dan berskala otomatis yang mengirimkan data Anda ke domain OpenSearch Service dan koleksi OpenSearch Serverless. Sejak dirilis pada tahun 2023, OpenSearch Ingestion terus menambahkan fitur baru untuk memudahkan transformasi dan pemindahan data Anda dari sumber yang didukung ke tujuan hilir seperti OpenSearch Service, OpenSearch Serverless, dan Amazon S3.
Fitur migrasi baru di OpenSearch Ingestion
Pada bulan November 2023, OpenSearch Ingestion mengumumkan peluncuran fitur baru untuk mendukung migrasi data dari domain Elasticsearch versi 7.x yang dikelola sendiri ke versi terbaru OpenSearch Service.
OpenSearch Ingestion juga mendukung migrasi data dari domain terkelola OpenSearch Service yang menjalankan OpenSearch versi 2.x ke koleksi OpenSearch Serverless.
Pelajari bagaimana Anda dapat menggunakan Penyerapan OpenSearch untuk migrasikan data Anda ke Layanan OpenSearch.
Tingkatkan ketahanan data dengan OpenSearch Ingestion
Pada bulan November 2023, OpenSearch Ingestion memperkenalkan buffering persisten untuk sumber berbasis push seperti sumber HTTP (HTTP, Fluentd, FluentBit) dan kolektor OpenTelemetry.
Secara default, OpenSearch Ingestion menggunakan buffering dalam memori. Dengan buffering yang persisten, OpenSearch Ingestion menyimpan data Anda di penyimpanan berbasis disk yang lebih tangguh. Jika Anda sudah memiliki alur penyerapan, Anda dapat mengaktifkan buffering persisten untuk alur tersebut, seperti yang ditunjukkan pada tangkapan layar berikut.
Dukungan plugin baru
Pada awal tahun 2023, OpenSearch Ingestion menambahkan dukungan untuk Amazon Managed Streaming untuk Apache Kafka (AmazonMSK). Penyerapan OpenSearch menggunakan Plugin Kafka untuk melakukan streaming data dari Amazon MSK ke domain terkelola OpenSearch Service atau koleksi OpenSearch Serverless. Untuk mempelajari selengkapnya tentang menyiapkan Amazon MSK sebagai sumber data, lihat Menggunakan alur OpenSearch Ingestion dengan Amazon Managed Streaming untuk Apache Kafka.
Pembaruan OpenSearch Tanpa Server
OpenSearch Tanpa Server terus meningkatkan pengalaman tanpa server Anda dengan OpenSearch dengan memperkenalkan dukungan koleksi baru pencarian tipe vektor untuk menyimpan embeddings dan menjalankan pencarian kesamaan. OpenSearch Tanpa Server kini mendukung penskalaan replika pecahan untuk menangani lonjakan throughput kueri. Dan jika Anda menggunakan kumpulan deret waktu, kini Anda dapat menyiapkan kebijakan retensi data khusus agar sesuai dengan persyaratan retensi data Anda.
Mesin Vektor untuk OpenSearch Tanpa Server
Pada bulan November 2023, kami meluncurkan mesin vektor untuk Amazon OpenSearch Tanpa Server. Mesin vektor memudahkan pembuatan pengalaman penelusuran modern yang ditambah ML dan aplikasi kecerdasan buatan generatif (AI generatif) tanpa perlu mengelola infrastruktur basis data vektor yang mendasarinya. Hal ini juga memungkinkan Anda menjalankan pencarian hibrid, menggabungkan pencarian vektor dan pencarian teks lengkap dalam kueri yang sama, menghilangkan kebutuhan untuk mengelola dan memelihara penyimpanan data terpisah atau tumpukan aplikasi yang kompleks.
Lingkungan pengembangan dan pengujian OpenSearch Tanpa Server berbiaya lebih rendah
OpenSearch Serverless kini mendukung pengembangan dan pengujian beban kerja dengan memungkinkan Anda menghindari menjalankan replika. Menghapus replika menghilangkan kebutuhan untuk memiliki OCU redundan di Availability Zone lain semata-mata untuk tujuan ketersediaan. Jika Anda menggunakan OpenSearch Tanpa Server untuk pengembangan dan pengujian, di mana ketersediaan tidak menjadi perhatian, Anda dapat menurunkan OCU minimum dari 4 menjadi 2.
OpenSearch Tanpa Server mendukung penghapusan data otomatis berdasarkan waktu menggunakan kebijakan siklus hidup data
Pada bulan Desember 2023, OpenSearch Serverless mengumumkan dukungan untuk mengelola retensi data koleksi dan indeks deret waktu. Dengan fitur penghapusan data berbasis waktu otomatis yang baru, Anda dapat menentukan berapa lama Anda ingin menyimpan data. OpenSearch Serverless secara otomatis mengelola siklus hidup data berdasarkan konfigurasi ini. Untuk mempelajari lebih lanjut, lihat Amazon OpenSearch Tanpa Server kini mendukung penghapusan data berbasis waktu otomatis.
OpenSearch Serverless mengumumkan dukungan untuk meningkatkan skala replika di tingkat shard
Saat diluncurkan, OpenSearch Serverless mendukung peningkatan kapasitas secara otomatis sebagai respons terhadap pertumbuhan ukuran data. Dengan penskalaan replika pecahan baru fitur, OpenSearch Tanpa Server secara otomatis mendeteksi pecahan di bawah tekanan karena lonjakan tiba-tiba dalam laju kueri dan secara dinamis menambahkan replika pecahan baru untuk menangani peningkatan throughput kueri sambil mempertahankan waktu respons yang cepat. Pendekatan ini terbukti lebih hemat biaya dibandingkan sekadar menambahkan replika indeks baru.
Notifikasi pengguna AWS untuk memantau penggunaan OCU Anda
Dengan peluncuran ini, Anda dapat mengonfigurasi sistem untuk mengirimkan pemberitahuan ketika pemanfaatan OCU mendekati atau telah mencapai batas maksimum yang dikonfigurasi untuk pencarian atau penyerapan. Dengan integrasi Notifikasi Pengguna AWS yang baru, Anda dapat mengonfigurasi sistem untuk mengirimkan notifikasi setiap kali ambang batas kapasitas dilanggar. Fitur Pemberitahuan Pengguna menghilangkan kebutuhan untuk memantau layanan secara terus-menerus. Untuk informasi lebih lanjut, lihat Memantau Amazon OpenSearch Tanpa Server menggunakan Notifikasi Pengguna AWS.
Tingkatkan pengalaman Anda dengan Dasbor OpenSearch
OpenSearch 2.9 di Layanan OpenSearch memperkenalkan fitur baru untuk memudahkan analisis data Anda dengan cepat di Dasbor OpenSearch. Fitur-fitur baru ini mencakup dasbor baru yang siap pakai, dasbor yang telah dikonfigurasi sebelumnya dengan Integrasi OpenSearch, dan kemampuan untuk membuat peringatan dan deteksi anomali dari visualisasi yang ada di dasbor Anda.
Integrasi Dasbor OpenSearch
OpenSearch 2.9 menambahkan dukungan integrasi OpenSearch di OpenSearch Dashboards. Integrasi OpenSearch mencakup dasbor yang telah dikonfigurasi sebelumnya sehingga Anda dapat dengan cepat mulai menganalisis data yang berasal dari sumber populer seperti AWS CloudFront, WAF AWS, AWS CloudTrail, dan Cloud Pribadi Virtual Amazon Log aliran (Amazon VPC).
Peringatan dan anomali di Dasbor OpenSearch
Di OpenSearch Service 2.9, Anda dapat membuat monitor peringatan baru langsung dari Anda visualisasi diagram garis di Dasbor OpenSearch. Anda juga dapat mengaitkan monitor atau detektor yang ada yang sebelumnya dibuat di OpenSearch ke visualisasi dasbor.
Fitur baru ini membantu mengurangi peralihan konteks antara dasbor dan plugin Peringatan atau Deteksi Anomali. Lihat dasbor berikut untuk menambahkan monitor peringatan guna mendeteksi penurunan volume data rata-rata di layanan Anda.
OpenSearch memperluas dukungan agregasi geospasial
Dengan OpenSearch versi 2.9, OpenSearch Service menambahkan dukungan tiga jenis bentuk geo agregasi data melalui API: batas_geo, geo_hash, dan geo_tile.
Jenis bidang geoshape memberikan kemungkinan untuk mengindeks data lokasi dalam format geografis yang berbeda seperti titik, poligon, atau garis garis. Dengan jenis agregasi baru, Anda memiliki lebih banyak fleksibilitas untuk menggabungkan dokumen dari indeks menggunakan agregasi geospasial metrik dan multi-keranjang.
Pembaruan operasional Layanan OpenSearch
OpenSearch Service menghilangkan kebutuhan untuk menjalankan penerapan biru/hijau saat mengubah node yang dikelola domain. Selain itu, layanan ini meningkatkan peristiwa Penyetelan Otomatis dengan dukungan metrik Penyetelan Otomatis baru untuk melacak perubahan dalam domain Layanan OpenSearch Anda.
OpenSearch Service sekarang memungkinkan Anda memperbarui node manajer domain tanpa penerapan biru/hijau
Mulai awal H2 tahun 2023, Layanan OpenSearch memungkinkan Anda mengubah jenis instans atau jumlah instans node manajer klaster khusus tanpa memerlukan penerapan warna biru/hijau. Penyempurnaan ini memungkinkan pembaruan lebih cepat dengan gangguan minimal pada operasi domain Anda, sekaligus menghindari perpindahan data apa pun.
Sebelumnya, memperbarui node manajer cluster khusus Anda di OpenSearch Service berarti menggunakan penerapan biru/hijau untuk melakukan perubahan. Meskipun penerapan biru/hijau dimaksudkan untuk menghindari gangguan apa pun pada domain Anda, karena penerapan tersebut menggunakan sumber daya tambahan di domain, sebaiknya Anda melakukannya selama periode lalu lintas rendah. Sekarang Anda dapat memperbarui jenis instans manajer klaster atau jumlah instans tanpa memerlukan penerapan warna biru/hijau, sehingga pembaruan ini dapat diselesaikan lebih cepat sekaligus menghindari potensi gangguan pada operasi domain Anda. Jika Anda mengubah jenis dan jumlah instans manajer domain, OpenSearch Service akan tetap menggunakan penerapan biru/hijau untuk melakukan perubahan. Anda dapat menggunakan opsi uji coba untuk memeriksa apakah perubahan Anda memerlukan penerapan biru/hijau.
Pengalaman Penyetelan Otomatis yang ditingkatkan
Pada bulan September 2023, OpenSearch Service menambahkan metrik Auto-Tune baru dan meningkatkan peristiwa Auto-Tune yang memberi Anda visibilitas lebih baik ke dalam pengoptimalan performa domain yang dibuat oleh Auto-Tune.
Auto-Tune adalah sistem manajemen sumber daya adaptif yang secara otomatis memperbarui sumber daya domain OpenSearch Service untuk meningkatkan efisiensi dan kinerja. Misalnya, Auto-Tune mengoptimalkan konfigurasi terkait memori seperti ukuran antrean, ukuran cache, dan pengaturan mesin virtual Java (JVM) pada node Anda.
Dengan peluncuran ini, kini Anda dapat mengaudit riwayat perubahan, serta melacaknya secara real time dari amazoncloudwatch konsol.
Selain itu, OpenSearch Service kini menerbitkan rincian perubahan Jembatan Acara Amazon ketika pengaturan Penyetelan Otomatis direkomendasikan atau diterapkan ke domain Layanan OpenSearch. Peristiwa Penyetelan Otomatis ini juga akan terlihat di Pemberitahuan halaman di konsol OpenSearch Service.
Percepat migrasi Anda ke Layanan OpenSearch dengan solusi Asisten Migrasi baru
Pada bulan November 2023, tim OpenSearch meluncurkan solusi sumber terbuka baru—Asisten Migrasi untuk Amazon OpenSearch Service. Solusi ini mendukung migrasi data dari domain Elasticsearch dan OpenSearch yang dikelola sendiri ke OpenSearch Service, mendukung Elasticsearch 7.x (<=7.10), OpenSearch 1.x, dan OpenSearch 2.x sebagai sumber migrasi. Solusi ini memfasilitasi migrasi data yang ada dan data langsung antara sumber dan tujuan.
Kesimpulan
Dalam postingan ini, kami membahas rilis baru di Layanan OpenSearch untuk membantu Anda berinovasi dalam bisnis Anda dengan penelusuran, kemampuan observasi, analisis keamanan, dan migrasi. Kami memberi Anda informasi tentang kapan harus menggunakan setiap fitur baru di Layanan OpenSearch, Penyerapan OpenSearch, dan OpenSearch Tanpa Server.
Pelajari lebih lanjut tentang Dasbor OpenSearch dan plugin OpenSearch serta penggunaan asisten OpenSearch baru yang menarik Taman bermain OpenSearch.
Lihat fitur-fitur yang dijelaskan dalam postingan ini, dan kami menghargai Anda memberikan masukan Anda yang berharga kepada kami.
Tentang Penulis
Jon Pengendali adalah Arsitek Solusi Utama Senior di Amazon Web Services yang berbasis di Palo Alto, CA. Jon bekerja sama dengan OpenSearch dan Amazon OpenSearch Service, memberikan bantuan dan panduan kepada berbagai pelanggan yang memiliki beban kerja analisis penelusuran dan log yang ingin mereka pindahkan ke AWS Cloud. Sebelum bergabung dengan AWS, karier Jon sebagai pengembang perangkat lunak mencakup 4 tahun mengkode mesin pencari e-niaga berskala besar. Jon meraih gelar Bachelor of the Arts dari University of Pennsylvania, dan gelar Master of Science dan PhD di bidang Ilmu Komputer dan Kecerdasan Buatan dari Northwestern University.
Hajer Bouafif adalah Arsitek Solusi Spesialis Analytics di Amazon Web Services. Dia berfokus pada Amazon OpenSearch Service dan membantu pelanggan merancang dan membangun beban kerja analitik yang dirancang dengan baik di beragam industri. Hajer senang menghabiskan waktu di luar ruangan dan menemukan budaya baru.
Aruna Govindaraju adalah Arsitek Solusi Spesialis Amazon OpenSearch dan telah bekerja dengan banyak mesin pencari komersial dan sumber terbuka. Dia sangat tertarik dengan penelusuran, relevansi, dan pengalaman pengguna. Keahliannya dalam menghubungkan sinyal pengguna akhir dengan perilaku mesin telusur telah membantu banyak pelanggan meningkatkan pengalaman penelusuran mereka.
Prashant Agrawal adalah Sr. Search Specialist Solutions Architect dengan Amazon OpenSearch Service. Dia bekerja sama dengan pelanggan untuk membantu mereka memindahkan beban kerja mereka ke cloud dan membantu pelanggan yang sudah ada menyempurnakan klaster mereka untuk mencapai kinerja yang lebih baik dan menghemat biaya. Sebelum bergabung dengan AWS, dia membantu berbagai pelanggan menggunakan OpenSearch dan Elasticsearch untuk kasus penggunaan analitik pencarian dan log mereka. Saat tidak bekerja, Anda dapat menemukannya bepergian dan menjelajahi tempat-tempat baru. Singkatnya, dia suka melakukan Eat → Travel → Repeat.
Muslim Abu Thaha adalah Sr. Arsitek Solusi Spesialis OpenSearch yang berdedikasi untuk membimbing klien melalui migrasi beban kerja pencarian yang lancar, menyempurnakan cluster untuk kinerja puncak, dan memastikan efektivitas biaya. Dengan latar belakang sebagai Manajer Akun Teknis (TAM), Muslim memiliki segudang pengalaman dalam membantu pelanggan perusahaan dalam adopsi cloud dan mengoptimalkan berbagai beban kerja mereka. Muslim senang menghabiskan waktu bersama keluarganya, bepergian, dan menjelajahi tempat-tempat baru.
- Konten Bertenaga SEO & Distribusi PR. Dapatkan Amplifikasi Hari Ini.
- PlatoData.Jaringan Vertikal Generatif Ai. Berdayakan Diri Anda. Akses Di Sini.
- PlatoAiStream. Intelijen Web3. Pengetahuan Diperkuat. Akses Di Sini.
- PlatoESG. Karbon, teknologi bersih, energi, Lingkungan Hidup, Tenaga surya, Penanganan limbah. Akses Di Sini.
- PlatoHealth. Kecerdasan Uji Coba Biotek dan Klinis. Akses Di Sini.
- Sumber: https://aws.amazon.com/blogs/big-data/amazon-opensearch-h2-2023-in-review/
