At AWS tun: pilẹṣẹ 2023, a kede wiwa gbogbogbo ti Awọn ipilẹ Imọ fun Amazon Bedrock. Pẹlu Awọn ipilẹ Imọ fun Amazon Bedrock, o le so awọn awoṣe ipilẹ (FM) ni aabo ni aabo Amazon Bedrock si data ile-iṣẹ rẹ nipa lilo awoṣe Augmented Augmented Generation (RAG) ti iṣakoso ni kikun.

Fun awọn ohun elo ti o da lori RAG, deede ti awọn idahun ti ipilẹṣẹ lati awọn FM da lori ọrọ-ọrọ ti a pese si awoṣe. Awọn ọrọ-ọrọ ni a gba pada lati awọn ile itaja vector ti o da lori awọn ibeere olumulo. Ninu ẹya tuntun ti a tu silẹ fun Awọn ipilẹ Imọ fun Amazon Bedrock, arabara search, o le darapọ wiwa atunmọ pẹlu wiwa ọrọ-ọrọ. Sibẹsibẹ, ni ọpọlọpọ awọn ipo, o le nilo lati gba awọn iwe aṣẹ ti a ṣẹda ni akoko asọye tabi ti samisi pẹlu awọn ẹka kan. Lati ṣatunṣe awọn abajade wiwa, o le ṣe àlẹmọ ti o da lori awọn metadata iwe-ipamọ lati mu ilọsiwaju imupadabọ pada, eyiti o yori si awọn iran FM diẹ sii ti o ni ibamu pẹlu awọn iwulo rẹ.

Ninu ifiweranṣẹ yii, a jiroro ẹya tuntun ti aṣa sisẹ metadata aṣa ni Awọn ipilẹ Imọye fun Amazon Bedrock, eyiti o le lo lati mu ilọsiwaju awọn abajade wiwa nipasẹ iṣaju sisẹ awọn atunpada rẹ lati awọn ile itaja vector.

Akopọ sisẹ Metadata

Ṣaaju itusilẹ ti sisẹ metadata, gbogbo awọn ṣoki ti o ni ibatan itumọ-ọrọ titi di iwọn ti a ti ṣeto tẹlẹ yoo jẹ pada bi ipo fun FM lati lo lati ṣe agbekalẹ esi kan. Ni bayi, pẹlu awọn asẹ metadata, o le gba kii ṣe awọn ṣoki ti o ni ibatan itumọ-ọrọ nikan ṣugbọn ipin-itumọ daradara ti awọn chucks ti o yẹ ti o da lori awọn asẹ metadata ti a lo ati awọn iye to somọ.

Pẹlu ẹya ara ẹrọ yii, o le pese faili metadata aṣa kan (kọọkan to 10 KB) fun iwe kọọkan ni ipilẹ oye. O le lo awọn asẹ si awọn ipadabọ rẹ, nkọ ile-itaja vector lati ṣaju àlẹmọ ti o da lori metadata iwe ati lẹhinna wa awọn iwe aṣẹ to wulo. Ni ọna yii, o ni iṣakoso lori awọn iwe aṣẹ ti a gba pada, paapaa ti awọn ibeere rẹ ba jẹ aibikita. Fun apẹẹrẹ, o le lo awọn iwe aṣẹ ofin pẹlu awọn ofin ti o jọra fun awọn ipo oriṣiriṣi, tabi awọn fiimu ti o ni igbero iru kan ti a tu silẹ ni awọn ọdun oriṣiriṣi. Ni afikun, nipa idinku nọmba awọn ege ti o n wa lori, o ṣaṣeyọri awọn anfani iṣẹ bii idinku ninu awọn iyipo Sipiyu ati idiyele ti ibeere ile itaja vector, ni afikun si ilọsiwaju ni deede.

Lati lo ẹya sisẹ metadata, o nilo lati pese awọn faili metadata lẹgbẹẹ awọn faili data orisun pẹlu orukọ kanna bi faili data orisun ati .metadata.json suffic. Metadata le jẹ okun, nọmba, tabi Boolean. Atẹle jẹ apẹẹrẹ ti akoonu faili metadata:

{
    "metadataAttributes" : { 
        "tag" : "project EVE",
        "year" :  2016,
        "team": "ninjas"
    }
}

Ẹya sisẹ metadata ti Awọn ipilẹ Imọ fun Amazon Bedrock wa ni Awọn agbegbe AWS US East (N. Virginia) ati US West (Oregon).

Awọn atẹle jẹ awọn ọran lilo wọpọ fun sisẹ metadata:

• Iwe chatbot fun ile-iṣẹ sọfitiwia kan - Eyi ngbanilaaye awọn olumulo lati wa alaye ọja ati awọn itọsọna laasigbotitusita. Awọn asẹ lori ẹrọ iṣẹ tabi ẹya ohun elo, fun apẹẹrẹ, le ṣe iranlọwọ yago fun gbigba awọn iwe aṣẹ ti o ti kọja tabi ti ko ṣe pataki pada.
• Wiwa ibaraẹnisọrọ ti ohun elo agbari kan - Eyi ngbanilaaye awọn olumulo lati wa nipasẹ awọn iwe aṣẹ, awọn kanbans, awọn iwe afọwọkọ gbigbasilẹ ipade, ati awọn ohun-ini miiran. Lilo awọn asẹ metadata lori awọn ẹgbẹ iṣẹ, awọn ẹka iṣowo, tabi awọn ID iṣẹ akanṣe, o le ṣe akanṣe iriri iwiregbe ki o mu ilọsiwaju dara si. Apeere kan yoo jẹ, "Kini ipo ti Sphinx ise agbese ati awọn ewu dide," nibiti awọn olumulo le ṣe àlẹmọ awọn iwe aṣẹ fun iṣẹ akanṣe kan tabi iru orisun (gẹgẹbi imeeli tabi awọn iwe ipade).
• Wiwa oye fun awọn olupilẹṣẹ sọfitiwia - Eyi ngbanilaaye awọn olupilẹṣẹ lati wa alaye ti itusilẹ kan pato. Awọn asẹ lori ẹya itusilẹ, iru iwe (bii koodu, itọkasi API, tabi oro) le ṣe iranlọwọ lati tọka awọn iwe aṣẹ ti o yẹ.

Akopọ ojutu

Ni awọn apakan atẹle, a ṣe afihan bi o ṣe le murasilẹ data lati lo bi ipilẹ oye, ati lẹhinna ibeere pẹlu sisẹ metadata. O le beere boya boya Aṣakoso Iṣakoso AWS tabi SDK.

Mura iwe data fun Awọn ipilẹ Imọ fun Amazon Bedrock

Fun ifiweranṣẹ yii, a lo a apẹẹrẹ dataset nipa awọn ere fidio itan-akọọlẹ lati ṣe apejuwe bi o ṣe le ingest ati gba metadata pada nipa lilo Awọn ipilẹ Imọ fun Amazon Bedrock. Ti o ba fẹ tẹle pẹlu akọọlẹ AWS tirẹ, ṣe igbasilẹ faili naa.

Ti o ba fẹ ṣafikun metadata si awọn iwe aṣẹ rẹ ni ipilẹ oye ti o wa tẹlẹ, ṣẹda awọn faili metadata pẹlu orukọ faili ti a nireti ati ero, lẹhinna foo si igbesẹ lati mu data rẹ ṣiṣẹpọ pẹlu ipilẹ oye lati bẹrẹ ingestion ti afikun.

Ninu iwe data ayẹwo wa, iwe ere kọọkan jẹ faili CSV lọtọ (fun apẹẹrẹ, s3://$bucket_name/video_game/$game_id.csv) pẹlu awọn ọwọn wọnyi:

title, description, genres, year, publisher, score

Awọn metadata ere kọọkan ni suffix .metadata.json (fun apere, s3://$bucket_name/video_game/$game_id.csv.metadata.json) pẹlu eto atẹle:

{
  "metadataAttributes": {
    "id": number, 
    "genres": string,
    "year": number,
    "publisher": string,
    "score": number
  }
}

Ṣẹda ipilẹ imọ fun Amazon Bedrock

Fun awọn itọnisọna lati ṣẹda ipilẹ imọ tuntun, wo Ṣẹda ipilẹ imọ. Fun apẹẹrẹ yii, a lo awọn eto wọnyi:

• Lori Ṣeto orisun data oju-iwe, labẹ Chunking nwon.Mirza, yan Ko si chunking, nitori pe o ti ṣe ilana awọn iwe aṣẹ tẹlẹ ni igbesẹ ti tẹlẹ.
• ni awọn Awoṣe ifibọ apakan, yan Titani G1 Awọn ifibọ - Ọrọ.
• ni awọn Vector database apakan, yan Awọn ọna ṣẹda titun kan fekito itaja. Ẹya sisẹ metadata wa fun gbogbo awọn ile itaja fekito ti o ni atilẹyin.

Muṣiṣẹpọ dataset pẹlu ipilẹ imọ

Lẹhin ti o ṣẹda ipilẹ imọ, ati awọn faili data rẹ ati awọn faili metadata wa ninu ẹya Iṣẹ Ifipamọ Simple Amazon (Amazon S3) garawa, o le bẹrẹ jijẹ ti afikun. Fun awọn itọnisọna, wo Muṣiṣẹpọ lati ingest awọn orisun data rẹ sinu ipilẹ imọ.

Ibeere pẹlu sisẹ metadata lori console Bedrock Amazon

Lati lo awọn aṣayan sisẹ metadata lori console Amazon Bedrock, pari awọn igbesẹ wọnyi:

1. Lori Amazon Bedrock console, yan Awọn ipilẹ imọ ninu ohun elo lilọ kiri.
2. Yan ipilẹ imọ ti o ṣẹda.
3. yan Idanwo mimọ mimọ.
4. yan awọn Awọn iṣeto aami, ki o si faagun Ajọ.
5. Tẹ ipo kan sii nipa lilo ọna kika: bọtini = iye (fun apẹẹrẹ, awọn oriṣi = Ilana) ko si tẹ Tẹ.
6. Lati yi bọtini, iye, tabi oniṣẹ pada, yan ipo naa.
   
7. Tẹsiwaju pẹlu awọn ipo ti o ku (fun apẹẹrẹ, (awọn oriṣi = Ilana ATI ọdun>= 2023) TABI (Rating>= 9))
   
8. Nigbati o ba pari, tẹ ibeere rẹ sii ninu apoti ifiranṣẹ, lẹhinna yan Run.

Fun ifiweranṣẹ yii, a tẹ ibeere naa “Ere ilana kan pẹlu ayaworan itusilẹ itusilẹ lẹhin ọdun 2023.”

Ibeere pẹlu sisẹ metadata nipa lilo SDK

Lati lo SDK, kọkọ ṣẹda alabara fun Awọn aṣoju fun Amazon Bedrock asiko ṣiṣe:

import boto3

bedrock_agent_runtime = boto3.client(
    service_name = "bedrock-agent-runtime"
)

Lẹhinna ṣe àlẹmọ (awọn wọnyi ni awọn apẹẹrẹ diẹ):

# genres = Strategy
single_filter= {
    "equals": {
        "key": "genres",
        "value": "Strategy"
    }
}

# genres = Strategy AND year >= 2023
one_group_filter= {
    "andAll": [
        {
            "equals": {
                "key": "genres",
                "value": "Strategy"
            }
        },
        {
            "GreaterThanOrEquals": {
                "key": "year",
                "value": 2023
            }
        }
    ]
}

# (genres = Strategy AND year >=2023) OR score >= 9
two_group_filter = {
    "orAll": [
        {
            "andAll": [
                {
                    "equals": {
                        "key": "genres",
                        "value": "Strategy"
                    }
                },
                {
                    "GreaterThanOrEquals": {
                        "key": "year",
                        "value": 2023
                    }
                }
            ]
        },
        {
            "GreaterThanOrEquals": {
                "key": "score",
                "value": "9"
            }
        }
    ]
}

Kọja àlẹmọ si retrievalConfiguration ti awọn API imupadabọ or Gba padaAti ipilẹṣẹ APIs:

retrievalConfiguration={
        "vectorSearchConfiguration": {
            "filter": metadata_filter
        }
    }

Tabili ti o tẹle ṣe atokọ awọn idahun diẹ pẹlu oriṣiriṣi awọn ipo sisẹ metadata.

Ni afikun si metadata aṣa, o tun le ṣe àlẹmọ nipa lilo awọn asọtẹlẹ S3 (eyiti o jẹ metadata ti a ṣe sinu, nitorinaa o ko nilo lati pese awọn faili metadata eyikeyi). Fun apẹẹrẹ, ti o ba ṣeto awọn iwe aṣẹ ere sinu awọn asọtẹlẹ nipasẹ olutẹwe (fun apẹẹrẹ, s3://$bucket_name/video_game/$publisher/$game_id.csv), o le ṣe àlẹmọ pẹlu atẹwe kan pato (fun apẹẹrẹ, neo_tokyo_games) lilo sintasi wọnyi:

publisher_filter = {
    "startsWith": {
                    "key": "x-amz-bedrock-kb-source-uri",
                    "value": "s3://$bucket_name/video_game/neo_tokyo_games/"
                }
}

Nu kuro

Lati nu awọn orisun rẹ nu, pari awọn igbesẹ wọnyi:

1. Pa ipilẹ imọ rẹ kuro:
   1. Lori Amazon Bedrock console, yan Awọn ipilẹ imọ labẹ Orilẹ-ede ninu ohun elo lilọ kiri.
   2. Yan ipilẹ imọ ti o ṣẹda.
   3. Ṣe akiyesi awọn Idanimọ AWS ati Isakoso Wiwọle (IAM) iṣẹ ipa orukọ ninu awọn Akopọ ipilẹ imọ apakan.
   4. ni awọn Vector database apakan, ṣe akiyesi ARN gbigba.
   5. yan pa, lẹhinna tẹ paarẹ lati jẹrisi.
2. Pa aaye data vector rẹ kuro:
   1. Lori Amazon OpenSearch Service console, yan collections labẹ Serverless ninu ohun elo lilọ kiri.
   2. Tẹ ikojọpọ ARN ti o fipamọ sinu ọpa wiwa.
   3. Yan awọn gbigba ati ki o yan pa.
   4. Tẹ ijẹrisi sii ni itọsi idaniloju, lẹhinna yan pa.
3. Pa ipa iṣẹ IAM rẹ:
   1. Lori console IAM, yan Awọn ipa ninu ohun elo lilọ kiri.
   2. Wa orukọ ipa ti o ṣe akiyesi tẹlẹ.
   3. Yan ipa ati yan pa.
   4. Tẹ orukọ ipa sii ninu ifẹsẹmulẹ tọ ki o pa ipa naa rẹ.
4. Pa data ayẹwo naa:
   1. Lori Amazon S3 console, lilö kiri si garawa S3 ti o lo.
   2. Yan ìpele ati awọn faili, lẹhinna yan pa.
   3. Tẹ piparẹ patapata ninu itọsi idaniloju lati parẹ.

ipari

Ninu ifiweranṣẹ yii, a bo ẹya sisẹ metadata ni Awọn ipilẹ Imọ fun Amazon Bedrock. O kọ bi o ṣe le ṣafikun metadata aṣa si awọn iwe aṣẹ ati lo wọn bi awọn asẹ lakoko mimuwapada ati ibeere awọn iwe aṣẹ nipa lilo console Bedrock Amazon ati SDK. Eyi ṣe iranlọwọ ilọsiwaju iṣedede ipo, ṣiṣe awọn idahun ibeere paapaa ti o wulo diẹ sii lakoko ti o n ṣaṣeyọri idinku ninu idiyele ti ibeere data data fekito.

Fun awọn orisun afikun, tọka si atẹle naa:

Nipa awọn onkọwe

Corvus Lee jẹ ayaworan ile-iṣẹ Solusan Labs GenAI Alagba ti o da ni Ilu Lọndọnu. O ni itara nipa sisọ ati idagbasoke awọn apẹrẹ ti o lo AI ipilẹṣẹ lati yanju awọn iṣoro alabara. O tun tọju pẹlu awọn idagbasoke tuntun ni AI ipilẹṣẹ ati awọn ilana imupadabọ nipa lilo wọn si awọn oju iṣẹlẹ gidi-aye.

Ahmed Ewi jẹ Onitumọ Awọn Solusan Agba ni AWS GenAI Labs, ṣe iranlọwọ fun awọn alabara lati kọ awọn apẹrẹ AI ipilẹṣẹ lati yanju awọn iṣoro iṣowo. Nigbati ko ba ṣe ifowosowopo pẹlu awọn alabara, o gbadun ṣiṣere pẹlu awọn ọmọ wẹwẹ rẹ ati sise.

Chris Pecora jẹ Onimọ-jinlẹ Data AI Generative ni Awọn iṣẹ wẹẹbu Amazon. O ni itara nipa kikọ awọn ọja imotuntun ati awọn solusan lakoko ti o tun dojukọ lori imọ-imọ-ifẹ afẹju alabara. Nigbati ko nṣiṣẹ awọn adanwo ati ṣiṣe pẹlu awọn idagbasoke tuntun ni GenAI, o nifẹ lilo akoko pẹlu awọn ọmọ wẹwẹ rẹ.

• SEO Agbara akoonu & PR Pinpin. Gba Imudara Loni.
• PlatoData.Network inaro Generative Ai. Fi agbara fun ara Rẹ. Wọle si Nibi.
• PlatoAiStream. Web3 oye. Imo Amugbadun. Wọle si Nibi.
• PlatoESG. Erogba, CleanTech, Agbara, Ayika, Oorun, Isakoso Egbin. Wọle si Nibi.
• PlatoHealth. Imọ-ẹrọ Imọ-ẹrọ ati Awọn Idanwo Ile-iwosan. Wọle si Nibi.
• Orisun: https://aws.amazon.com/blogs/machine-learning/knowledge-bases-for-amazon-bedrock-now-supports-metadata-filtering-to-improve-retrieval-accuracy/