Awọn ile-iṣẹ kọja awọn ile-iṣẹ n lo akopọ ọrọ adaṣe lati mu awọn alaye lọpọlọpọ mu daradara siwaju sii ati ṣe awọn ipinnu to dara julọ. Ni eka eto-owo, awọn banki idoko-owo ṣe ijabọ awọn dukia si isalẹ si awọn ọna gbigbe bọtini lati ṣe itupalẹ iṣẹ ṣiṣe idamẹrin ni iyara. Awọn ile-iṣẹ media lo akopọ lati ṣe atẹle awọn iroyin ati media media ki awọn oniroyin le yara kọ awọn itan lori awọn ọran idagbasoke. Awọn ile-iṣẹ ijọba ṣe akopọ awọn iwe aṣẹ eto imulo gigun ati awọn ijabọ lati ṣe iranlọwọ fun awọn oluṣe imulo ilana ati ṣeto awọn ibi-afẹde.

Nipa ṣiṣẹda awọn ẹya ti dira fun gigun, awọn iwe aṣẹ ti o nipọn, imọ-ẹrọ akopọ jẹ ki awọn olumulo le dojukọ akoonu ti o ga julọ. Eyi nyorisi oye ti o dara julọ ati idaduro alaye pataki. Awọn ifowopamọ akoko gba awọn ti o niiyan laaye lati ṣe ayẹwo awọn ohun elo diẹ sii ni akoko diẹ, nini irisi ti o gbooro sii. Pẹlu oye imudara ati awọn oye ti iṣelọpọ diẹ sii, awọn ajo le ṣe awọn ipinnu ilana imudara to dara julọ, mu ki iwadii pọ si, mu iṣelọpọ pọ si, ati mu ipa wọn pọ si. Agbara iyipada ti awọn agbara akopọ to ti ni ilọsiwaju yoo tẹsiwaju lati dagba nikan bi awọn ile-iṣẹ diẹ sii ṣe gba oye itetisi atọwọda (AI) lati mu awọn ṣiṣan alaye ti nkún.

Ninu ifiweranṣẹ yii, a ṣawari awọn isunmọ idari fun iṣiro iṣiro akopọ ni ifojusọna, pẹlu awọn metiriki ROUGE, METEOR, ati BERTScore. Imọye awọn agbara ati ailagbara ti awọn ilana wọnyi le ṣe iranlọwọ itọsọna yiyan ati awọn igbiyanju ilọsiwaju. Ibi-afẹde gbogbogbo ti ifiweranṣẹ yii ni lati ṣe alaye igbelewọn akopọ lati ṣe iranlọwọ fun awọn ẹgbẹ iṣẹ ṣiṣe ala to dara julọ lori agbara pataki yii bi wọn ṣe n wa lati mu iye pọ si.

Awọn oriṣi ti akopọ

Akopọ le ṣe pin si awọn oriṣi akọkọ meji: akopọ jade ati akopọ abstractive. Awọn ọna mejeeji ni ifọkansi lati di awọn ege ọrọ gigun sinu awọn fọọmu kukuru, yiya alaye to ṣe pataki julọ tabi koko ti akoonu atilẹba, ṣugbọn wọn ṣe bẹ ni awọn ọna oriṣiriṣi ipilẹ.

Akopọ iyanju jẹ idamọ ati yiyọ awọn gbolohun ọrọ, awọn gbolohun ọrọ, tabi awọn abala lati ọrọ atilẹba laisi iyipada wọn. Eto naa yan awọn apakan ti ọrọ ti a ro pe alaye julọ tabi aṣoju ti gbogbo rẹ. Akopọ isediwon jẹ iwulo ti deede ba ṣe pataki ati pe akopọ nilo lati ṣe afihan alaye gangan lati ọrọ atilẹba. Iwọnyi le jẹ awọn ọran lilo bii titọkasi awọn ofin ofin kan pato, awọn adehun, ati awọn ẹtọ ti a ṣe ilana ni awọn ofin lilo. Awọn imọ-ẹrọ ti o wọpọ julọ ti a lo fun akopọ isọdi jẹ ọrọ igbohunsafẹfẹ-inverse iwe igbohunsafẹfẹ (TF-IDF), igbelewọn gbolohun ọrọ, algorithm ipo ọrọ, ati ikẹkọ ẹrọ abojuto (ML).

Akopọ abstractive lọ ni igbesẹ kan siwaju nipa jiṣẹ awọn gbolohun ọrọ titun ati awọn gbolohun ọrọ ti ko si ninu ọrọ atilẹba, ni pataki paraphrasing ati sisọ akoonu atilẹba. Ọna yii nilo oye ti o jinlẹ ti ọrọ naa, nitori AI nilo lati ṣe itumọ itumọ ati lẹhinna ṣafihan rẹ ni fọọmu tuntun, ṣoki. Awọn awoṣe ede ti o tobi julọ (LLMs) dara julọ fun akopọ abstractive nitori awọn awoṣe transformer lo awọn ọna ifarabalẹ lati dojukọ awọn apakan ti o baamu ti ọrọ titẹ sii nigbati o ba n ṣe awọn akopọ. Ilana ifarabalẹ gba awoṣe laaye lati fi awọn iwọn oriṣiriṣi si awọn oriṣiriṣi awọn ọrọ tabi awọn ami-ami ni ọna titẹ sii, ti o mu ki o gba awọn igbẹkẹle gigun ati alaye ti o ni ibatan.

Ni afikun si awọn oriṣi akọkọ meji wọnyi, awọn isunmọ arabara wa ti o ṣajọpọ awọn ọna iyọkuro ati awọn ọna abstractive. Awọn isunmọ wọnyi le bẹrẹ pẹlu akopọ isediwon lati ṣe idanimọ akoonu pataki julọ ati lẹhinna lo awọn imọ-ẹrọ abstractive lati tun-kọ tabi di akoonu yẹn sinu akopọ pipe.

Ipenija

Wiwa ọna ti o dara julọ lati ṣe iṣiro didara akopọ jẹ ipenija ṣiṣi. Bii awọn ile-iṣẹ ṣe n gbarale ṣoki akopọ ọrọ aladaaṣe lati sọ alaye bọtini kuro lati awọn iwe aṣẹ, iwulo dagba fun awọn ilana imuduro lati wiwọn iṣedede akopọ. Ni deede, awọn metiriki igbelewọn wọnyi yoo ṣe iwọn bawo ni awọn akopọ ti ẹrọ ti ipilẹṣẹ daradara ṣe yọ akoonu ti o ni itara julọ lati awọn ọrọ orisun ati awọn akopọ isọpọ lọwọlọwọ ti n ṣe afihan itumọ atilẹba ati agbegbe.

Sibẹsibẹ, idagbasoke awọn ilana igbelewọn to lagbara fun akopọ ọrọ ṣafihan awọn iṣoro:

• Awọn akopọ itọkasi ti ara ẹni ti a kọ silẹ ti a lo fun lafiwe nigbagbogbo n ṣe afihan iyipada giga ti o da lori awọn ipinnu ero-ọrọ ti pataki
• Awọn abala ti o ni iyasọtọ ti didara akojọpọ bi irọrun, kika, ati isọdọkan jẹri pe o nira lati ṣe iwọn ni eto
• Iyatọ nla wa kọja awọn ọna akopọ lati awọn algoridimu iṣiro si awọn nẹtiwọọki nkankikan, idiju awọn afiwera taara

Oye Iṣalaye-Ìrántí fun Igbelewọn Gisting (ROUGE)

ROUGE metiriki, gẹgẹ bi ROUGE-N ati ROUGE-L, ṣe ipa pataki ni iṣiro didara awọn akopọ ti ẹrọ ti a ṣe ni akawe si awọn atokọ itọkasi kikọ eniyan. Awọn metiriki wọnyi dojukọ lori ṣiṣe iṣiro agbekọja laarin akoonu ti ẹrọ ti ipilẹṣẹ ati awọn akopọ ti ẹda eniyan nipasẹ ṣiṣe itupalẹ awọn n-grams, eyiti o jẹ awọn ẹgbẹ ti awọn ọrọ tabi awọn ami. Fun apẹẹrẹ, ROUGE-1 ṣe iṣiro ibaramu ti awọn ọrọ kọọkan (awọn ẹyọkan), lakoko ti ROUGE-2 ṣe akiyesi awọn orisii awọn ọrọ (bigrams). Ni afikun, ROUGE-N ṣe iṣiro atẹle ti o wọpọ julọ ti awọn ọrọ laarin awọn ọrọ meji, gbigba fun irọrun ni aṣẹ ọrọ.

Lati ṣapejuwe eyi, ro awọn apẹẹrẹ wọnyi:

• ROGUE-1 metric - ROUGE-1 ṣe iṣiro agbekọja ti awọn unigrams (awọn ọrọ ẹyọkan) laarin akopọ ti ipilẹṣẹ ati akopọ itọkasi kan. Fun apẹẹrẹ, ti akopọ itọkasi kan ba ni “Awọn fox brown brown ti o yara,” ati pe akopọ ti ipilẹṣẹ ni “Akata brown fox yarayara,” ROUGE-1 metric yoo gbero “brown,” “fox,” ati “fo” bi agbekọja. awọn aworan atọka. ROUGE-1 fojusi lori wiwa ti awọn ọrọ kọọkan ninu awọn akojọpọ, wiwọn bi akopọ ti ipilẹṣẹ ṣe mu awọn ọrọ pataki lati akopọ itọkasi.
• ROGUE-2 metric - ROUGE-2 ṣe ayẹwo ifasilẹ ti awọn bigrams (awọn orisii awọn ọrọ ti o wa nitosi) laarin akopọ ti ipilẹṣẹ ati akopọ itọkasi. Fun apẹẹrẹ, ti akopọ itọkasi ba ni “Ologbo naa n sun,” ati pe akopọ ti ipilẹṣẹ ka “Ologbo kan n sun,” ROUGE-2 yoo ṣe idanimọ “ologbo ni” ati “n sun” bi bigram agbekọja. ROUGE-2 n pese oye sinu bawo ni akopọ ti ipilẹṣẹ daradara ṣe ṣetọju ọna ati ipo ti awọn orisii ọrọ ni akawe si akopọ itọkasi.
• ROUGE-N metiriki - ROUGE-N jẹ fọọmu gbogbogbo nibiti N ṣe aṣoju nọmba eyikeyi, gbigba igbelewọn ti o da lori awọn giramu (awọn ilana ti awọn ọrọ N). Ti o ba ṣe akiyesi N = 3, ti apejuwe itọkasi ba sọ pe "Oorun n tan imọlẹ," ati pe akopọ ti ipilẹṣẹ jẹ "Oorun ti n tan imọlẹ," ROUGE-3 yoo mọ "oorun ti nmọlẹ" gẹgẹbi trigram ti o baamu. ROUGE-N nfunni ni irọrun lati ṣe iṣiro awọn akopọ ti o da lori awọn ipari gigun ti awọn ilana ọrọ, n pese igbelewọn okeerẹ diẹ sii ti iṣakojọpọ akoonu.

Awọn apẹẹrẹ wọnyi ṣe apejuwe bi ROUGE-1, ROUGE-2, ati awọn metiriki ROUGE-N ṣe n ṣiṣẹ ni iṣiro iṣiro adaṣe adaṣe tabi awọn iṣẹ-ṣiṣe itumọ ẹrọ nipa ifiwera awọn akopọ ti ipilẹṣẹ pẹlu awọn atokọ itọkasi ti o da lori awọn ipele oriṣiriṣi ti awọn ilana ọrọ.

Ṣe iṣiro Dimegilio ROUGE-N kan

O le lo awọn igbesẹ wọnyi lati ṣe iṣiro Dimegilio ROUGE-N kan:

1. Ṣe ami akojọpọ ti ipilẹṣẹ ati akopọ itọkasi sinu awọn ọrọ kọọkan tabi awọn ami-ami nipa lilo awọn ọna isamisi ipilẹ bii pipin nipasẹ aaye funfun tabi awọn ile-ikawe sisẹ ede abinibi (NLP).
2. Ṣe awọn n-grams (awọn ilana ti o tẹle ti awọn ọrọ N) lati inu akojọpọ ti ipilẹṣẹ mejeeji ati akopọ itọkasi.
3. Ka nọmba awọn giramu agbekọja laarin akopọ ti ipilẹṣẹ ati akopọ itọkasi.
4. Ṣe iṣiro deedee, iranti, ati Dimegilio F1:
   • konge - Nọmba awọn giramu agbekọja ti o pin nipasẹ apapọ nọmba ti n-giramu ninu akopọ ti ipilẹṣẹ.
   • ÌRÁNTÍ - Nọmba awọn giramu agbekọja ti pin nipasẹ apapọ nọmba ti n-giramu ninu akopọ itọkasi.
   • Dimegilio F1 - Itumọ ibaramu ti konge ati iranti, iṣiro bi (2 * konge * ÌRÁNTÍ) / (konge + ÌRÁNTÍ).
5. Iwọn apapọ F1 ti a gba lati iṣiro deede, iranti, ati Dimegilio F1 fun ila kọọkan ninu iwe data ni a gba bi Dimegilio ROUGE-N.

idiwọn

ROGUE ni awọn idiwọn wọnyi:

• Dín idojukọ lori lexical ni lqkan - Ero pataki ti o wa lẹhin ROUGE ni lati ṣe afiwe akopọ ti ipilẹṣẹ eto si ipilẹ ti itọkasi tabi awọn akopọ ti eniyan ṣẹda, ati wiwọn ifasilẹ lexical laarin wọn. Eyi tumọ si ROUGE ni idojukọ dín pupọ lori ibajọra ipele-ọrọ. Ko ṣe iṣiro itumọ itumọ gangan, isokan, tabi kika ti akopọ. Eto kan le ṣaṣeyọri awọn ikun ROUGE giga nipa yiyọ awọn gbolohun ọrọ jade ni ọrọ-fun-ọrọ lati inu ọrọ atilẹba, laisi ipilẹṣẹ isomọ tabi akopọ ṣoki.
• Insensitivity to paraphrasing - Nitori ROUGE da lori ibaramu lexical, ko le rii ibaramu atunmọ laarin awọn ọrọ ati awọn gbolohun ọrọ. Nitorinaa, sisọ-ọrọ ati lilo awọn ọrọ isọdọkan yoo nigbagbogbo ja si awọn ikun ROUGE kekere, paapaa ti itumọ naa ba wa ni fipamọ. Eyi ṣe alailanfani awọn ọna ṣiṣe ti o sọ asọye tabi ṣe akopọ ni ọna aibikita.
• Aini oye atunmọ - ROUGE ko ṣe iṣiro boya eto naa loye nitootọ awọn itumọ ati awọn imọran ninu ọrọ atilẹba. Akopọ le ṣaṣeyọri ifapọ lexical giga pẹlu awọn itọkasi, lakoko ti o padanu awọn imọran akọkọ tabi ti o ni awọn aiṣedeede otitọ ninu. ROUGE kii yoo ṣe idanimọ awọn ọran wọnyi.

Nigbati lati lo ROUGE

ROUGE rọrun ati yara lati ṣe iṣiro. Lo o bi ipilẹ tabi ala fun didara akopọ ti o ni ibatan si yiyan akoonu. Awọn metiriki ROUGE jẹ iṣẹ ti o munadoko julọ ni awọn oju iṣẹlẹ ti o kan awọn iṣẹ ṣiṣe akopọ abstractive, igbelewọn akopọ adaṣe, awọn igbelewọn ti LLMs, ati awọn itupalẹ afiwera ti awọn ọna akopọ oriṣiriṣi. Nipa lilo awọn metiriki ROUGE ni awọn aaye wọnyi, awọn ti o nii ṣe le ṣe iṣiro iwọn didara ati imunadoko ti awọn ilana iran akojọpọ.

Metiriki fun Iṣayẹwo Itumọ pẹlu Pipaṣẹ Titọ (METEOR)

Ọkan ninu awọn italaya pataki ni iṣayẹwo awọn ọna ṣiṣe akopọ jẹ ṣiṣe ayẹwo bawo ni akopọ ti ipilẹṣẹ ṣe nṣan daradara daradara, dipo yiyan awọn ọrọ ti o yẹ ati awọn gbolohun ọrọ lati inu ọrọ orisun. Nìkan yiyo awọn koko-ọrọ to wulo ati awọn gbolohun ọrọ ko ni dandan gbejade akojọpọ isokan ati akojọpọ. Akopọ yẹ ki o ṣan laisiyonu ki o so awọn imọran pọ pẹlu ọgbọn, paapaa ti wọn ko ba gbekalẹ ni ilana kanna bi iwe atilẹba.

Ni irọrun ti ibaamu nipasẹ didin awọn ọrọ si gbongbo wọn tabi fọọmu ipilẹ (Fun apẹẹrẹ, lẹhin ti stemming, awọn ọrọ bii “nṣiṣẹ,” “ṣiṣe,” ati “ran” gbogbo wọn di “ṣiṣe”) ati awọn itumọ ọrọ-ọrọ. METEOR ṣe atunṣe dara julọ pẹlu awọn idajọ eniyan ti didara akojọpọ. O le ṣe idanimọ ti akoonu pataki ba wa ni ipamọ, paapaa ti ọrọ ba yatọ. Eyi jẹ anfani bọtini kan lori awọn metiriki orisun n-gram bi ROUGE, eyiti o wa awọn ibaamu awọn ami-ami deede. METEOR tun funni ni awọn ikun ti o ga julọ si awọn akopọ ti o dojukọ akoonu ti o ga julọ lati itọkasi. Awọn ikun kekere ni a fun ni atunwi tabi alaye ti ko ṣe pataki. Eyi ṣe deede daradara pẹlu ibi-afẹde ti akopọ lati tọju akoonu pataki julọ nikan. METEOR jẹ metiriki itumọ itumọ ti o le bori diẹ ninu awọn idiwọn ti ibaramu n-gram fun iṣiro akopọ ọrọ. Iṣakojọpọ ti stemming ati awọn itumọ-ọrọ ngbanilaaye fun igbelewọn to dara julọ ti alaye ni lqkan ati deede akoonu.

Lati ṣapejuwe eyi, ro awọn apẹẹrẹ wọnyi:

Akopọ itọkasi: Awọn leaves ṣubu lakoko Igba Irẹdanu Ewe.

Akopọ ti ipilẹṣẹ 1: Awọn leaves ṣubu ni isubu.

Akopọ ti ipilẹṣẹ 2: Fi alawọ ewe silẹ ni igba otutu.

Awọn ọrọ ti o baamu laarin itọkasi ati ipilẹṣẹ 1 ni a ṣe afihan:

Akopọ itọkasi: leaves ti kuna nigba Igba Irẹdanu Ewe.

Akopọ ti ipilẹṣẹ 1: leaves ju sinu ti kuna.

Paapaa botilẹjẹpe “isubu” ati “Igba Irẹdanu Ewe” yatọ si awọn ami-ami, METEOR ṣe idanimọ wọn bi awọn itumọ-ọrọ nipasẹ ibaramu bakannaa rẹ. “Ju silẹ” ati “ṣubu” ni a damọ gẹgẹ bi isunmọ ti o gbin. Fun akopọ ti ipilẹṣẹ 2, ko si awọn ere-kere pẹlu akopọ itọkasi lẹgbẹẹ “Awọn iwe,” nitorinaa akopọ yii yoo gba Dimegilio METEOR kekere pupọ. Awọn ere-kere ti o ni itumọ diẹ sii, ti o ga julọ Dimegilio METEOR. Eyi n gba METEOR laaye lati ṣe iṣiro akoonu dara julọ ati deede ti awọn akopọ ni akawe si ibaramu n-gram ti o rọrun.

Ṣe iṣiro Dimegilio METEOR kan

Pari awọn igbesẹ wọnyi lati ṣe iṣiro Dimegilio METEOR kan:

1. Ṣe ami akojọpọ ti ipilẹṣẹ ati akopọ itọkasi sinu awọn ọrọ kọọkan tabi awọn ami-ami nipa lilo awọn ọna isamisi ipilẹ bii pipin nipasẹ aaye funfun tabi awọn ile ikawe NLP.
2. Ṣe iṣiro deedee unigram, iranti, ati Dimegilio tumọ F, fifun ni iwuwo diẹ sii lati ranti ju konge lọ.
3. Waye ijiya fun awọn ibaamu deede lati yago fun tẹnumọ wọn gaju. A yan ijiya naa ti o da lori awọn abuda ipilẹ data, awọn ibeere iṣẹ-ṣiṣe, ati iwọntunwọnsi laarin pipe ati iranti. Yọkuro ijiya yii kuro ni Dimegilio F-tumosi ti a ṣe iṣiro ni Igbesẹ 2.
4. Ṣe iṣiro iṣiro F-tumosi fun awọn fọọmu ti o ni iyọkuro (idinku awọn ọrọ si ipilẹ wọn tabi fọọmu gbongbo) ati awọn itumọ-ọrọ fun awọn unigram nibiti o wulo. Ṣe akopọ eyi pẹlu iṣiro F-tumọ iṣiro iṣaaju lati gba Dimegilio METEOR ikẹhin. Iwọn METEOR naa wa lati 0–1, nibiti 0 ko tọka si ibajọra laarin akopọ ti ipilẹṣẹ ati akopọ itọkasi, ati pe 1 tọkasi titete pipe. Ni deede, awọn ikun akopọ ṣubu laarin 0-0.6.

idiwọn

Nigbati o ba nlo metiriki METEOR fun iṣiro awọn iṣẹ ṣiṣe akopọ, ọpọlọpọ awọn italaya le dide:

• Idiju atunmọ – Itẹnumọ METEOR lori ibajọra atunmọ le tiraka lati mu awọn itumọ nuanced ati ọrọ-ọrọ ni awọn iṣẹ ṣiṣe akopọ idiju, ti o le yori si awọn aiṣedeede ni igbelewọn.
• Iyatọ itọkasi - Iyipada ninu awọn akopọ itọkasi ti ipilẹṣẹ eniyan le ni ipa awọn ikun METEOR, nitori awọn iyatọ ninu akoonu itọkasi le ni ipa lori igbelewọn ti awọn akopọ ti ipilẹṣẹ ẹrọ.
• Oniruuru ede – Imudara METEOR le yatọ ni gbogbo awọn ede nitori awọn iyatọ ede, awọn iyatọ sintasi, ati awọn nuances atọmọ, ti n fa awọn ipenija ninu awọn igbelewọn akopọ multilingual.
• Iyatọ gigun - Ṣiṣayẹwo awọn akopọ ti awọn gigun ti o yatọ le jẹ nija fun METEOR, nitori awọn iyatọ ni ipari ti a fiwewe si akopọ itọkasi le ja si awọn ijiya tabi awọn aiṣedeede ni iṣiro.
• Iṣatunṣe paramita + Imudara awọn aye METEOR fun oriṣiriṣi datasets ati awọn iṣẹ ṣiṣe akopọ le jẹ akoko-n gba ati nilo yiyi iṣọra lati rii daju pe metric pese awọn igbelewọn deede.
• Iyatọ igbelewọn - Ewu ti irẹjẹ igbelewọn wa pẹlu METEOR ti ko ba tunṣe daradara tabi ṣatunṣe fun awọn agbegbe akopọ tabi awọn iṣẹ ṣiṣe. Eyi le ja si awọn abajade skewed ati ni ipa lori igbẹkẹle ti ilana igbelewọn.

Nipa mimọ ti awọn italaya wọnyi ati gbero wọn nigba lilo METEOR bi metiriki fun awọn iṣẹ ṣiṣe akopọ, awọn oniwadi ati awọn oṣiṣẹ le ṣe lilö kiri awọn idiwọn agbara ati ṣe awọn ipinnu alaye diẹ sii ninu awọn ilana igbelewọn wọn.

Nigbawo lati lo METEOR

METEOR jẹ lilo nigbagbogbo lati ṣe iṣiro didara awọn akopọ ọrọ laifọwọyi. O dara julọ lati lo METEOR gẹgẹbi metiriki igbelewọn nigbati aṣẹ ti awọn imọran, awọn imọran, tabi awọn nkan ninu awọn ọrọ akopọ. METEOR ṣe akiyesi aṣẹ ati ibaamu n-grams laarin akopọ ti ipilẹṣẹ ati awọn atokọ itọkasi. O san awọn akopọ ti o tọju alaye lẹsẹsẹ. Ko dabi awọn metiriki bii ROUGE, eyiti o gbẹkẹle agbekọja ti awọn giramu n-gira pẹlu awọn akopọ itọkasi, awọn ibaamu METEOR, awọn itumọ ọrọ, ati awọn asọye. METEOR ṣiṣẹ dara julọ nigbati ọpọlọpọ awọn ọna ti o tọ le wa lati ṣe akopọ ọrọ atilẹba naa. METEOR ṣafikun awọn itumọ ọrọ-ọrọ WordNet ati awọn ami ti o ni eso nigbati o baamu awọn giramu n-gram. Ni kukuru, awọn akojọpọ ti o jọra ni itumo ṣugbọn lo awọn ọrọ oriṣiriṣi tabi awọn gbolohun ọrọ yoo tun ṣe Dimegilio daradara. METEOR ni ijiya ti a ṣe sinu rẹ fun awọn akojọpọ pẹlu awọn n-giramu ti atunwi. Nitorinaa, o ṣe irẹwẹsi isediwon ọrọ-fun-ọrọ tabi aini ti abstraction. METEOR jẹ yiyan ti o dara nigbati ibajọra atunmọ, ilana ti awọn imọran, ati awọn abọ-ọrọ ti o lọra jẹ pataki fun ṣiṣe idajọ didara akopọ. Ko yẹ fun awọn iṣẹ-ṣiṣe nibiti ifapọ lexical nikan pẹlu awọn akopọ itọkasi ṣe pataki.

BERTScore

Awọn igbese lexical ipele-dada bi ROUGE ati METEOR ṣe iṣiro awọn ọna ṣiṣe akopọ nipa ifiwera ọrọ ni lqkan laarin akopọ oludije ati akopọ itọkasi kan. Bibẹẹkọ, wọn gbẹkẹle igbẹkẹle lori ibaramu okun gangan laarin awọn ọrọ ati awọn gbolohun ọrọ. Eyi tumọ si pe wọn le padanu awọn ibajọra atunmọ laarin awọn ọrọ ati awọn gbolohun ọrọ ti o ni oriṣiriṣi awọn fọọmu oju-aye ṣugbọn awọn itumọ ti o jọra. Nipa gbigberale lori ibaramu dada nikan, awọn metiriki wọnyi le dinku didara awọn akopọ eto ti o lo awọn ọrọ isọdọkan tabi awọn imọran asọye yatọ si awọn akopọ itọkasi. Awọn akopọ meji le sọ alaye ti o jọra ṣugbọn gba awọn ipele ipele ipele kekere nitori awọn iyatọ ọrọ.

BERTScore jẹ ọna lati ṣe iṣiro laifọwọyi bi akopọ ṣe dara to nipa fifiwera si akopọ itọkasi ti eniyan kọ. O nlo BERT, ilana NLP olokiki, lati loye itumọ ati ọrọ ọrọ ninu akopọ oludije ati akopọ itọkasi. Ni pataki, o n wo ọrọ kọọkan tabi ami ami-ami ninu akopọ oludije ati rii ọrọ ti o jọra julọ ninu akopọ itọkasi ti o da lori awọn ifibọ BERT, eyiti o jẹ awọn aṣoju fekito ti itumọ ati ipo ọrọ kọọkan. O ṣe iwọn ifarakanra ni lilo ibajọra cosine, eyiti o sọ bi o ṣe sunmo ara wọn si ara wọn. Fun ọrọ kọọkan ninu akopọ oludije, o wa ọrọ ti o ni ibatan julọ ninu akopọ itọkasi nipa lilo oye BERT ti ede. O ṣe afiwe gbogbo awọn afijq ọrọ wọnyi kọja gbogbo akopọ lati gba Dimegilio gbogbogbo ti bii itumọ-ọrọ ti akopọ oludije jẹ si akopọ itọkasi. Awọn ọrọ ati awọn itumọ ti o jọra diẹ sii nipasẹ BERT, ga ni BERTScore. Eyi ngbanilaaye lati ṣe iṣiro didara akopọ ti ipilẹṣẹ laifọwọyi nipa ifiwera si itọkasi eniyan laisi nilo igbelewọn eniyan ni akoko kọọkan.

Láti ṣàkàwé èyí, fojú inú wò ó pé o ní àkópọ̀ ẹ̀rọ kan pé: “Ọ̀kọ̀ọ̀kan aláwọ̀ búrẹ́dì tí ń yára fò lé ajá ọ̀lẹ.” Ní báyìí, ẹ jẹ́ ká ṣàyẹ̀wò àkópọ̀ ìtọ́kasí tí ẹ̀dá ènìyàn ṣe: “Ọkọ̀lọ̀kọ̀lọ̀ aláwọ̀ búrẹ́dì tí ó yára fò lé orí àjàrà tí ń sùn.”

Ṣe iṣiro BERTScore kan

Pari awọn igbesẹ wọnyi lati ṣe iṣiro BERTScore kan:

1. BERTScore nlo awọn ifibọ ọrọ-ọrọ lati ṣe aṣoju ami-ami kọọkan ninu mejeeji oludije (ti ipilẹṣẹ ẹrọ) ati awọn gbolohun ọrọ itọkasi (ti a ṣe nipasẹ eniyan). Awọn ifibọ ọrọ-ọrọ jẹ iru aṣoju ọrọ ni NLP ti o gba itumọ ọrọ kan ti o da lori ipo rẹ laarin gbolohun ọrọ tabi ọrọ. Ko dabi awọn ifibọ ọrọ ibilẹ ti o fi fekito ti o wa titi si ọrọ kọọkan laibikita agbegbe rẹ, awọn ifibọ ọrọ-ọrọ ṣe akiyesi awọn ọrọ agbegbe lati ṣe afihan aṣoju alailẹgbẹ fun ọrọ kọọkan ti o da lori bii o ṣe lo ni gbolohun kan pato.
2. Metiriki lẹhinna ṣe iṣiro ibajọra laarin ami-ami kọọkan ninu gbolohun oludije pẹlu ami-ami kọọkan ninu gbolohun ọrọ itọkasi nipa lilo ibajọra cosine. Ijọra Cosine ṣe iranlọwọ fun wa lati ṣe iwọn bi awọn eto data meji ti o ni ibatan pẹkipẹki ṣe jẹ nipa didojukọ si itọsọna ti wọn tọka si aaye onisẹpo pupọ, ṣiṣe ni ohun elo ti o niyelori fun awọn iṣẹ ṣiṣe bii algorithms wiwa, NLP, ati awọn eto iṣeduro.
3. Nipa ifiwera awọn ifibọ ọrọ-ọrọ ati awọn iṣiro ibajọra fun gbogbo awọn ami-ami, BERTScore ṣe agbekalẹ igbelewọn okeerẹ ti o mu ibaramu itumọ ati ọrọ-ọrọ ti akopọ ti ipilẹṣẹ ni akawe si itọkasi ti ẹda eniyan.
4. Ipari BERTScore ti o kẹhin n pese Dimegilio ibajọra ti o ṣe afihan bii akopọ ti ẹrọ ti ipilẹṣẹ ṣe dara dara pẹlu akopọ itọkasi ni awọn ofin ti itumọ ati ọrọ-ọrọ.

Ni pataki, BERTScore lọ kọja awọn metiriki ibile nipa gbigberoye awọn nuances atunmọ ati ọrọ-ọrọ ti awọn gbolohun ọrọ, nfunni ni igbelewọn fafa diẹ sii ti o ṣe afihan idajọ eniyan ni pẹkipẹki. Ọna to ti ni ilọsiwaju yii ṣe alekun deede ati igbẹkẹle ti iṣiro awọn iṣẹ ṣiṣe akopọ, ṣiṣe BERTScore jẹ ohun elo ti o niyelori ni iṣiro awọn eto iran ọrọ.

idiwọn:

Botilẹjẹpe BERTScore nfunni awọn anfani pataki ni iṣiro awọn iṣẹ ṣiṣe akopọ, o tun wa pẹlu awọn idiwọn kan ti o nilo lati gbero:

• Iṣiro kikankikan - BERTScore le jẹ aladanla oniṣiro nitori igbẹkẹle rẹ lori awọn awoṣe ede ti a ti kọkọ tẹlẹ bi BERT. Eyi le ja si awọn akoko igbelewọn gigun, ni pataki nigba ṣiṣe awọn iwọn nla ti data ọrọ.
• Igbẹkẹle lori awọn awoṣe ti a ti kọ tẹlẹ – Imudara ti BERTScore jẹ igbẹkẹle pupọ lori didara ati ibaramu ti awoṣe ede ti a ti kọ tẹlẹ ti a lo. Ni awọn oju iṣẹlẹ nibiti awoṣe ti o ti kọkọ tẹlẹ le ma mu awọn aibikita ti ọrọ naa ni deede, awọn abajade igbelewọn le ni ipa.
• scalability - Iwọn BERTScore fun awọn ipilẹ data nla tabi awọn ohun elo akoko gidi le jẹ nija nitori awọn ibeere iṣiro rẹ. Ṣiṣe BERTScore ni awọn agbegbe iṣelọpọ le nilo awọn ilana imudara lati pese iṣẹ ṣiṣe to munadoko.
• Pato-ašẹ – Iṣe BERTScore le yatọ kọja awọn agbegbe oriṣiriṣi tabi awọn iru ọrọ amọja. Yiyipada metiriki si awọn ibugbe tabi awọn iṣẹ-ṣiṣe kan pato le nilo atunṣe-daradara tabi awọn atunṣe lati gbe awọn igbelewọn deede.
• Itumọ Botilẹjẹpe BERTScore n pese igbelewọn okeerẹ ti o da lori awọn ifibọ ọrọ-ọrọ, itumọ awọn idi kan pato lẹhin awọn ikun ibajọra ti ipilẹṣẹ fun ami-ami kọọkan le jẹ eka ati pe o le nilo itupalẹ afikun.
• Itọkasi-free imọ - Botilẹjẹpe BERTScore dinku igbẹkẹle lori awọn atokọ itọkasi fun igbelewọn, ọna-itọkasi-ọfẹ yii le ma gba gbogbo awọn ẹya ti didara akopọ, paapaa ni awọn oju iṣẹlẹ nibiti awọn itọkasi ti ẹda eniyan ṣe pataki fun iṣiro ibaramu akoonu ati isokan.

Gbigba awọn idiwọn wọnyi le ṣe iranlọwọ fun ọ lati ṣe awọn ipinnu alaye nigba lilo BERTScore bi iwọn-iwọn fun ṣiṣe iṣiro awọn iṣẹ ṣiṣe akopọ, pese oye iwọntunwọnsi ti awọn agbara ati awọn ihamọ rẹ.

Nigbawo lati lo BERTScore

BERTScore le ṣe iṣiro didara akopọ ọrọ nipa ifiwera akopọ ti ipilẹṣẹ si akopọ itọkasi kan. O nlo awọn nẹtiwọọki nkankikan bi BERT lati wiwọn ibajọra atunmọ kọja ọrọ gangan tabi ibaramu gbolohun. Eyi jẹ ki BERTScore wulo pupọ nigbati iṣotitọ atunmọ titọju itumọ kikun ati akoonu jẹ pataki fun iṣẹ ṣiṣe akopọ rẹ. BERTScore yoo fun awọn ikun ti o ga julọ si awọn akopọ ti o mu alaye kanna bi akopọ itọkasi, paapaa ti wọn ba lo awọn ọrọ oriṣiriṣi ati awọn ẹya gbolohun ọrọ. Laini isalẹ ni pe BERTScore jẹ apẹrẹ fun awọn iṣẹ ṣiṣe akopọ nibiti idaduro itumọ itumọ kikun kii ṣe awọn koko-ọrọ tabi awọn akọle nikan jẹ pataki. Ifimaaki nkankikan to ti ni ilọsiwaju gba laaye lati ṣe afiwe itumọ ti o kọja ipele ipele ti o baamu. Eyi jẹ ki o dara fun awọn ọran nibiti awọn iyatọ arekereke ninu ọrọ-ọrọ le paarọ itumọ gbogbogbo ati awọn itọsi. BERTScore, ni pataki, tayọ ni yiya ibajọra atunmọ, eyiti o ṣe pataki fun iṣiro didara awọn akopọ abstractive bii awọn ti a ṣe nipasẹ awọn awoṣe Retrieval Augmented Generation (RAG).

Awọn ilana igbelewọn awoṣe

Awọn ilana igbelewọn awoṣe jẹ pataki fun wiwọn deede iṣẹ ṣiṣe ti awọn awoṣe akopọ. Awọn ilana wọnyi jẹ ohun elo ni ifiwera awọn awoṣe, pese isọdọkan laarin awọn akopọ ti ipilẹṣẹ ati akoonu orisun, ati awọn ailagbara pinni ninu awọn ọna igbelewọn. Nipa ṣiṣe awọn igbelewọn to peye ati isọdọtun deede, awọn ilana wọnyi ṣe agbekalẹ iwadii akopọ ọrọ nipa didaba awọn iṣe igbelewọn idiwọn ati ṣiṣe awọn afiwera awoṣe lọpọlọpọ.

Ni AWS, awọn FMEval ìkàwé laarin Amazon SageMaker ṣe alaye ṣe atunṣe igbelewọn ati yiyan awọn awoṣe ipilẹ (FMs) fun awọn iṣẹ ṣiṣe bii akopọ ọrọ, idahun ibeere, ati isọdi. O fun ọ ni agbara lati ṣe iṣiro awọn FM ti o da lori awọn metiriki bii išedede, agbara, ẹda, irẹjẹ, ati majele, ni atilẹyin adaṣe mejeeji ati awọn igbelewọn-ni-loop eniyan fun LLMs. Pẹlu UI ti o da lori tabi awọn igbelewọn eto, FMEval ṣe agbekalẹ awọn ijabọ alaye pẹlu awọn iwoye lati ṣe iwọn awọn eewu awoṣe bii awọn aiṣedeede, majele, tabi abosi, ṣe iranlọwọ fun awọn ẹgbẹ ni ibamu pẹlu awọn itọsọna ipilẹṣẹ AI ti o ni iduro. Ni apakan yii, a ṣe afihan bi o ṣe le lo ile-ikawe FMEval.

Ṣe iṣiro Claude v2 lori iṣedede akopọ nipa lilo Amazon Bedrock

snippet koodu atẹle jẹ apẹẹrẹ ti bii o ṣe le ṣe ajọṣepọ pẹlu awoṣe Anthropic Claude nipa lilo koodu Python:

import json
# We use Claude v2 in this example.
# See https://docs.anthropic.com/claude/reference/claude-on-amazon-bedrock#list-available-models
# for instructions on how to list the model IDs for all available Claude model variants.
model_id = 'anthropic.claude-v2'
accept = "application/json"
contentType = "application/json"
# `prompt_data` is structured in the format that the Claude model expects, as documented here:
# https://docs.aws.amazon.com/bedrock/latest/userguide/model-parameters-claude.html#model-parameters-claude-request-body
prompt_data = """Human: Who is Barack Obama?
Assistant:
"""
# For more details on parameters that can be included in `body` (such as "max_tokens_to_sample"),
# see https://docs.aws.amazon.com/bedrock/latest/userguide/model-parameters-claude.html#model-parameters-claude-request-body
body = json.dumps({"prompt": prompt_data, "max_tokens_to_sample": 500})
# Invoke the model
response = bedrock_runtime.invoke_model(
body=body, modelId=model_id, accept=accept, contentType=contentType
)
# Parse the invocation response
response_body = json.loads(response.get("body").read())
print(response_body.get("completion"))

Ni awọn ọrọ ti o rọrun, koodu yii ṣe awọn iṣe wọnyi:

1. Ṣe agbewọle awọn ile-ikawe pataki, pẹlu json, lati ṣiṣẹ pẹlu data JSON.
2. Setumo ID awoṣe bi anthropic.claude-v2 ati ṣeto iru akoonu fun ibeere naa.
3. Ṣẹda kan prompt_data oniyipada ti o ṣe agbekalẹ data igbewọle fun awoṣe Claude. Ni idi eyi, o beere ibeere naa "Ta ni Barack Obama?" ati ki o retí a esi lati awọn awoṣe.
4. Kọ nkan JSON kan ti a npè ni ara ti o pẹlu data to tọ, ati pato awọn aye afikun bii nọmba ti o pọ julọ ti awọn ami lati ṣe ipilẹṣẹ.
5. Pe awoṣe Claude nipa lilo bedrock_runtime.invoke_model pẹlu telẹ sile.
6. Pa idahun lati inu awoṣe, jade ipari (ọrọ ti ipilẹṣẹ), ki o tẹ sita.

Rii daju pe Idanimọ AWS ati Isakoso Wiwọle (IAM) ipa ni nkan ṣe pẹlu awọn Amazon SageMaker Studio olumulo profaili ni wiwọle si awọn Amazon Bedrock si dede ni invoked. Tọkasi si Awọn apẹẹrẹ eto imulo ti o da lori idanimọ fun Amazon Bedrock fun itọnisọna lori awọn iṣẹ ti o dara julọ ati awọn apẹẹrẹ ti awọn ilana ti o da lori idanimọ fun Amazon Bedrock.

Lilo ile-ikawe FMEval lati ṣe iṣiro abajade akopọ lati Claude

A lo koodu atẹle yii lati ṣe iṣiro abajade akopọ:

from fmeval.data_loaders.data_config import DataConfig
from fmeval.model_runners.bedrock_model_runner import BedrockModelRunner
from fmeval.constants import MIME_TYPE_JSONLINES
from fmeval.eval_algorithms.summarization_accuracy import SummarizationAccuracy
config = DataConfig(
    dataset_name="gigaword_sample",
    dataset_uri="gigaword_sample.jsonl",
    dataset_mime_type=MIME_TYPE_JSONLINES,
    model_input_location="document",
    target_output_location="summary"
)
bedrock_model_runner = BedrockModelRunner(
    model_id=model_id,
    output='completion',
    content_template='{"prompt": $prompt, "max_tokens_to_sample": 500}'
)
eval_algo = SummarizationAccuracy()
eval_output = eval_algo.evaluate(model=bedrock_model_runner, dataset_config=config,
prompt_template="Human: Summarise the following text in one sentence: $featurennAssistant:n", save=True)

Ninu snippet koodu iṣaaju, lati ṣe iṣiro akopọ ọrọ nipa lilo ile-ikawe FMEval, a pari awọn igbesẹ wọnyi:

1. Ṣẹda kan ModelRunner lati ṣe epe lori LLM rẹ. Ile-ikawe FMEval n pese atilẹyin ti a ṣe sinu fun Ẹlẹda Amazon endpoints ati Amazon SageMaker JumpStart LLMs. O tun le fa awọn ModelRunner ni wiwo fun eyikeyi LLM ti gbalejo nibikibi.
2. Lo atilẹyin eval_algorithms bii majele, akopọ, deede, atunmọ, ati agbara, da lori awọn iwulo igbelewọn rẹ.
3. Ṣe akanṣe awọn aye atunto igbelewọn fun ọran lilo rẹ pato.
4. Lo algorithm igbelewọn pẹlu boya ti a ṣe sinu tabi awọn iwe data aṣa lati ṣe iṣiro awoṣe LLM rẹ. Ipilẹ data ti a lo ninu ọran yii jẹ orisun lati atẹle GitHub repo.

Tọkasi si developer guide ati apeere fun lilo alaye ti awọn algoridimu igbelewọn.

Tabili ti o tẹle ṣe akopọ awọn abajade ti igbelewọn.

Ṣayẹwo ayẹwo naa ajako fun awọn alaye diẹ sii nipa igbelewọn akopọ ti a jiroro ninu ifiweranṣẹ yii.

ipari

ROUGE, METEOR, ati BERTScore gbogbo wọn ni didara awọn akopọ ti ẹrọ ti ipilẹṣẹ, ṣugbọn idojukọ lori awọn oriṣiriṣi awọn aaye bii agbekọja lexical, fluency, tabi ibajọra itumọ. Rii daju lati yan metiriki ti o ṣe deede pẹlu ohun ti o tumọ “dara” fun ọran lilo akopọ pato rẹ. O tun le lo apapo awọn metiriki. Eyi n pese igbelewọn daradara diẹ sii ati awọn iṣọ lodi si awọn ailagbara ti o pọju ti eyikeyi metiriki kọọkan. Pẹlu awọn wiwọn ti o tọ, o le ni ilọsiwaju leralera awọn akopọ rẹ lati pade eyikeyi imọran ti deede ti o ṣe pataki julọ.

Ni afikun, FM ati igbelewọn LLM jẹ pataki lati ni anfani lati ṣe iṣelọpọ awọn awoṣe wọnyi ni iwọn. Pẹlu FMEval, o gba eto nla ti awọn algoridimu ti a ṣe sinu kọja ọpọlọpọ awọn iṣẹ ṣiṣe NLP, ṣugbọn tun jẹ ohun elo iwọn ati irọrun fun awọn igbelewọn iwọn nla ti awọn awoṣe tirẹ, awọn datasets, ati awọn algoridimu. Lati ṣe iwọn soke, o le lo package yii ninu awọn opo gigun ti LLMOps rẹ si akojopo ọpọ si dede. Lati kọ diẹ sii nipa FMEval ni AWS ati bii o ṣe le lo daradara, tọka si Lo SageMaker Clarify lati ṣe iṣiro awọn awoṣe ede nla. Fun oye siwaju ati awọn oye sinu awọn agbara ti SageMaker Clarify ni iṣiro awọn FM, wo Amazon SageMaker Clarify Mu ki o rọrun lati ṣe iṣiro ati Yan Awọn awoṣe Ipilẹ.

Nipa awọn onkọwe

Dinesh Kumar Subramani jẹ Onitumọ Awọn solusan Alagba ti o da ni Edinburgh, Scotland. O ṣe amọja ni itetisi atọwọda ati ẹkọ ẹrọ, ati pe o jẹ ọmọ ẹgbẹ ti agbegbe aaye imọ-ẹrọ pẹlu ni Amazon. Dinesh ṣiṣẹ ni pẹkipẹki pẹlu awọn alabara Ijọba Gẹẹsi Central lati yanju awọn iṣoro wọn nipa lilo awọn iṣẹ AWS. Ni ita iṣẹ, Dinesh gbadun lilo akoko didara pẹlu ẹbi rẹ, ṣiṣe chess, ati ṣawari awọn orin oriṣiriṣi.

Pranav Sharma jẹ imọ-ẹrọ awakọ oludari AWS ati awọn ipilẹṣẹ iyipada iṣowo kọja Yuroopu, Aarin Ila-oorun, ati Afirika. O ni iriri ni sisọ ati ṣiṣe awọn iru ẹrọ itetisi atọwọda ni iṣelọpọ ti o ṣe atilẹyin awọn miliọnu ti awọn alabara ati jiṣẹ awọn abajade iṣowo. O ti ṣe imọ-ẹrọ ati awọn ipa olori eniyan fun awọn ẹgbẹ Awọn iṣẹ Iṣowo Agbaye. Ni ita iṣẹ, o nifẹ lati kawe, ṣe tẹnisi pẹlu ọmọ rẹ, ati wiwo awọn sinima.

• SEO Agbara akoonu & PR Pinpin. Gba Imudara Loni.
• PlatoData.Network inaro Generative Ai. Fi agbara fun ara Rẹ. Wọle si Nibi.
• PlatoAiStream. Web3 oye. Imo Amugbadun. Wọle si Nibi.
• PlatoESG. Erogba, CleanTech, Agbara, Ayika, Oorun, Isakoso Egbin. Wọle si Nibi.
• PlatoHealth. Imọ-ẹrọ Imọ-ẹrọ ati Awọn Idanwo Ile-iwosan. Wọle si Nibi.
• Orisun: https://aws.amazon.com/blogs/machine-learning/evaluate-the-text-summarization-capabilities-of-llms-for-enhanced-decision-making-on-aws/