Birçok işletme ve kuruluş küresel olarak genişledikçe dünya küçülmektedir. İşletmeler farklı dil gruplarında daha geniş kitlelere erişimini genişlettikçe, birden çok dille birlikte çalışabilirlik ihtiyaçları katlanarak artar. Endüstri çalışmalarının çoğu manuel, yavaş ve pahalı insan çabasıdır, birçok endüstri sektörü ölçeklenebilir, güvenilir ve uygun maliyetli bir çözüm bulmakta zorlanmaktadır. Amazon Tercüme hızlı, yüksek kaliteli ve uygun fiyatlı bir dil çevirisi sunan bir sinir makinesi çeviri hizmetidir. Amazon Translate, 2970'den fazla dil çiftinde yüksek kaliteli isteğe bağlı ve toplu çeviri özellikleri sağlarken çeviri maliyetlerinizi azaltır.

Amazon Translate, sürekli olarak olağanüstü çıktılar sağlamak için öğreniyor ve gelişiyor. Hukuk, tıp, inşaat ve mühendislik gibi etki alanına duyarlı uygulamalarda, Amazon Translate'i kullanarak çeviri kalitesini her zaman artırabilirsiniz özel terminoloji. Bu, çoğu kullanım durumu için harika bir yaklaşımdır, ancak bazı aykırı değerler, insan ekipleri tarafından hafif bir düzenleme sonrası gerektirebilir. Düzenleme sonrası süreç, çeviri sırasında kaybolabilecek yerel dilin nüanslarını yakalayarak müşterilerinizin ihtiyaçlarını daha iyi anlamanıza yardımcı olabilir. Makine çevirisi ile donatılan insan çevirmenleri size yardımcı olabilir daha fazla içerik, daha hızlı, daha uygun fiyatla ve daha fazla dile yerelleştirme.

Amazon Translate (ve diğer Amazon AI hizmetlerinin) çıktısını insan zekasıyla artırmak isteyen bu tür işletmeler ve kuruluşlar için Amazon Augmented AI (Amazon A2I), bunu yapmak için yönetilen bir yaklaşım sağlar. Amazon A2I, insan gözden geçirme sistemleri oluşturmak veya çok sayıda insan gözden geçireni yönetmekle ilişkili farklılaşmamış ağır kaldırmayı ortadan kaldıran tüm geliştiricilere insan incelemesini getiriyor.

Bu yazı, özel iş gücünüzün Amazon Translate tarafından çevrilen belgeleri etkili bir şekilde gözden geçirmesini, düzeltmesini ve etiketlemesini sağlayan bir insan inceleme iş akışı oluşturmak için Amazon A2I ve Amazon Translate'i nasıl kullanabileceğinizi gösterir.

Çözüme genel bakış

Aşağıdaki şemada çözüm mimarisi gösterilmektedir.

Bu kullanım durumunda, metin dosyalarını işler ve gelen dosyaları İngilizce'den İspanyolca'ya dönüştürmeye çalışırsınız. Dosyalar bir Amazon S3 kova /source bir klasörü tetikleyen AWS Lambda fonksiyonu, TA2I-S3Notification, Sayesinde olay bildirimleri.

İşlev nesneyi indirir ve cümlelere böler. Daha sonra her cümle için TranslateText API'sini çağırır ve bir dizi kaynak ve çevrilmiş cümle çifti oluşturmak için karşılık gelen çıktıyı kullanır. İşlev, Amazon Translate'in çıktısını yeniden düzenleyerek, machine_output/ Klasör. Bir humanLoopInput Amazon A2I için düzenleme sonrası UX'i oluşturmak ve tercüme edilen her cümleyi düzenlemek için insan girdisi aramak için gerekli tüm verilere sahip JSON nesnesi. İşlev daha sonra StartHumanLoop Bir insan döngüsünü tetiklemek için API.

Bir insan döngüsü isteği alındığında, Amazon A2I, görevi önceden yapılandırılmış ekiplerden bir insan çalışanına atamakla ilgilenir. Ekip üyesi, güvenli bir şekilde sağlanan kimlik bilgilerini kullanarak etiketleme portalında oturum açabilir. Amazon A2I kullanır Amazon Cognito'su kullanıcı kimlik doğrulaması sağlamak için.

Oturum açtıktan sonra, orijinal metni makine çıktısıyla yan yana, cümle düzeyinde inceleyebileceğiniz özel bir kullanıcı arayüzü sunulur. İncelemeyi bitirdikten ve görevi gönderdiğinizde, Amazon A2I giriş verilerini ve insan tarafından düzenlenen değişiklikleri içeren bir JSON dosyası oluşturur. Bunu bir cümle düzeyinde yakaladığınız için, zaman içinde bu JSON çıktısı koleksiyonunu alana özgü çeviri belleğiniz olarak kaydedebilir, böylece değerli bir varlık oluşturabilirsiniz. Amazon A2I ayrıca Amazon Bulut İzleme Etkinlik, SageMaker A2I HumanLoop Status Change, insan gözden geçirme görevi için durumdaki her değişiklik için.

Çözüm bu olayı başka bir Lambda işlevine bağlar, TA2I-HumanWorkflowCompleted, son sürümü oluşturmak için insan düzenlemelerini kullanarak belgeyi yeniden birleştirir. Bu sürüm, /post_edits klasör.

Çözüm, metin belgelerini çevirmek için sunucusuz, kullandıkça öde yaklaşımı sunar ve insan ekiplerine bir çeviri belleği varlığı oluşturmanıza yardımcı olurken çeviri kalitesini artırmak için makine çıktısını düzenleme şansı verir. Bu çözümde kullanılan her bileşen, işletmelerinize değer katmaya ve makine çevirisi ihtiyaçlarınızı çözmenize odaklanmanıza olanak tanıyan yüksek oranda kullanılabilir ve ölçeklenebilirdir.

Önkoşullar

Bu yayın, AWS hesabı uygun olarak AWS Kimlik ve Erişim Yönetimi (IAM) CloudFormation şablonunu başlatma izinleri.

Çözümünüzü dağıtma

Çözüm, bir CloudFormation yığın dağıtımı ve kaynakların el ile oluşturulmasını kullanır.

• Bir IAM rolü oluşturma - Bir insan incelemesi iş akışı oluşturmak için, bir insan görevi kullanıcı arabiriminde görüntülenecek nesneleri okumak ve insan incelemesinin sonuçlarını yazmak için Amazon A2I'ye Amazon S3'e erişim izni veren bir IAM rolü sağlamanız gerekir. Bu rolün vermesi için ekli bir güven politikasına da ihtiyacı var Amazon Adaçayı Yapıcı rolü üstlenme izni. Bu, Amazon A2I'nın role eklediğiniz izinlere uygun eylemler gerçekleştirmesini sağlar. Akış tanımı oluşturmak için kullandığınız rolü değiştirebileceğiniz ve ekleyebileceğiniz daha fazla bilgi ve örnek politikalar için bkz. Akış Tanımı Oluşturmayı Etkinleştir.
• S3 grubu oluşturma - Bu gönderide daha sonra tanımladığınız insan inceleme iş akışının, sonuçları yazabileceği bir S3 kovası olması gerekir. Lambda işlevi sonuçları alır ve daha fazla kullanım ve kayıt tutma için harmanlar. Grup oluşturma talimatları için bkz. Bir Grup Oluştur. S3 kovasının adını yakalayın ve daha sonra bu adımda kullanmak üzere kaydedin.

Adım 1: Özel çalışma ekibi oluşturma

A çalışma ekibi dokümanlarınızı incelemek için seçtiğiniz bir grup kişidir. Bir ekipten bir çalışma ekibi oluşturabilirsiniz. işgücü, oluşan Amazon Mekanik Türk görevler üzerinde çalışmaya davet ettiğiniz çalışanlar, satıcı tarafından yönetilen çalışanlar veya kendi özel çalışanlarınız. Hangi iş gücü türünü seçerseniz seçin, Amazon A2I işçilere görev gönderme işiyle ilgilenir. Bu yazı için, özel bir işgücü kullanarak bir çalışma ekibi oluşturursunuz ve Amazon A2I iş akışını önizlemek için kendinizi takıma eklersiniz.

Sen kullanabilirsiniz Etiketleme işgücü sayfası özel iş gücünüzü oluşturmak ve yönetmek için Amazon SageMaker konsolunda. Talimatları uygularken, çalışan e-postaları girerek veya bir Amazon Cognito kullanıcı havuzundan önceden var olan bir işgücünü içe aktararak özel bir işgücü oluşturabilirsiniz.

İçin zaten bir çalışma ekibiniz varsa Amazon SageMaker Yer Gerçeği, aynı çalışma ekibini Amazon A2I ile kullanabilir ve bir sonraki adıma geçebilirsiniz.

Özel çalışma ekibinizi oluşturmak için aşağıdaki adımları tamamlayın:

1. Amazon SageMaker konsolunda şunu seçin: İş gücünün etiketlenmesi.
2. Üzerinde Özel Etkinlik sekmesini seçin Özel ekip oluştur.
   
3. Klinik Yeni çalışanları e-postayla davet edin.
4. İçin E-mail adresleriçalışanınızın e-posta adreslerini girin. Virgülle ayırarak en fazla 50 e-posta adresi içeren bir liste girebilirsiniz. E-mail adresleri Kutu. Bu yayın için doküman işleme görevleriniz üzerinde çalışmak üzere e-posta adresinizi girin.
5. Bir kuruluş adı ve iletişim e-postası girin.
6. Klinik Özel ekip oluştur.
   Özel ekibi oluşturduktan sonra bir e-posta davetiyesi alırsınız. Aşağıdaki ekran görüntüsü örnek bir e-postayı göstermektedir:

   

7. E-postadaki bağlantıyı seçin ve şifrenizi değiştirin. Artık bu ekip için doğrulanmış bir işçi olarak kaydoldunuz. Tek kişilik ekibiniz artık hazırdır ve bir insan incelemesi iş akışı oluşturabilirsiniz.
8. Üzerinde Özel Etkinlik sekmesinde, Etiketleme Portalı Oturum Açma URL'si ve önceki adımda oluşturulan kimlik bilgilerini kullanarak oturum açın.

Aşağıdaki ekran görüntüsüne benzer bir sayfa görmelisiniz.

2. Adım: Çalışan görev şablonu oluşturma

Görevleriniz üzerinde çalışırken çalışanlarınızın gördüğü arayüzü ve talimatları özelleştirmek için bir çalışan şablonu kullanabilirsiniz. Çalışan görev şablonu oluşturmak için aşağıdaki adımları izleyin:

1. Amazon SageMaker konsolunda şunu seçin: Çalışan görev şablonlarıBu yazı ABD Doğu Bölgesi'ni (N. Virginia) kullanır, ancak tercih ettiğiniz bölgeyi kullanabilirsiniz. Amazon Augmented AI ve Amazon Translate için Bölge kullanılabilirliği hakkında daha fazla bilgi için bkz. Bölge Tablosu.
2. Klinik şablonu oluşturma.
   
3. İçin Şablon adı, girmek translate-a2i-template.
   
4. içinde Şablon düzenleyici alanına aşağıdaki kodu kopyalayıp yapıştırın. GitHub repo.
   

   <!-- Copyright Amazon.com, Inc. and its affiliates. All Rights Reserved.
   SPDX-License-Identifier: MIT Licensed under the MIT License. See the LICENSE accompanying this file
   for the specific language governing permissions and limitations under
   the License. --> <script src="https://assets.crowd.aws/crowd-html-elements.js"></script> <style> table, tr, th, td { border: 1px solid black; border-collapse: collapse; padding: 5px; min-width: 100%; background-color: white; }
   </style> <crowd-form> <full-instructions header="Translation Quality Check Instructions"> <p>The source document has been broken up into sentences and each sentence has been translated using <a href="https://aws.amazon.com/translate/" target="blank" >Amazon Translate</a>. The source text, along with their <strong>machine generated translation</strong> is shown in the table. Please review the translated text and make changes so the read more like something a person would write rather than an automated translation. Please do this for all the sentences. Once done, click on submit to finish the job. The system will reassemble the edited text to match the original source formatting. System will also "remember" the "translation memory" for future use. </p> </full-instructions> <div> <h1>Instructions</h1> <p>Please review the below translations and make corrections and improvements. Your corrections should:</p> <p> <ol> <li>Make the translated text more accurately express the meaning of the original text.</li> <li>Make the translated text read more like something a person would write rather than an automated translation.</li> </ol> </p> </div> <table> <tr> <th>Sentence</th> <th>Original ({{ task.input.SourceLanguage }})</th> <th>Translation ({{ task.input.TargetLanguage }})</th> </tr> {% for pair in task.input.translationPairs %} <tr> <td>{{ forloop.index }}</td> <td>{{ pair.originalText }}</td> <td> <crowd-text-area name="translation{{ forloop.index }}" value="{{ pair.translation }}" originalValue = "{{ pair.translation }}" char-counter="true" max-rows = "3" rows="3" label="Translated text" placeholder="Please enter the translated version."> </crowd-text-area> </td> </tr> {% endfor %} </table> <br/>
   </crowd-form>
   
   

5. Klinik oluşturmak.

3. Adım: İnsan inceleme iş akışı oluşturma

İnsan inceleme iş akışları, insan gözden geçirenlerin sürekli olarak çeviri yapmalarına ve çevirileri denetlemelerine olanak tanır. İnsan incelemesi iş akışı oluşturmak için aşağıdaki adımları izleyin:

1. Amazon SageMaker konsolunda şunu seçin: İnsan inceleme iş akışları.
2. Klinik İnsan incelemesi iş akışı oluşturma.
   
3. içinde İş akışı ayarları bölümü Name, benzersiz bir iş akışı adı girin; Örneğin, translate-a2i-hrw.
4. İçin S3 kepçe, insan inceleme sonuçlarını saklamak istediğiniz S3 kovasını girin.

   Bu yazı için, önceki adımlarda oluşturduğunuz grubu kullanın, ancak /tms. Örneğin, adlı bir grup oluşturduysanız translate-a2i-output, yolu girin s3://translate-a2i-output/tms. Bu alt klasör, oluşturduğunuz tüm insan inceleme iş akışı işlerinin çeviri belleğini içerir.

5. İçin IAM rolü, seçmek Yeni bir rol oluştur açılır menüden.
   
   Amazon A2I sizin için otomatik olarak bir rol oluşturabilir.
6. İçin Belirttiğiniz S3 kovalarıseçin Özel S3 kovalar.
7. Daha önce oluşturduğunuz S3 grubunun adını girin.
8. Klinik oluşturmak.
   
   Rol oluşturma işlemi tamamlandığında bir onay görürsünüz ve rolünüz artık IAM rolü Aşağıya doğru açılan menü.
   
9. İçin Görev türüseçin görenek
   
10. içinde Çalışan görev şablonu bölümü, seçim tercüme-A2I-şablonu açılır menüden.
11. İçin Görev açıklaması, çalışanlarınız için görevi kısaca açıklayın.
    
12. içinde Işçiler bölümü İşçi türleriseçin
13. Açılır menüden şunu seçin: tercüme-A2I-özel-team.
14. Klinik oluşturmak.
    

İnsan incelemesi iş akışı oluşturma işlemi tamamlandığında bir onay görürsünüz.

ARN iş akışını kopyalayın ve kaydedin. Gelecek adımlarda buna ihtiyacınız olacak. Ayrıca, bu adımdan sonra Amazon Augmented AI işçi portalını (1. Adımda oluşturulan) açık ve hazır tutmanız gerekir.

4. Adım: CloudFormation yığınını dağıtma

Artık çözümü dağıtmak için bir CloudFormation yığını kullanıyorsunuz. Yığın, aşağıdakiler de dahil olmak üzere gerekli kaynakların geri kalanını oluşturur:

• Gerekli Lambda fonksiyonları:
  • TA2I-S3 Bildirimi - Bir .txt dosyası, dosyanın altındaki S3 klasörüne bırakıldığında tetiklenir source/ alt klasör.
  • TA2I-İnsanİş AkışıTamamlandı - İnsan inceleme iş akışında bir durum değişikliği olduğunda tetiklenir.
• The Amazon CloudWatch Etkinlikleri tetikleyen kural TA2I-HumanWorkflowCompleted.
• S3 grubunu bağlayan bildirim yapılandırması ve TA2I-S3Notification Lambda işlevi. Bunu bir CloudFormation özel kaynağı.
• AI hizmetlerinin kapsamlı bir şekilde etkileşime girmesi için gerekli IAM rolleri ve politikaları.

1. Tüm akışı çalıştırmak için gereken yığını dağıtmak için CloudFormation komut dosyasını başlatın:
   
   
   Bu, çeviriler için insan inceleme iş akışınızı çalıştırmak için gerekli kalan öğeleri oluşturur.
2. Yığın için parametreleri aşağıdaki gibi doldurun:
3. İnsan incelemesi iş akışının kullanılması için, önceki iş akışı tanımını ARN girin.
4. S3 grubunun kullanması için, daha önce oluşturduğunuz S3 grubunun adını girin.
5. Yığın dağıtım sihirbazındaki varsayılanları seçin.
6. Üzerinde Değerlendirme sayfasında, Yetenekler ve dönüşümler bölümünde, üç onay kutusunu seçin.
7. Klinik Yığın Oluştur.
   

Yığının hesabınıza başarıyla dağıtıldığını onaylamanız gerekir. Bunu CloudFormation konsolunda ve yığın adını arayabilirsiniz. Translate-A2I.

Yığının durumu şu şekilde değiştiğinde: CREATE_COMPLETE, bir sonraki adıma geçebilirsiniz.

5. Adım: Akışı test etme

Tüm akışı test etmek için aşağıdaki adımları izleyin:

1. Amazon S3 konsolunda S3 grubuna gidin.Bu yazı, translate-a2i-outputancak grup adınız ön koşul olarak oluşturduğunuz adla aynı olmalı ve CloudFormation Yığını dağıtırken parametre olarak girilmelidir.
   
2. Adlı yeni bir klasör oluşturun source.
3. İstediğiniz şifreleme ayarını seçin.Bu, Amazon S3'ün aşağıdakileri tetiklemek için izlediği önektir TA2I-S3Notification fonksiyonu.
   
4. Tercih ettiğiniz metin düzenleyicisini kullanarak bilgisayarınızda yeni bir metin dosyası oluşturun ve romanda aşağıdaki metni girin Savaş ve Barış:

   Just then another visitor entered the drawing room: Prince Andrew
   Bolkónski, the little princess’ husband. He was a very handsome young
   man, of medium height, with firm, clearcut features. Everything about
   him, from his weary, bored expression to his quiet, measured step,
   offered a most striking contrast to his quiet, little wife. It was
   evident that he not only knew everyone in the drawing room, but had
   found them to be so tiresome that it wearied him to look at or listen to
   them. And among all these faces that he found so tedious, none seemed
   to bore him so much as that of his pretty wife. He turned away from
   her with a grimace that distorted his handsome face, kissed Anna
   Pávlovna’s hand, and screwing up his eyes scanned the whole company.
   
   

5. Bu dosyayı farklı kaydet flow_test.txt.
6. Klinik Foto Yükle.
7. Foto Yükle flow_test.txt için source daha önce oluşturduğunuz klasör.
   
8. gidin Amazon A2I İş Gücü gidin.
9. Seçin Özel Etkinlik sekmesi.
   
   
10. Git Amazon A2I çalışan portalı.
11. seç İnsan inceleme görevi listelenen işlerde.
12. Klinik Çalışmaya başlamak.
    
    Aşağıdaki ekran görüntüsünde gösterildiği gibi bir sayfa görmelisiniz. Bu izlenecek yolun doğrulanması için, metin kutularından en az birinde metni düzenleyin.
    
13. S3 grubunuza gidin. Başlıklı bir dosya PO-flow_test.txt içinde olmalı post_edits klasör.
14. Bu dosyayı indirin ve içeriği tercih ettiğiniz metin düzenleyicide açın.

Aşağıdaki metni görmelisiniz.

Ücret

Amazon Translate ve Amazon A2I ile, işlediğiniz metnin karakter sayısına ve her insan tarafından incelenen her nesneye göre, kullandıkça öde yöntemini kullanırsınız. Bu örneği çalıştırma maliyeti 1 ABD dolarından azdır. Lütfen fiyatlandırma sayfasına bakınız. Amazon Tercüme ve Amazon A2I gerçek maliyetler için.

Temizlemek

Gelecekteki masrafların oluşmasını önlemek için, kullanılmadığında kaynakları silin.

Sonuç

Bu yazı, Amazon Translate kullanılarak yapılan çeviriler için insan inceleme iş akışlarını oluşturmak üzere artık Amazon A2I'yı nasıl kullanabileceğinizi gösterdi. Bu, kendi özel iş gücünüzü kullanarak çevirmeniz gereken kritik belgeler için inceleme iş akışları oluşturmanıza olanak tanır ve artırılmış doğruluk ve bağlam sağlar. Bu yaklaşım aynı zamanda insan ekibinizin yarattığı çeviri belleğini de yakalamanıza olanak tanır, bu da değerli bir fikri mülkiyet varlığı olabilir.

Bu izlenecek yoldaki kod tabanı için GitHub repo. Bu konsept kanıtı olan bir Jupyter dizüstü bilgisayar için bkz. GitHub repo. Entegrasyon hakkında bilgi için Amazon Metin Yazısı Amazon A2I ile, bkz. Kritik belgeleri işlemek için Amazon Artırılmış AI ile Amazon Textract'ı kullanma.

yazarlar hakkında

Mayank Thakkar, AWS'deki Global Sağlık ve Yaşam Bilimleri ekibinde, sunucusuz, yapay zeka ve makine öğrenimi tabanlı çözümler oluşturma konusunda uzmanlaşmış bir Kıdemli Çözümler Mimarıdır. AWS'de, gerçek dünya endüstrisi problemlerini çözmeye odaklanan en yeni çözümleri geliştirmek için küresel ilaç şirketleri ile yakın bir şekilde çalışmaktadır. İşin dışında Mayank, karısıyla birlikte, evin yanmasını veya su basmasını önlemeye çalışırken, iki enerjik ve yaramaz çocuğu, Aaryan (6) ve Kiaan (4) yetiştirmekle meşgul!

Purnesh Tripathi Amazon Web Services'de Yardımcı Çözümler Mimarıdır. Önceki yaşamında bir veri bilimcisiydi ve makine öğrenimi ve yapay zekanın bir işletmeye sağladığı faydalar konusunda tutkulu. AWS'yi kullanarak daha hızlı inovasyon yapmalarına yardımcı olmak için Yeni Zelanda'daki bağımsız yazılım satıcıları ve girişimleriyle birlikte çalışıyor.

Kaynak: https://aws.amazon.com/blogs/machine-learning/designing-human-review-workflows-with-amazon-translate-and-amazon-augmented-ai/