El mundo se está volviendo más pequeño a medida que muchas empresas y organizaciones se expanden a nivel mundial. A medida que las empresas amplían su alcance a audiencias más amplias en diferentes grupos lingüísticos, su necesidad de interoperabilidad con múltiples idiomas aumenta exponencialmente. La mayor parte del trabajo de la industria es un esfuerzo humano manual, lento y costoso, con muchas verticales de la industria que luchan por encontrar una solución escalable, confiable y rentable. Traductor de Amazon es un servicio de traducción automática neuronal que ofrece traducción de idiomas rápida, de alta calidad y asequible. Amazon Translate ofrece capacidades de traducción por lotes y bajo demanda de alta calidad en más de 2970 pares de idiomas, al tiempo que reduce los costos de traducción.

Amazon Translate está constantemente aprendiendo y evolucionando para proporcionar resultados excepcionales. En aplicaciones sensibles al dominio como legal, médica, construcción e ingeniería, siempre puede mejorar la calidad de la traducción utilizando Amazon Translate terminología personalizada. Este es un gran enfoque para la mayoría de los casos de uso, pero algunos valores atípicos pueden requerir una ligera edición posterior por parte de equipos humanos. El proceso posterior a la edición puede ayudarlo a comprender mejor las necesidades de sus clientes al capturar los matices del idioma local que pueden perderse en la traducción. Los traductores humanos armados con traducción automática pueden ayudarlo localizar más contenido, más rápido, más asequible y en más idiomas.

Para aquellas empresas y organizaciones que desean aumentar la producción de Amazon Translate (y otros servicios de Amazon AI) con inteligencia humana, Amazon Augmented AI (Amazon A2I) ofrece un enfoque administrado para hacerlo. Amazon A2I ofrece revisión humana a todos los desarrolladores, lo que elimina el trabajo pesado indiferenciado asociado con la construcción de sistemas de revisión humana o la gestión de un gran número de revisores humanos.

Esta publicación muestra cómo puede usar Amazon A2I y Amazon Translate para crear un flujo de trabajo de revisión humana que permita que su fuerza de trabajo privada revise, corrija y etiquete de manera efectiva los documentos traducidos por Amazon Translate, a escala.

Resumen de la solución

El siguiente diagrama ilustra la arquitectura de la solución.

En este caso de uso, procesa archivos de texto e intenta convertir archivos entrantes de inglés a español. Los archivos se sueltan en un Amazon S3 cubo en el /source carpeta, que desencadena un AWS Lambda función, TA2I-S3Notification, A través notificaciones de eventos.

La función descarga el objeto y lo divide en oraciones. Luego llama a la API TranslateText para cada oración y usa la salida correspondiente para crear una matriz de pares de oraciones traducidas y de origen. La función vuelve a ensamblar la salida de Amazon Translate para crear una salida de máquina sin editar en el machine_output/ carpeta. Crea un humanLoopInput Objeto JSON, que tiene todos los datos necesarios para que Amazon A2I procese la UX posterior a la edición y busque la entrada humana para editar cada oración traducida. La función luego llama al StartHumanLoop API para desencadenar un bucle humano.

Cuando se recibe una solicitud de bucle humano, Amazon A2I se encarga de asignar la tarea a un trabajador humano de los equipos preconfigurados. El miembro del equipo puede iniciar sesión en el portal de etiquetado utilizando credenciales vendidas de forma segura. Amazon A2I utiliza Cognito Amazonas para proporcionar autenticación de usuario.

Al iniciar sesión, se le presenta una interfaz de usuario personalizada donde puede revisar el texto original junto con la salida de la máquina, a nivel de oración. Cuando haya terminado con la revisión y envíe la tarea, Amazon A2I crea un archivo JSON que contiene los datos de entrada y los cambios editados por humanos. Debido a que captura esto a nivel de oración, con el tiempo, puede guardar esta colección de resultados JSON como su memoria de traducción específica de dominio, creando así un activo valioso. Amazon A2I también dispara un Reloj en la nube de Amazon evento, SageMaker A2I HumanLoop Status Change, por cada cambio de estado para la tarea de revisión humana.

La solución vincula este evento a otra función Lambda, TA2I-HumanWorkflowCompleted, que vuelve a ensamblar el documento utilizando las ediciones humanas para crear una versión final. Esta versión se guarda en el /post_edits carpeta.

La solución ofrece un enfoque de pago por uso sin servidor para traducir documentos de texto y brinda a los equipos humanos la oportunidad de editar la salida de la máquina para aumentar la calidad de la traducción, al tiempo que lo ayuda a construir un activo de memoria de traducción. Cada componente utilizado en esta solución es altamente disponible y escalable, lo que le permite concentrarse en agregar valor a sus negocios y resolver sus necesidades de traducción automática.

Requisitos previos

Esta publicación requiere que tengas un Cuenta de AWS con apropiado Administración de acceso e identidad de AWS (IAM) permisos para iniciar la plantilla CloudFormation.

Implementando su solución

La solución utiliza una combinación de implementación de pila de CloudFormation y creación manual de recursos.

• Crear un rol de IAM - Para crear un flujo de trabajo de revisión humana, debe proporcionar un rol de IAM que otorgue permiso a Amazon A2I para acceder a Amazon S3 para leer objetos para representar en una interfaz de usuario de tarea humana y para escribir los resultados de la revisión humana. Este rol también necesita una política de confianza adjunta para dar Amazon SageMaker permiso para asumir el rol. Esto permite que Amazon A2I realice acciones de acuerdo con los permisos que usted asigna al rol. Para obtener más información y políticas de ejemplo que puede modificar y adjuntar al rol que usa para crear una definición de flujo, vea Habilitar la creación de definición de flujo.
• Crear un cubo S3 - El flujo de trabajo de revisión humana que defina más adelante en esta publicación debe tener un depósito S3 en el que pueda escribir los resultados. La función Lambda recoge los resultados y los recopila para su posterior uso y mantenimiento de registros. Para obtener instrucciones sobre cómo crear un depósito, vea Crear un cubo. Capture el nombre del depósito S3 y guárdelo para usarlo más adelante en este tutorial.

Paso 1: crear un equipo de trabajo privado

A grupo de trabajo es un grupo de personas que selecciona para revisar sus documentos. Puedes crear un equipo de trabajo a partir de un personal, que se compone de Amazon Mechanical Turk trabajadores, trabajadores gestionados por proveedores o sus propios trabajadores privados a los que invita a trabajar en sus tareas. Independientemente del tipo de fuerza de trabajo que elija, Amazon A2I se encarga de enviar tareas a los trabajadores. Para esta publicación, crea un equipo de trabajo con una fuerza de trabajo privada y se agrega al equipo para obtener una vista previa del flujo de trabajo de Amazon A2I.

Puede utilizar el Página de etiquetado de la fuerza laboral en la consola de Amazon SageMaker para crear y administrar su fuerza de trabajo privada. Al seguir las instrucciones, puede crear una fuerza de trabajo privada ingresando correos electrónicos de los trabajadores o importando una fuerza de trabajo preexistente desde un grupo de usuarios de Amazon Cognito.

Si ya tienes un equipo de trabajo para Verdad fundamental de Amazon SageMaker, puede usar el mismo equipo de trabajo con Amazon A2I y pasar al siguiente paso.

Para crear su equipo de trabajo privado, complete los siguientes pasos:

1. En la consola de Amazon SageMaker, elija Etiquetado de mano de obra.
2. En Privado pestaña, elegir Crear equipo privado.
   
3. Elige Invita a nuevos trabajadores por correo electrónico.
4. Las direcciones de correo, ingrese las direcciones de correo electrónico de sus trabajadores. Puede ingresar una lista de hasta 50 direcciones de correo electrónico, separadas por comas, en el Las direcciones de correo caja. Para esta publicación, ingrese su dirección de correo electrónico para trabajar en sus tareas de procesamiento de documentos.
5. Ingrese el nombre de la organización y el correo electrónico de contacto.
6. Elige Crear equipo privado.
   Después de crear el equipo privado, recibirá una invitación por correo electrónico. La siguiente captura de pantalla muestra un ejemplo de correo electrónico:

   

7. Elija el enlace en el correo electrónico y cambie su contraseña. Ahora está registrado como trabajador verificado para este equipo. Su equipo de una sola persona ahora está listo, y puede crear un flujo de trabajo de revisión humana.
8. En Privado pestaña, elija el enlace para Etiquetado del portal de inicio de sesión URL e inicie sesión con las credenciales generadas en el paso anterior.

Debería ver una página similar a la siguiente captura de pantalla.

Paso 2: crear una plantilla de tarea de trabajo

Puede usar una plantilla de trabajador para personalizar la interfaz y las instrucciones que ven sus trabajadores cuando trabajan en sus tareas. Para crear una plantilla de tarea de trabajador, complete los siguientes pasos:

1. En la consola de Amazon SageMaker, elija Plantillas de tareas de los trabajadoresEsta publicación usa la Región Este de EE. UU. (N. Virginia), pero puede usar su Región preferida. Para obtener más información sobre la disponibilidad de la Región para AI aumentada de Amazon y Amazon Translate, consulte Tabla de regiones.
2. Elige Crear plantilla.
   
3. Nombre de la plantilla, introduzca translate-a2i-template.
   
4. En Editor de plantillas campo, copie y pegue el siguiente código del Repositorio GitHub.
   

   <!-- Copyright Amazon.com, Inc. and its affiliates. All Rights Reserved.
   SPDX-License-Identifier: MIT Licensed under the MIT License. See the LICENSE accompanying this file
   for the specific language governing permissions and limitations under
   the License. --> <script src="https://assets.crowd.aws/crowd-html-elements.js"></script> <style> table, tr, th, td { border: 1px solid black; border-collapse: collapse; padding: 5px; min-width: 100%; background-color: white; }
   </style> <crowd-form> <full-instructions header="Translation Quality Check Instructions"> <p>The source document has been broken up into sentences and each sentence has been translated using <a href="https://aws.amazon.com/translate/" target="blank" >Amazon Translate</a>. The source text, along with their <strong>machine generated translation</strong> is shown in the table. Please review the translated text and make changes so the read more like something a person would write rather than an automated translation. Please do this for all the sentences. Once done, click on submit to finish the job. The system will reassemble the edited text to match the original source formatting. System will also "remember" the "translation memory" for future use. </p> </full-instructions> <div> <h1>Instructions</h1> <p>Please review the below translations and make corrections and improvements. Your corrections should:</p> <p> <ol> <li>Make the translated text more accurately express the meaning of the original text.</li> <li>Make the translated text read more like something a person would write rather than an automated translation.</li> </ol> </p> </div> <table> <tr> <th>Sentence</th> <th>Original ({{ task.input.SourceLanguage }})</th> <th>Translation ({{ task.input.TargetLanguage }})</th> </tr> {% for pair in task.input.translationPairs %} <tr> <td>{{ forloop.index }}</td> <td>{{ pair.originalText }}</td> <td> <crowd-text-area name="translation{{ forloop.index }}" value="{{ pair.translation }}" originalValue = "{{ pair.translation }}" char-counter="true" max-rows = "3" rows="3" label="Translated text" placeholder="Please enter the translated version."> </crowd-text-area> </td> </tr> {% endfor %} </table> <br/>
   </crowd-form>
   
   

5. Elige Crear.

Paso 3: crear un flujo de trabajo de revisión humana

Los flujos de trabajo de revisión humana permiten a los revisores humanos intervenir y auditar las traducciones de forma continua. Para crear un flujo de trabajo de revisión humana, complete los siguientes pasos:

1. En la consola de Amazon SageMaker, elija Flujos de trabajo de revisión humana.
2. Elige Crear flujo de trabajo de revisión humana.
   
3. En Configuraciones de flujo de trabajo sección, para Nombre, ingrese un nombre de flujo de trabajo único; por ejemplo, translate-a2i-hrw.
4. Cucharón S3, ingrese el bucket S3 donde desea almacenar los resultados de la revisión humana.

   Para esta publicación, use el mismo depósito que creó en los pasos anteriores, pero agregue un prefijo de /tms. Por ejemplo, si creó un depósito llamado translate-a2i-output, ingrese el camino s3://translate-a2i-output/tms. Esta subcarpeta contiene la memoria de traducción de todos los trabajos de flujo de trabajo de revisión humana que cree.

5. Rol de IAM, escoger Crear un nuevo rol En el menú desplegable.
   
   Amazon A2I puede crear un rol para usted automáticamente.
6. Cubos S3 que especifique, seleccione Cucharones S3 específicos.
7. Ingrese el nombre del depósito S3 que creó anteriormente.
8. Elige Crear.
   
   Verá una confirmación cuando se complete la creación de roles, y su rol ahora se rellena previamente en el Rol de IAM Menú desplegable.
   
9. Tipo de tarea, seleccione Personalizado
   
10. En Plantilla de tarea de trabajador sección, elija traducir-plantilla-a2i En el menú desplegable.
11. Descripción de la tarea, describa brevemente la tarea para sus trabajadores.
    
12. En en domicilio sección, para Tipos de trabajadores, seleccione
13. En el menú desplegable, elija equipo traductor-a2i-privado.
14. Elige Crear.
    

Verá una confirmación cuando se complete la creación del flujo de trabajo de revisión humana.

Copie el flujo de trabajo ARN y guárdelo. Necesitas esto en los próximos pasos. También debe mantener abierto y listo el portal de trabajadores de inteligencia artificial aumentada de Amazon (creado en el Paso 1) después de este paso.

Paso 4: Implementar la pila de CloudFormation

Ahora usa una pila de CloudFormation para implementar la solución. La pila crea el resto de los recursos necesarios, incluidos los siguientes:

• Funciones Lambda requeridas:
  • Notificación TA2I-S3 - Se activa cuando un archivo .txt se cae en la carpeta S3 debajo de source/ subcarpeta
  • TA2I-HumanWorkflowCompletado - Se activa cuando hay un cambio de estado en el flujo de trabajo de revisión humana.
• La Eventos de Amazon CloudWatch regla que desencadena TA2I-HumanWorkflowCompleted.
• La configuración de notificaciones que vincula el bucket S3 y TA2I-S3Notification Función lambda. Lo logras creando un Recurso personalizado de CloudFormation.
• Roles y políticas de IAM requeridos para interactuar con los servicios de inteligencia artificial de manera limitada.

1. Inicie el script de CloudFormation para implementar la pila necesaria para ejecutar todo el flujo:
   
   
   Esto crea los elementos restantes necesarios para ejecutar su flujo de trabajo de revisión humana para las traducciones.
2. Para la pila, complete los parámetros de la siguiente manera:
3. Para usar el flujo de trabajo de revisión humana, ingrese la definición de flujo de trabajo ARN de antes.
4. Para usar el depósito S3, ingrese el nombre del depósito S3 que creó anteriormente.
5. Elija los valores predeterminados en el asistente de implementación de pila.
6. En Revisar página, en el Capacidades y transformaciones sección, seleccione las tres casillas de verificación.
7. Elige Crear pila.
   

Debe confirmar que la pila se implementó correctamente en su cuenta. Puede hacerlo en la consola de CloudFormation y buscar el nombre de la pila Translate-A2I.

Cuando el estado de la pila ha cambiado a CREATE_COMPLETE, puede pasar al siguiente paso.

Paso 5: prueba del flujo

Para probar todo el flujo, complete los siguientes pasos:

1. En la consola de Amazon S3, navegue hasta el depósito S3. Esta publicación utiliza un depósito denominado translate-a2i-output, pero el nombre de su depósito debe ser el mismo que creó como requisito previo e ingresado como parámetro al implementar su Pila de CloudFormation.
   
2. Crea una nueva carpeta llamada source.
3. Seleccione la configuración de cifrado que prefiera. Este es el prefijo que supervisa Amazon S3 para activar el TA2I-S3Notification función.
   
4. Cree un nuevo archivo de texto en su computadora usando su editor de texto preferido e ingrese el siguiente texto de la novela Guerra y Paz:

   Just then another visitor entered the drawing room: Prince Andrew
   Bolkónski, the little princess’ husband. He was a very handsome young
   man, of medium height, with firm, clearcut features. Everything about
   him, from his weary, bored expression to his quiet, measured step,
   offered a most striking contrast to his quiet, little wife. It was
   evident that he not only knew everyone in the drawing room, but had
   found them to be so tiresome that it wearied him to look at or listen to
   them. And among all these faces that he found so tedious, none seemed
   to bore him so much as that of his pretty wife. He turned away from
   her with a grimace that distorted his handsome face, kissed Anna
   Pávlovna’s hand, and screwing up his eyes scanned the whole company.
   
   

5. Guarda este archivo como flow_test.txt.
6. Elige Subir.
7. Subir flow_test.txt En el correo electrónico “Su Cuenta de Usuario en su Nuevo Sistema XNUMXCX”. source carpeta que creó anteriormente.
   
8. Navegue hasta la Fuerzas laborales de Amazon A2I .
9. Elija el Privado .
   
   
10. Visite la Portal de trabajadores de Amazon A2I.
11. Seleccione Tarea de revisión humana en los trabajos listados.
12. Elige Empezar a trabajar.
    
    Debería ver una página como se muestra en la siguiente captura de pantalla. Para fines de verificación de este tutorial, edite el texto en al menos uno de los cuadros de texto.
    
13. Navega a tu cubo S3. Un archivo titulado PO-flow_test.txt debería estar en el post_edits carpeta.
14. Descargue este archivo y abra el contenido en su editor de texto preferido.

Deberías ver el siguiente texto.

Cost

Con Amazon Translate y Amazon A2I, usted paga según el uso según la cantidad de caracteres de texto que procesó y por cada objeto revisado por humanos. El costo de ejecutar este ejemplo es inferior a $ 1. Consulte la página de precios para Traductor de Amazon y AmazonA2I por costos reales.

Limpiar

Para evitar incurrir en cargos futuros, elimine los recursos cuando no esté en uso.

Conclusión

Esta publicación demostró cómo ahora puede usar Amazon A2I para crear flujos de trabajo de revisión humana para las traducciones realizadas con Amazon Translate. Esto le permite crear flujos de trabajo de revisión para los documentos críticos que necesita traducir utilizando su propia fuerza de trabajo privada, y proporciona una mayor precisión y contexto. Este enfoque también le permite capturar la memoria de traducción que crea su equipo humano, que puede ser un valioso activo de propiedad intelectual.

Para la base del código en este tutorial, vea el Repositorio GitHub. Para un cuaderno Jupyter con esta prueba de concepto, vea el Repositorio GitHub. Para obtener información sobre la integración Amazon Textil con Amazon A2I, ver Uso de Amazon Textract con Amazon Augmented AI para procesar documentos críticos.

Sobre los autores

Mayank Thakkar es Arquitecto de Soluciones Sr. en el equipo de Salud Global y Ciencias de la Vida de AWS, especializado en la creación de soluciones basadas en aprendizaje automático, inteligencia artificial y sin servidor. En AWS, trabaja en estrecha colaboración con compañías farmacéuticas globales para crear soluciones de vanguardia enfocadas en resolver problemas de la industria del mundo real. Además del trabajo, Mayank, junto con su esposa, está ocupado criando a dos niños enérgicos y traviesos, Aaryan (6) y Kiaan (4), ¡mientras trata de evitar que la casa se queme o se inunde!

Purnesh Tripathi es Arquitecto Asociado de Soluciones en Amazon Web Services. Fue científico de datos en su vida anterior y le apasionan los beneficios que el aprendizaje automático y la inteligencia artificial aportan a un negocio. Trabaja con proveedores de software independientes y nuevas empresas en Nueva Zelanda para ayudarlos a innovar más rápido con AWS.

Fuente: https://aws.amazon.com/blogs/machine-learning/designing-human-review-workflows-with-amazon-translate-and-amazon-augmented-ai/