Einstein là nhà khoa học cũng như Messi đối với tiền vệ.
Paris đối với Pháp cũng như Tokyo đối với Nhật Bản.
Jobs là với Apple cũng như Ballmer đối với Microsoft.

Đây chỉ là một vài trong số rất nhiều phép loại suy mà các hệ thống AI có thể hoàn thành chính xác, nhờ những đột phá trong Xử lý ngôn ngữ tự nhiên. Trong vài năm qua, nghiên cứu về các hệ thống tạo ra các cách biểu diễn ngày càng phức tạp của các từ đã đi vào hoạt động, với các nhóm nghiên cứu đã phát hành ngày càng nhiều mô hình mạnh mẽ hơn, luôn đánh bại hệ thống hiện đại nhất bấy giờ. Với những kỹ thuật này, máy tính có thể suy luận rất nhiều về thế giới mà chúng ta đang sống, như nghề nghiệp của Lionel Messi hay công ty mà Steve Ballmer điều hành.

Nhưng điều gì sẽ xảy ra nếu có một số khu vực trên thế giới của chúng ta được loại bỏ tốt hơn khỏi những hệ thống này?

Vì sự đánh đổi quyền lực-trách nhiệm theo phương ngôn, điều quan trọng là chúng ta phải dành chút thời gian để thảo luận về những tác động đạo đức của những tiến bộ này: cụ thể là sự tồn tại của những thành kiến ​​của con người. Cụ thể là thành kiến ​​về giới, vì nó thường tồn tại trong ngôn ngữ, mà không đi sâu vào việc liệu ngôn ngữ có nên trung lập hơn về giới tính hay không.

Chính xác thì ý của chúng tôi là gì?

Nói một cách thông tục, thiên vị được định nghĩa là thành kiến ​​đối với hoặc chống lại một người hoặc một nhóm, thường theo cách được coi là không công bằng. Sự sai lệch theo nghĩa học máy được định nghĩa hơi khác một chút, như là một “lỗi do các giả định sai lầm trong thuật toán học tập”. Nói cách khác, một mô hình luôn mắc những lỗi giống nhau.

Khi chúng ta nói về sự thiên vị trong NLP, chúng ta thực sự có thể nói về cả hai loại. Những thành kiến ​​tồn tại từ trước trong xã hội của chúng ta ảnh hưởng đến cách chúng ta nói và những gì chúng ta nói, từ đó chuyển thành những gì được viết ra, cuối cùng là những gì chúng ta sử dụng để đào tạo hệ thống học máy. Khi chúng tôi đào tạo các mô hình của mình bằng cách sử dụng dữ liệu thiên vị, nó sẽ được kết hợp vào các mô hình của chúng tôi, điều này cho phép xác nhận và duy trì các thành kiến ​​của chúng tôi.

Để hiểu rõ hơn về cách điều này xảy ra, trước tiên chúng ta cần hiểu cơ bản về cách các chương trình máy tính có thể xử lý văn bản và các thuật toán chúng tôi sử dụng cho việc đó. Trong trường hợp bạn bỏ lỡ bài viết của chúng tôi về cách máy móc hiểu ngôn ngữ, phiên bản ngắn gọn là các từ được biểu thị bằng danh sách các số được gọi là nhúng từ mã hóa thông tin về nghĩa, cách sử dụng và các thuộc tính khác của từ. Máy tính “học” những giá trị này cho mỗi từ bằng cách được cung cấp dữ liệu đào tạo của hàng triệu dòng văn bản, nơi các từ được sử dụng trong ngữ cảnh tự nhiên của chúng.

Vì nhúng từ là số, chúng có thể được hình dung dưới dạng tọa độ trong một mặt phẳng và khoảng cách giữa các từ - chính xác hơn là góc giữa chúng - là một cách để đo sự tương đồng về ngữ nghĩa của chúng. Những mối quan hệ này có thể được sử dụng để tạo ra các phép loại suy.

Trong ví dụ này từ bài viết trước, các mũi tên màu cam đại diện cho tiền bản quyền và các mũi tên màu xanh lam giới tính, thể hiện mối quan hệ đàn ông là vua như phụ nữ là nữ hoàng.

Nhưng điều gì sẽ xảy ra nếu chúng ta muốn mở rộng sự tương tự này sang những cách nói khác, chẳng hạn như nghề nghiệp?

Đàn ông là lập trình viên máy tính như phụ nữ _________

Thông thường nói rằng thuật ngữ bị thiếu nên là lập trình viên máy tính vì thuật ngữ này không phải là giới tính về bản chất, không giống như vua và hoàng hậu. Bạn có thể đoán làm thế nào máy tính, với một hệ thống nhúng từ tiêu chuẩn, điền vào chỗ trống?

Đàn ông là lập trình viên máy tính như phụ nữ người nội trợ (từ dễ xảy ra thứ hai là nội trợ)

Bạn có thể thử các phép loại suy của riêng mình bằng cách sử dụng công cụ nhúng từ.

Dịch máy cung cấp một ví dụ khác. Với một số hệ thống, dịch các câu tiếng Hungary trung lập về giới tính “Ő egy orvos. Ő egy nővér, ”sang tiếng Anh cho kết quả là“ Anh ấy là bác sĩ. Cô ấy là một y tá, ”giả định giới tính của cả hai đối tượng.

Đây rõ ràng không phải là những kết quả lý tưởng. Dữ liệu đào tạo được sử dụng trong mô hình ngôn ngữ tạo ra sự tương tự rất có thể bao gồm việc nam giới lập trình trong cùng ngữ cảnh ngôn ngữ với việc phụ nữ nội trợ thường xuyên hơn phụ nữ làm bất cứ việc gì khác. Kết quả lý tưởng của câu hỏi hóc búa về việc anh ấy là bác sĩ / cô ấy là y tá là ít phải trắng đen hơn, nhưng chúng ta có thể sử dụng đại từ trung tính về giới tính, cung cấp cho người dùng tùy chọn chỉ định giới tính hoặc ít nhất là chọn cùng một đại từ cho cả hai.

Hệ thống máy học là thứ mà chúng ăn và các công cụ xử lý ngôn ngữ tự nhiên cũng không ngoại lệ - điều đó trở nên rõ ràng với Tay, chatbot AI của Microsoft. Có xu hướng chung là giả định rằng nhiều dữ liệu hơn mang lại các mô hình hoạt động tốt hơn và kết quả là, kho tài liệu lớn nhất thường là các tập dữ liệu được thu thập thông tin trên web. Vì internet và các nội dung khác bao gồm ngôn ngữ thực, ngôn ngữ của con người, chúng sẽ tự nhiên thể hiện những thành kiến ​​giống như con người làm và thường không đủ chú ý đến nội dung thực sự của văn bản.

Giảm định kiến ​​giới

Cuối cùng, tại một số thời điểm trong cuộc thảo luận này, ai đó - bất kỳ ai - sẽ đặt ra câu hỏi: Nếu chúng ta muốn AI trở thành đại diện thực sự của nhân loại, chúng ta có nên cố gắng xóa bỏ thành kiến ​​không? AI nên mô tả đơn thuần về hành vi của con người, hay nó phải là mô tả? Đó là một câu hỏi công bằng; tuy nhiên, nếu không có gì khác, chúng ta cũng cần lưu ý rằng các mô hình thiên vị không chỉ tạo ra các phép tương tự gauche - đôi khi chúng không chính xác: một lập trình viên máy tính nữ không tương đương với một người nội trợ.

Nói với tư cách là một kỹ sư AI, chúng ta phải luôn cân nhắc xem ai sẽ sử dụng hệ thống của chúng ta và cho mục đích gì. Tại Unbabel, chúng tôi cần quan tâm đến khách hàng của khách hàng và cố gắng cung cấp các bản dịch chính xác và cân đối nhất. Có con người trong vòng lặp chắc chắn làm giảm nguy cơ có dữ liệu đào tạo phân biệt giới tính, giúp thu hẹp khoảng cách về nơi học máy không thành công. Nhưng với tư cách là kỹ sư, chúng ta có thể làm gì để giảm sự thiên lệch về giới trong các hệ thống NLP?

Phương pháp trực quan nhất là sửa đổi dữ liệu huấn luyện. Nếu chúng ta biết mô hình của mình học được sự thiên vị từ dữ liệu,
có lẽ chúng ta chỉ cần khử thành kiến ​​cho nó. Một kỹ thuật như vậy là "hoán đổi giới tính", trong đó dữ liệu huấn luyện được tăng cường sao cho đối với mỗi câu có giới tính, một câu bổ sung sẽ được tạo, thay thế các đại từ và từ có giới tính bằng các từ có giới tính khác và thay thế tên bằng các phần giữ chỗ thực thể. Ví dụ: “Mary ôm anh trai Tom” cũng sẽ tạo ra “NAME-1 ôm em gái anh ấy NAME-2.” Bằng cách này, dữ liệu đào tạo trở nên cân bằng về giới tính và cũng không tìm hiểu bất kỳ đặc điểm giới tính nào liên quan đến tên. Điều này sẽ cải thiện sự tương tự mà mô hình đưa ra, bởi vì nó sẽ thấy các lập trình viên máy tính trong bối cảnh nam và nữ với số lần bằng nhau.

Tuy nhiên, điều quan trọng cần lưu ý là cách tiếp cận này là đơn giản đối với tiếng Anh, một ngôn ngữ không có giới tính ngữ pháp hữu ích, trong khi đối với nhiều ngôn ngữ khác chỉ hoán đổi đại từ như anh / cô ấy và danh từ như chị / em là không đủ, vì tính từ và các bổ ngữ khác diễn đạt cả giới tính. Ví dụ: ngôn ngữ lãng mạn, chẳng hạn như tiếng Pháp, tiếng Bồ Đào Nha hoặc tiếng Tây Ban Nha, không có giới tính ngữ pháp trung tính. Như Helena Moniz, một nhà ngôn ngữ học và nhà nghiên cứu tại Đại học Lisbon giải thích, “các ngôn ngữ bắt nguồn từ tiếng Latinh đã mất đi giới tính ngữ pháp trung tính từ rất lâu trước đây."

Theo hiểu biết của tôi, nghiên cứu về loại kỹ thuật khử thiên vị cho kho ngữ liệu không phải tiếng Anh này phần lớn chưa được khám phá.

Một phương pháp khác dành riêng cho dịch máy giúp bản dịch chính xác hơn về giới tính là thêm siêu dữ liệu vào các câu lưu trữ giới tính của chủ thể. Ví dụ: trong khi câu “Bạn rất tốt” trong tiếng Anh không rõ ràng về giới tính, nếu câu tiếng Bồ Đào Nha song song là “Tu és muito simpática”, chúng tôi sẽ thêm thẻ vào đầu câu tiếng Anh để mô hình có thể học bản dịch chính xác. Sau khi đào tạo, nếu chúng tôi yêu cầu bản dịch và cung cấp thẻ giới tính mong muốn, mô hình sẽ trả lại thẻ chính xác chứ không chỉ giới tính đa số.

Nếu hệ thống tiếng Hungary-Anh được đào tạo theo cách này, chúng tôi có thể yêu cầu nó dịch “Ő egy orvos” và nhận bản dịch “Cô ấy là bác sĩ” hoặc “Ő egy nővér” và nhận “Anh ấy là y tá”. Để thực hiện điều này trên quy mô lớn, chúng tôi sẽ cần đào tạo một mô hình bổ sung phân loại giới tính của một câu và sử dụng nó để gắn thẻ các câu, thêm một lớp phức tạp.

Các phương pháp này có hiệu quả trong việc giảm sự thiên lệch về giới trong các mô hình NLP nhưng tốn nhiều thời gian để thực hiện, vì chúng yêu cầu thông tin ngôn ngữ bổ sung mà có thể không sẵn có hoặc thậm chí không thể lấy được.

Rất may, chủ đề này đang trở thành một lĩnh vực nghiên cứu phát triển nhanh chóng. Tại Hội nghị thường niên của Hiệp hội Ngôn ngữ học Tính toán diễn ra vào mùa hè này, mà nhiều AI Unbabelers đã tham dự, có toàn bộ bài thuyết trình trên giấy dành cho Thiên vị trong xử lý ngôn ngữ, cũng như Hội thảo đầu tiên về Thiên hướng giới trong xử lý ngôn ngữ tự nhiên.

Google cũng đã đầu tư nguồn lực để giảm thiểu vấn đề này. Vào tháng 2018 năm XNUMX, họ đã thông báo rằng Google Dịch sẽ bắt đầu trả lại bản dịch của các từ đơn từ bốn ngôn ngữ sang tiếng Anh ở cả dạng nữ tính và nam tính.

Thật tuyệt khi thấy các nhà lãnh đạo trong ngành giải quyết vấn đề thiên lệch giới trong các thuật toán, nhưng công việc còn lâu mới kết thúc. Chúng tôi vẫn đang vật lộn với sự thiếu đa dạng trong ngành công nghiệp AI - theo MIT Technology Review, “phụ nữ chỉ chiếm 18% số tác giả tại các hội nghị hàng đầu về AI, 20% các chức danh giáo sư về AI, và 15% và 10% nhân viên nghiên cứu tại Facebook và Google, tương ứng.”- và chúng tôi không thể phủ nhận rằng điều này không phải chịu trách nhiệm một phần cho vấn đề. Là kỹ sư, chúng tôi không thể né tránh vấn đề này, che giấu giả định rằng công nghệ là trung lập. Đặc biệt là vì hậu quả của việc không hành động của chúng ta không chỉ là giai thoại, như các ví dụ mà chúng tôi đã chia sẻ - sự thiên vị trong các thuật toán có thể dẫn đến sự phân biệt đối xử trong quy trình tuyển dụng, đơn xin vay và thậm chí trong hệ thống tư pháp hình sự.

Đây không phải là một tính năng, đó là một lỗi. Và khi nhận thức của chúng ta ngày càng phát triển, chúng ta phải nhận ra vai trò của mình trong việc tạo ra công nghệ phù hợp với nhiều người chứ không phải số ít.

nguồn
Giảm thiểu khuynh hướng giới trong xử lý ngôn ngữ tự nhiên: Tổng quan tài liệu https://arxiv.org/abs/1906.08976

Nguồn: https://unbabel.com/blog/uality-bias-artifining-intelligence/