Sentropy, một công ty khởi nghiệp đang phát triển các công cụ bất khả tri nền tảng để phát hiện lạm dụng trực tuyến, đã nổi lên từ hoạt động lén lút ngày nay với khoản đầu tư mạo hiểm 13 triệu đô la. Các sản phẩm của họ nhằm giải quyết tình trạng thiếu giám sát trên các nền tảng truyền thông xã hội, nơi những người kiểm duyệt nội dung chỉ xem xét một phần nhỏ trong số hàng triệu ví dụ về lạm dụng được gắn cờ hàng ngày.
Sentropy nằm trong số các nhân viên cũ của Apple, Microsoft và Lattice, cũng như cựu giám đốc chiến lược và hoạt động tại Palantir. Một số người sáng lập của công ty đã làm việc cùng nhau tại Lattice Data, mục tiêu mua lại của Apple, đã hợp tác với Cơ quan Dự án Nghiên cứu Quốc phòng Tiên tiến Hoa Kỳ (DARPA) thông qua memex chương trình chống nạn buôn người. Là một phần của nỗ lực, họ đã xem xét các tín hiệu từ các nguồn như Craigslist, Backpage và các diễn đàn web đen, như ngôn ngữ thường có liên quan đến buôn người và điều này đã truyền cảm hứng cho giải pháp của Sentropy.
Đó là một sự ra mắt kịp thời. Theo Trung tâm nghiên cứu Pew, Cứ 4 người Mỹ thì có 10 người đã từng trải qua một số hình thức quấy rối trực tuyến. Và 37% Internet có trụ sở tại Hoa Kỳ người dùng nói họ là mục tiêu của các cuộc tấn công nghiêm trọng - bao gồm quấy rối tình dục và rình rập - dựa trên khuynh hướng tình dục, tôn giáo, chủng tộc, dân tộc, bản dạng giới hoặc khuyết tật của họ.
Sản phẩm hàng đầu của Sentropy, đã được thử nghiệm beta riêng tư từ tháng XNUMX năm ngoái, cung cấp quyền truy cập API vào các công nghệ phân loại, với các khuyến nghị để giải quyết vấn đề quấy rối. Sentropy Defend, một giao diện dựa trên trình duyệt, hỗ trợ quy trình kiểm duyệt đầu cuối, trong khi Sentropy Detect cung cấp các công cụ để xác định các hình thức lạm dụng, phát hiện xu hướng hành vi và đưa ra quyết định kiểm duyệt.
Cả Bảo vệ và Phát hiện đều được trang bị công cụ quy trình làm việc trực quan và các mô hình phát hiện “không ngừng phát triển” được điều chỉnh theo các tiêu chuẩn của cộng đồng. Nền tảng này giám sát web để tìm các hành vi mới và thích ứng với các nguyên tắc và chuẩn mực của cộng đồng cá nhân, với mục tiêu giảm lạm dụng và thúc đẩy mức độ tương tác sâu hơn.
Đưa ra một câu ngắn gọn, Sentropy cho biết nó có thể xác định các cuộc tấn công, đe dọa hoặc thù hận nhắm vào mọi người dựa trên danh tính hoặc mối quan hệ chung, bao gồm giới tính, chủng tộc, quốc tịch, khuynh hướng tình dục, tôn giáo, chính phủ, quốc gia hoặc nhóm chính trị. Bằng cách xem xét lời nói khử nhân tính và những lời nói thô tục khác, biểu hiện khinh thường hoặc ghê tởm cũng như lời kêu gọi bạo lực và loại trừ, nền tảng này nhằm mục đích phát hiện:
- Những lời lăng mạ đề cập đến các đặc điểm thể chất của một người (bao gồm chủng tộc, giới tính, ngoại hình), trí thông minh, tính cách hoặc hành vi của một người.
- Đe dọa bạo lực thể chất - ví dụ: bày tỏ mong muốn làm tổn hại thể chất một người hoặc nhiều nhóm người (bao gồm cả các hành vi bạo lực tình dục), ủng hộ cái chết của một người hoặc các nhóm hoặc khuyến khích người khác tự gây thương tích hoặc bạo lực.
- Tự làm hại bản thân, chẳng hạn như đề cập đến việc muốn cố ý làm hại cơ thể của chính mình bằng cách cắt, đốt hoặc các hành vi nguy hiểm khác; đe dọa tự tử hoặc truyền đạt ý tưởng tự sát; hoặc tư vấn cho người khác về cách tự làm hại hoặc tự sát.
- Gây hấn tình dục, đề cập đến ngôn ngữ khiêu dâm, hình ảnh, tình dục nhắm vào một người, chẳng hạn như đe dọa thực hiện các hành vi tình dục không mong muốn.
- Những người theo chủ nghĩa thượng tôn da trắng tìm cách hồi sinh và thực hiện các ý thức hệ như ưu thế chủng tộc da trắng, ưu thế văn hóa da trắng và hoài cổ, chủ nghĩa dân tộc da trắng, thuyết ưu sinh, vai trò giới truyền thống phương Tây, phân biệt chủng tộc, kỳ thị đồng tính, bài ngoại, bài Do Thái, phủ nhận Holocaust, thuyết âm mưu của người Do Thái và ca ngợi Adolf Hitler.
Cần lưu ý rằng kiểm duyệt bán tự động vẫn là một thách thức chưa được giải quyết. Năm ngoái, nhà nghiên cứu cho thấy rằng Perceive, một công cụ do Google và công ty con Jigsaw của nó phát triển, thường phân loại các bình luận trực tuyến được viết bằng tiếng địa phương của người Mỹ gốc Phi là độc hại. Một nghiên cứu riêng biệt đã tiết lộ rằng ngữ pháp tồi và chính tả vụng về - như "Ihateyou love" thay vì "I hate you" - khiến nội dung độc hại khó phát hiện hơn đối với AI và máy phát hiện.
Ngay cả các nhà lãnh đạo gói được nhận thức trong lĩnh vực phát hiện lạm dụng cũng bị chỉ trích vì cách tiếp cận của họ. Facebook, tuyên bố nó có thể ngay bây giờ 88.8% lời nói căm thù chủ động trên nền tảng của nó, là chủ đề của một báo cáo scathing từ Trung tâm Kinh doanh và Nhân quyền Stern của NYU ước tính công ty mắc khoảng 300,000 lỗi kiểm duyệt mỗi ngày.
Nhưng Sentropy có trụ sở tại Palo Alto tuyên bố họ đã thực hiện các bước để giảm thiểu bất kỳ sự thiên vị tiềm ẩn nào trong hệ thống của mình với nghiên cứu "giảm thiểu thành kiến được nhúng" và "thành kiến sâu". Ví dụ: trong phiên bản beta riêng tư, nó đã theo dõi tốc độ gia tăng phân biệt chủng tộc chống người châu Á trong vài tháng đầu tiên của đại dịch COVID-19 và nó đã tinh chỉnh các mô hình của mình để tính đến các cụm từ phân biệt chủng tộc mới được đặt ra như “ching- demic, ”“ Thượng Hải rùng mình ”và“ kung flu ”xuất hiện khắp nơi trên mạng. (Hơn 100 biến thể của ngôn ngữ lăng mạ hướng đến các dân tộc và nền văn hóa Châu Á, Sentropy tìm thấy, 85% trong số đó có liên quan cụ thể đến COVID-19.)
Người phát ngôn của Sentropy nói với VentureBeat qua email: “Dành thời gian cho các cộng đồng kỹ thuật số, một điều nổi bật là tốc độ nhanh chóng mà ngôn ngữ biến đổi và phát triển theo thời gian. “Máy học hỗ trợ [cộng đồng] phát hiện các tín hiệu ngôn ngữ hoàn toàn mới - tất cả để [họ] có thể bảo vệ tốt hơn những người dễ bị lạm dụng nhất.”
Vốn Khởi tạo của Alexis Ohanian và Garry Tan đã đóng góp rất nhiều vào sự hỗ trợ cho vòng đầu tiên này. Các nhà đầu tư bổ sung bao gồm King River Capital; Chân trời; Sân chơi Toàn cầu; những người sáng lập và lãnh đạo từ Riot Games, Nextdoor, Twitch, OpenAI và Twitter; và một cựu nguyên thủ quốc gia.
Source: http://feedproxy.google.com/~r/venturebeat/SZYF/~3/Gbf45I3s7z4/
