By Eric Siegel, tiến sĩ, Tuần lễ Máy học
Cuộc thăm dò mới nhất của KDnuggets xác nhận lại tiếng vang nghiêm trọng của ngành ngày nay: Rất ít mô hình học máy thực sự được triển khai. Trong bài viết này, tôi sẽ tóm tắt các kết quả thăm dò và cho rằng sự thất bại nặng nề này của các dự án ML đến từ sự thiếu thận trọng của lãnh đạo. Tôi cũng sẽ tranh luận rằng MLops không phải là thành phần cơ bản còn thiếu - thay vào đó, một phương pháp lãnh đạo ML hiệu quả phải là con chó vẫy đuôi tích hợp mô hình.
Xem xét các cuộc bàn tán ngày càng tăng về việc ML không ra mắt, có tương đối ít nghiên cứu cụ thể trong ngành - đặc biệt là khi nói đến các cuộc khảo sát về việc triển khai mô hình nói riêng chứ không phải ROI nói chung - vì vậy tôi đã đề xuất cuộc thăm dò này cho Gregory Piatetsky và Matthew Mayo của KDnuggets. Họ đã giúp tôi hình thành và đúc kết nó.
Kết quả thật ảm đạm, nhưng vẫn có một khía cạnh lạc quan: Trong hầu hết các trường hợp, thành phần duy nhất còn thiếu để đạt được việc triển khai thúc đẩy giá trị thực là phương pháp lãnh đạo đúng đắn - cùng với một số quy trình điều hành khá thô sơ. Đó là, sự phấn khích về ML là xứng đáng. Vấn đề là sự phấn khích này hiện tập trung gần như hoàn toàn vào bản thân công nghệ cốt lõi, thay vì đưa nó vào sản xuất.
CÂU HỎI POLL ĐẦU TIÊN: Bao nhiêu phần trăm mô hình học máy (do bạn hoặc đồng nghiệp của bạn tạo ra với ý định được triển khai) đã thực sự được triển khai?
Phần lớn các nhà khoa học dữ liệu nói rằng chỉ có 0 đến 20% các mô hình được tạo ra để triển khai đã đạt được điều đó. Nói cách khác, hầu hết đều nói rằng 80% hoặc nhiều hơn các dự án của họ bị đình trệ trước khi triển khai mô hình ML.
Tỷ lệ thành công thấp đáng kinh ngạc này phù hợp với nghiên cứu ngành trước đây. Nhìn thấy Bài báo của Thomas Davenport và Katie Malone để có cái nhìn tổng quan được trình bày rõ ràng về hồ sơ theo dõi, bao gồm các kết quả từ Cuộc khảo sát của Rexer Analytics với các nhà khoa học dữ liệu cho thấy rằng, vài năm trước, chỉ có 13% cho biết các mô hình của họ luôn được triển khai (trong cuộc khảo sát gần đây hơn vào năm 2020, con số này giảm xuống còn 11%, Karl Rexer nói với tôi). Theo nghiên cứu từ MIT Sloan Management. Nhà phân tích của One Gartner cũng ước tính gần 85% dự án dữ liệu lớn thất bại. Thêm vào đó, “lợi nhuận trung bình trên tất cả các khoản đầu tư vào AI của công ty chỉ là 1.3%” và “chỉ 20% các dự án AI đang được triển khai rộng rãi,” theo một cuộc khảo sát năm 2020 về các giám đốc điều hành cấp cao bởi ESI ThoughtLab.
Lãnh đạo ML để Giải cứu
Đây là gốc rễ của vấn đề: Chúng tôi cổ vũ các phương pháp ML cốt lõi tạo ra các mô hình hơn là thứ mà chúng tôi nên hào hứng hơn - thực sự sử dụng các mô hình đó trên thực địa. Nếu chúng tôi thực sự ưu tiên triển khai mô hình, chúng tôi sẽ tích cực dẫn đầu theo hướng đó bằng cách lập kế hoạch nghiêm ngặt cho nó ngay từ đầu, trước khi bất kỳ công việc thực hành nào bắt đầu.
Hãy để tôi nói theo cách khác. Sự cường điệu ngày nay về bản thân khả năng thu thập số lượng - với tương đối ít tập trung vào việc triển khai - giống như việc bạn hào hứng với việc chế tạo một tên lửa hơn là việc phóng nó.
Sự thúc đẩy của nhà khoa học dữ liệu là bắt tay ngay vào việc lập mô hình càng sớm càng tốt. Điều này cũng áp dụng cho những người mới đến, những người hầu như chỉ nhảy vào các khóa học thực hành và các cuốn sách cho rằng dữ liệu đào tạo đã được chuẩn bị sẵn. Điều này tạo thành một câu chuyện sai rõ ràng, trong đó bước đầu tiên của một dự án ML là tải dữ liệu vào phần mềm mô hình hóa.
Giả định sai lầm này, rằng dữ liệu đã có sẵn, là một triệu chứng rõ ràng của hội chứng “Thiếu điểm” tập thể của ngành ML. Nó tiết lộ rằng chúng tôi không đào tạo các học viên để mắt đến quả bóng: triển khai. Rốt cuộc, ngay cả trước khi bạn có thể bắt đầu chuẩn bị dữ liệu, các yêu cầu của nó - đáng chú ý nhất là định nghĩa của biến phụ thuộc - phụ thuộc nhiều vào một dự án có phạm vi tốt, được cung cấp thông tin, được xã hội hóa và cuối cùng là dự án xanh được thiết kế để đạt được việc triển khai. Triển khai có nghĩa là thay đổi triệt để các hoạt động hiện có. Bạn không thể cho rằng những người ra quyết định sẽ dễ dàng mua được. Cộng tác sâu với họ là trọng tâm hơn việc tạo ra một mô hình.
Học sâu, với tất cả lời hứa và tầm quan trọng của nó, chỉ phóng đại vấn đề, làm tăng tỷ lệ cường điệu trên giá trị đạt được. Các dự án như vậy thậm chí có nhiều khả năng mang tính đầu cơ và khám phá hơn - nhiều hơn về phía R&D với khoảng cách rộng hơn để vượt qua trước khi có bất kỳ khả năng triển khai cuối cùng nào. Các dự án học sâu thường giới thiệu các hoạt động và khả năng mới, chẳng hạn như với các mô hình xử lý hình ảnh đề xuất chẩn đoán cho bác sĩ hoặc lái xe tự hành. Điều này trái ngược với các ứng dụng kinh doanh được thiết lập nhiều hơn về các phương pháp mô hình hóa thường đơn giản hơn, chỉ nâng cao các hoạt động hiện có, chẳng hạn như để phát hiện gian lận và chấm điểm tín dụng. Hơn nữa, sự phức tạp của các mô hình học sâu cũng có nghĩa là các thách thức tích hợp có nhiều khả năng bị đánh giá thấp hơn và không được lập kế hoạch đầy đủ.
Sự cường điệu “AI” làm lệch trọng tâm so với việc triển khai thực tế thậm chí còn nổi tiếng hơn. Khi bạn chuyển sang theo đuổi “trí thông minh”, bạn ngừng giải quyết một vấn đề cụ thể bằng điểm số dự đoán. Thay vào đó, bạn đang theo đuổi một sự nguỵ biện. Trí thông minh là một mục tiêu không thể được xác định một cách có ý nghĩa trong bối cảnh kỹ thuật. Xem cuốn sách mới của Richard Heimann, Làm AI, điều này phơi bày câu chuyện sai lầm của AI: tuyên bố của nó là - hoặc ít nhất là sớm - giải pháp tối ưu có một không hai, một viên đạn bạc có khả năng giải quyết mọi vấn đề. Và để biết thêm về điều này, tôi đã làm một loạt video ngắn về lý do tại sao việc hợp pháp hóa AI như một lĩnh vực mang lại chi phí lớn cho doanh nghiệp.
Phương pháp lãnh đạo ML đúng đắn tạo ra một sự chia rẽ lớn hơn những gì hầu hết mọi người nhận ra. Nó tạo ra một con đường khả thi để triển khai, bao gồm cả việc đạt được sự ủng hộ từ các nhà lãnh đạo doanh nghiệp chủ chốt - những người thường cung cấp đầu vào làm thay đổi quan niệm ban đầu của nhà khoa học dữ liệu về một dự án. Nếu không chủ động tham gia, những người này thường sẽ cản trở việc triển khai.
Để tìm hiểu sâu hơn, hãy xem các bài viết của tôi về lãnh đạo ML trong Xe đẩy, Harvard Business Reviewvà Tạp chí Analytics (THÔNG TIN), Cộng với khóa học ML trực tuyến của tôi (xem video trên tại sao các nhà khoa học dữ liệu cần tìm hiểu khía cạnh kinh doanh của ML) và theo dõi hội nghị vận hành của Tuần học máy. Nói về điều này, người chủ trì chương trình hội nghị đó, cố vấn James Taylor, là người có thẩm quyền hàng đầu trong lĩnh vực này. Anh ấy đã xuất bản nhiều bài báo về chủ đề này, chẳng hạn như một bài báo về những điều cơ bản của việc vận hành ML và một trên tại sao các tổ chức đấu tranh với việc trở nên dựa trên dữ liệu.
Các vấn đề do Thiếu Lãnh đạo ML gây ra
Câu hỏi thăm dò thứ hai khám phá các loại vấn đề cản trở việc triển khai.
CÂU HỎI POLL THỨ HAI: Theo kinh nghiệm của bạn, trở ngại chính đối với việc triển khai mô hình là gì?
Đó là sự thiếu lãnh đạo thường cản trở việc triển khai. Trong số ba câu trả lời hàng đầu, cùng chiếm 91%, chỉ có một câu ám chỉ đến khả năng thất bại trong việc lập mô hình hơn là thất bại trong việc lập kế hoạch dự án: “hiệu suất không được những người ra quyết định coi là đủ mạnh”. Tuy nhiên, bạn có thể đặt cược rằng điều này thường bắt nguồn từ việc quản lý kém kỳ vọng của người giám sát về việc liệu các mô hình có “độ chính xác cao” hay không (hầu hết sẽ không) và liệu các mô hình thực tế hơn sẽ có giá trị hay không nếu được triển khai (hầu hết sẽ là như vậy). Ban lãnh đạo ML phải tăng cường các nhà ra quyết định cho phù hợp.
Thách thức hội nhập (35%) thực sự phản ánh sự thất bại của khả năng lãnh đạo chứ không phải do lỗi kỹ thuật hoặc thiếu MLops, trong hầu hết các trường hợp. Rốt cuộc, với việc triển khai, mục tiêu được đặt ra từ khi bắt đầu một dự án ML, việc đánh giá các yêu cầu tích hợp kỹ thuật - và lập kế hoạch cho việc thực hiện chúng - phải được ưu tiên ngang bằng với bản thân mô hình. MLops có thể là một phần quan trọng của việc thực hiện đó, nhưng nó không phải là phương pháp triển khai tất cả. Điểm nghẽn lớn nhất đối với việc triển khai thường là thu hút được sự ủng hộ của các nhà hoạch định con người, ngay cả khi những thách thức tích hợp cũng rất ấn tượng. Trong mọi trường hợp, lãnh đạo là điều cơ bản để giải quyết mọi trở ngại, trong khi MLops chỉ là một trong nhiều công cụ mà lãnh đạo sử dụng. Nếu hóa ra MLops là thành phần chính bị thiếu, thì đó là do sự thất bại của khả năng lãnh đạo, chứ không phải lập luận rằng MLops là giải pháp duy nhất cho những rắc rối khi triển khai của chúng tôi nói chung.
Các vấn đề “quyền riêng tư / pháp lý” được xếp hạng thấp hơn cũng có thể xuất phát từ việc thiếu tầm nhìn xa và lập kế hoạch - mặc dù những vấn đề như vậy có thể phát sinh bất ngờ. Với tầm quan trọng to lớn và sự chú ý rộng rãi dành cho những vấn đề này, điều đáng chú ý là chúng không thường xuyên được xếp hạng là trở ngại chính. Có thể là các dự án ML chỉ đơn giản là không đi đủ xa để đối mặt với những vấn đề này, bị đình trệ sớm hơn do các vấn đề khác.
Các dấu hiệu khác của cuộc khủng hoảng triển khai ML
Cuộc thăm dò này đã nhận được 114 phản hồi, ít hơn nhiều cuộc thăm dò của KDnuggets. Có thể câu hỏi về việc triển khai chỉ đơn giản là không áp dụng cho nhiều nhà khoa học dữ liệu, những người chưa ở điểm tạo ra các mô hình dự đoán dành cho việc triển khai - hoặc những người thậm chí không đi theo hướng đó, thay vào đó sử dụng "mô tả" các phương pháp phân tích khác với ML. Nhưng có thể có sự lựa chọn bất lợi cho bản thân đối với những người không thực sự muốn đối mặt với sự thiếu thành công đặc biệt này. Có thể khó chịu khi bạn phát hiện ra một cách khó khăn, theo thời gian, rằng điều có vẻ như là một đề xuất giá trị "không có trí tuệ" không quá rõ ràng đối với các quyền lực, những người thay vào đó sai lầm về mặt thận trọng vì những cạm bẫy tiềm ẩn mà họ hình dung ra nếu họ bật đèn xanh cho việc triển khai mô hình. Xét cho cùng, KDnuggets hầu như chỉ tập trung vào quy trình kỹ thuật thực hành, chỉ hiếm khi xuất bản các bài báo tập trung vào việc triển khai kinh doanh. Độc giả của nó bao gồm một cộng đồng các chuyên gia hiểu biết về kỹ thuật, những người tập trung nhiều hơn vào việc xử lý số lượng hơn là hoạt động của nó. Nếu đó là trường hợp các nhà khoa học dữ liệu thất vọng không tham gia cuộc khảo sát này, thì tình hình thậm chí còn nghiêm trọng hơn những gì được phản ánh trong các kết quả khảo sát này.
Với số lượng thấp, có rất ít hoặc không có gì để kết luận thông qua các tab chéo. Trong bất kỳ trường hợp nào, đây là tập dữ liệu đầy đủ trong trường hợp bạn muốn tìm hiểu sâu hơn.
Cuối cùng, các câu trả lời cho câu hỏi cuối cùng của cuộc thăm dò ba câu hỏi này càng khẳng định sự phù hợp của nó:
CÂU HỎI POLL THỨ BA: Loại người sử dụng lao động của bạn là gì?
Phần lớn những người được hỏi là những người hoạt động trong ngành, đây là nơi mà việc triển khai cuối cùng được coi là quan trọng. Chúng ta có thể mong đợi các nhà cung cấp có khuynh hướng báo cáo ít lỗi hơn; các công cụ của họ cho phép phân tích và trong một số trường hợp, mặt tích hợp kỹ thuật của việc triển khai, nhưng thực tiễn lãnh đạo cần thiết để đạt được việc triển khai là con người chứ không phải nỗ lực phần mềm. Họ không bán cái đó. Đối trọng với sự thiên lệch có thể xảy ra, các học giả và sinh viên ít có khả năng làm việc đối với việc triển khai công nghiệp ngay từ đầu. Những giả thuyết này dường như rất rõ ràng về các con số, nhưng các phân đoạn riêng biệt quá nhỏ để đưa ra kết luận.
Cuối cùng, bốn người đã chọn “Khác” cho câu hỏi thứ hai (trở ngại chính đối với việc triển khai) đã viết trong các mục không ngạc nhiên này:
- Mục đích nghiên cứu [người trả lời này cho biết "Học thuật / Nghiên cứu" là loại hình nhà tuyển dụng của họ]
- quá cường điệu, học sâu thường không thành công khi kiểm tra thực tế
- Mất hứng thú
- Nhận con nuôi
Các bước tiếp theo
Nghiên cứu sâu hơn về ngành là cần thiết. Cuộc khảo sát ngắn này để lại nhiều điều không chắc chắn và còn nhiều điều để thăm dò ý kiến. Rốt cuộc, một số dự án ML thành công - chẳng hạn như đào tạo một mô hình cập nhật cho hệ thống chấm điểm tín dụng hiện có tại một ngân hàng lớn - có nhiều khả năng thành công hơn các sáng kiến mới. Lý tưởng nhất là các cuộc khảo sát trong tương lai sẽ phân biệt theo lĩnh vực ứng dụng, ngành dọc, sáng kiến có phải là sáng kiến mới hay không và liệu chúng có đang sử dụng học sâu hay không. Chúng ta có thể thấy rằng, bên ngoài những hoàn cảnh lý tưởng nhất, tỷ lệ thất bại thậm chí còn cao hơn.
Nhưng tôi sẽ kết thúc bằng một lời kêu gọi hành động quan trọng hơn: Hãy dẫn dắt ML thật tốt. Đảm nhận vai trò lãnh đạo của các dự án ML đối với việc triển khai một cách chặt chẽ giống như việc bạn áp dụng các thuật toán ML cốt lõi!
Eric Siegel, tiến sĩ, là một nhà tư vấn hàng đầu và là cựu giáo sư Đại học Columbia, người làm cầu nối giữa khía cạnh kinh doanh và công nghệ của máy học. Anh ấy là người sáng lập Thế giới phân tích dự đoán và Thế giới học sâu chuỗi hội nghị, cùng nhau Tuần học máy, đã phục vụ hơn 17,000 người tham dự kể từ năm 2009. Là người hướng dẫn của khóa học trực tuyến nổi tiếng "Thực hành và lãnh đạo bằng máy học - Làm chủ từ đầu đến cuối”, Người chiến thắng giải thưởng giảng dạy với tư cách là giáo sư và là một diễn giả nổi tiếng, Eric đã cung cấp hơn 110 bài phát biểu quan trọng. Biên tập viên điều hành của Thời gian học máy, anh ấy đã viết sách bán chạy nhất Phân tích dự đoán: Sức mạnh để dự đoán ai sẽ nhấp, mua, nói dối hoặc chết, đã được áp dụng cho các khóa học tại hàng trăm trường đại học. Eric đã xuất hiện trên nhiều kênh truyền thông, bao gồm Bloomberg, National Geographicvà NPRvà đã xuất bản trong Newsweek, HBR, Blog khoa học, WaPo, WSJ, và chi tiết - Bao gồm cả op-eds về phân tích và công bằng xã hội. Theo dõi anh ấy @p dự đoán.
