Hôm qua, tại Hội nghị thượng đỉnh tác động Monte Carlo Tôi đã chia sẻ 9 dự đoán về dữ liệu của mình vào năm 2023. Đây là các trang trình bày & Tôi đã nhúng chúng bên dưới.

Đây là 9 dự đoán của tôi. Một năm kể từ bây giờ, tôi sẽ chấm điểm chúng để xem tôi đã làm như thế nào.

1. Kho dữ liệu đám mây (CDW) sẽ xử lý 75% khối lượng công việc vào năm 2024. Trong 20 năm qua, các CDW đã tăng từ 50% khối lượng công việc lên 36%, với phần còn lại là cơ sở dữ liệu tại chỗ. Trong khi đó, ngành công nghiệp này đã tăng từ 80 tỷ đô la lên XNUMX tỷ đô la trong thời gian đó.
2. Khối lượng công việc dữ liệu sẽ phân đoạn theo trường hợp sử dụng thành ba nhóm. Đầu tiên, cơ sở dữ liệu trong bộ nhớ như VịtDB sẽ phát triển để thống trị phân tích cục bộ ngay cả đối với các tệp lớn. CDW sẽ giữ lại các cách sử dụng BI & thăm dò cổ điển. Các kho lưu trữ dữ liệu đám mây sẽ phục vụ các công việc hoạt động trên dữ liệu lớn và các công việc không yêu cầu độ trễ nhanh nhất - và làm điều đó với giá lưu trữ chỉ bằng một nửa.
3. Các lớp chỉ số sẽ thống nhất ngăn xếp dữ liệu. Ngày nay, có hai nhánh dữ liệu khác nhau. Đợt fork đầu tiên sử dụng ETL để bơm dữ liệu vào CDW, sau đó đến BI hoặc công cụ thăm dò dữ liệu. Ngã ba thứ hai, ngăn xếp học máy, lưu giống hệt nhau cho các kết quả đầu ra: phục vụ mô hình và đào tạo mô hình. Lớp chỉ số sẽ trở thành các chỉ số và tính năng ở vị trí duy nhất được xác định, thống nhất ngăn xếp & có khả năng di chuyển mô hình phân phối & đào tạo vào cơ sở dữ liệu.
4. Các mô hình máy học ngôn ngữ lớn sẽ thay đổi vai trò của các kỹ sư dữ liệu. Tôi đã quay video tự viết mã để tạo biểu đồ và nhúng nó vào bản trình bày. Video cho thấy Github Copilot tạo một biểu đồ cho sự phát triển của ngôi sao DuckDB một cách kỳ diệu. Copilot nhập nhận xét, viết mã, thậm chí thêm chức năng chủ đề tùy chỉnh của tôi. Khi tôi thực thi mã, nó hoạt động. Những công nghệ như thế này sẽ đẩy công việc kỹ thuật dữ liệu lên một bình diện trừu tượng cao hơn.
5. WebAssembly hoặc WASM sẽ trở thành một phần thiết yếu của các ứng dụng dữ liệu dành cho người dùng cuối. WASM là một công nghệ tăng tốc phần mềm trình duyệt. Trang tải nhanh hơn, xử lý dữ liệu nhanh hơn và người dùng hạnh phúc hơn. Mọi trình duyệt chính đều hỗ trợ WASM và do đó, bất kỳ ai sản xuất ứng dụng dữ liệu cho người dùng cuối đều sẽ sử dụng nó.
6. Máy tính xách tay sẽ giành được 20% người dùng Excel. Trong số 1 tỷ người dùng Excel toàn cầu, 20% sẽ trở thành người tiêu dùng, viết Python / SQL để phân tích dữ liệu. Họ sẽ làm điều đó trong các sổ ghi chép như Jupyter, dễ dàng chia sẻ, tái tạo và kiểm soát phiên bản. Những máy tính xách tay đó sẽ trở thành ứng dụng dữ liệu được sử dụng bởi người dùng cuối trong các công ty, thay thế Excel và Google Sheets giòn.
7. Các ứng dụng SaaS sẽ sử dụng CDW như một chương trình phụ trợ cho cả đọc và ghi. Ngày nay, dữ liệu bán hàng, tiếp thị và tài chính tồn tại trong các hệ thống khác nhau. Hệ thống ETL sử dụng API để đẩy dữ liệu đó vào CDW để phân tích. Trong tương lai, các sản phẩm phần mềm sẽ xây dựng ứng dụng của họ trên CDW để tận dụng lợi thế của bảo mật tập trung, quy trình mua sắm nhanh hơn và dữ liệu liền kề. Các hệ thống này cũng sẽ ghi lại vào CDW.
8. Khả năng quan sát dữ liệu trở thành Phải có. Các kỹ sư phần mềm đo lường sự thành công của những nỗ lực của họ thông qua thời gian hoạt động. 99.9% hoặc ba phần trăm thời gian hoạt động có nghĩa là chỉ có 1 sự cố mỗi 1000 giờ. Các nhóm dữ liệu ngày nay thấy 70 sự cố trên 1000 bảng. Các nhóm dữ liệu sẽ điều chỉnh dựa trên các chỉ số về thời gian hoạt động / độ chính xác của dữ liệu và hướng tới mức tương đương ba nines, sử dụng các công cụ có thể quan sát dữ liệu để đo lường hiệu suất của họ.
9. Thập kỷ dữ liệu tiếp tục. Các công ty khởi nghiệp dữ liệu đã huy động được tổng cộng hơn 60 tỷ đô la vào năm 2021, hơn 20% tổng số đô la mạo hiểm huy động được. Chúng tôi vẫn đang trong giai đoạn đầu của phong trào cơ bản này.

Cảm ơn nhóm Monte Carlo vì cơ hội và khán giả vì những câu hỏi tuyệt vời ở phần cuối. Tôi sẽ đăng video về bài thuyết trình khi nó phát trực tiếp.