Logo Zephyrnet

Nút dễ dàng sử dụng AI để chạy POC trong DC của bạn

Ngày:

Ủy AI sáng tạo chạy trên dữ liệu và nhiều tổ chức nhận thấy GenAI có giá trị nhất khi họ kết hợp nó với dữ liệu độc quyền và độc đáo của mình. Nhưng trong đó có một câu hỏi hóc búa. Làm thế nào một tổ chức có thể khai thác kho tàng dữ liệu của mình mà không khiến hoạt động kinh doanh của họ gặp rủi ro quá mức?

Nhiều tổ chức đã giải quyết những mối lo ngại này bằng hướng dẫn cụ thể về thời điểm và cách thức sử dụng AI tổng hợp với dữ liệu độc quyền của riêng họ. Các tổ chức khác đã hoàn toàn cấm sử dụng nó vì lo ngại rò rỉ IP hoặc làm lộ dữ liệu nhạy cảm.

Nhưng điều gì sẽ xảy ra nếu tôi nói với bạn rằng có một cách dễ dàng để chuyển tiếp nằm sau tường lửa trong trung tâm dữ liệu hoặc trên máy trạm của bạn? Và tin tuyệt vời là nó không yêu cầu chu kỳ mua sắm kéo dài hàng tháng hoặc triển khai đáng kể cho một sản phẩm khả thi ở mức tối thiểu. Không thuyết phục? Hãy để tôi chỉ cho bạn cách làm.

Bước 1: Tái sử dụng phần cứng hiện có để dùng thử

Tùy thuộc vào những gì bạn đang làm với AI tổng hợp, khối lượng công việc có thể được chạy trên tất cả các loại phần cứng trong giai đoạn thử nghiệm. Làm sao? Thực tế có bốn giai đoạn của khoa học dữ liệu với các mô hình này. Thứ nhất và thứ hai, suy luận và thế hệ tăng cường truy xuất (RAG), có thể được thực hiện trên cấu hình phần cứng tương đối khiêm tốn, trong khi hai thứ cuối cùng, tinh chỉnh/đào tạo lại và tạo mô hình mới, yêu cầu cơ sở hạ tầng mở rộng để xem kết quả. Hơn nữa, các mô hình có thể có nhiều kích cỡ khác nhau và không phải mọi thứ đều phải là “mô hình ngôn ngữ lớn”. Do đó, chúng tôi thấy rất nhiều tổ chức đạt được thành công với “mô hình ngôn ngữ nhỏ” dành riêng cho từng miền và doanh nghiệp cụ thể được nhắm mục tiêu vào các trường hợp sử dụng rất hẹp. Điều này có nghĩa là bạn có thể sử dụng lại máy chủ, tìm một máy trạm mà mô hình có thể được triển khai hoặc nếu bạn rất mạo hiểm, bạn thậm chí có thể tải LLaMA 2 xuống máy tính xách tay của mình và thử nghiệm với nó. Thực sự không khó để hỗ trợ mức độ thử nghiệm này.

Bước 2: Nhấn vào mã nguồn mở

Có lẽ không nơi nào cộng đồng nguồn mở có nhiều khả năng hơn GenAI. Chúng tôi đang thấy các mô hình tương đối nhỏ cạnh tranh với một số triển khai thương mại lớn nhất trên trái đất về khả năng và khả năng ứng dụng của chúng. Điều duy nhất ngăn cản bạn bắt đầu là tốc độ tải xuống. Có rất nhiều dự án nguồn mở mà bạn có thể tùy ý sử dụng, vì vậy chọn một bản phân phối và bắt đầu đi. Sau khi tải xuống và cài đặt, bạn đã kích hoạt hiệu quả giai đoạn đầu tiên của GenAI: suy luận. Về mặt lý thuyết, thử nghiệm của bạn có thể dừng ở đây, nhưng nếu chỉ cần nỗ lực thêm một chút, bạn có thể mở khóa được một số phép thuật thực sự thì sao?

Bước 3: Xác định trường hợp sử dụng của bạn

Bạn có thể muốn bỏ qua bước này, nhưng tôi không khuyên bạn nên làm điều đó. Xác định một nhóm trường hợp sử dụng mà bạn muốn giải quyết. Bước tiếp theo là thu thập dữ liệu và bạn cần đảm bảo rằng bạn đang lấy đúng dữ liệu để mang lại kết quả phù hợp thông qua LLM được đào tạo trước nguồn mở mà bạn đang tăng cường với dữ liệu của mình. Tìm hiểu xem người dùng thí điểm của bạn sẽ là ai và hỏi họ điều gì quan trọng đối với họ – ví dụ: một dự án hiện tại mà họ muốn hỗ trợ và dữ liệu hiện có nào sẽ hữu ích cho việc thí điểm.

Bước 4: Kích hoạt thế hệ truy xuất tăng cường (RAG)

Bạn có thể nghĩ rằng việc thêm dữ liệu vào một mô hình nghe có vẻ cực kỳ khó khăn – đó là loại việc mà chúng tôi thường nghĩ cần đến các nhà khoa học dữ liệu. Nhưng hãy đoán xem: bất kỳ tổ chức nào có nhà phát triển đều có thể kích hoạt thế hệ tăng cường truy xuất (RAG). Trên thực tế, đối với nhiều trường hợp sử dụng, đây có thể là tất cả những gì bạn cần làm để thêm dữ liệu vào mô hình AI tổng hợp. Làm thế nào nó hoạt động? Có hiệu quả GIẺ lấy dữ liệu phi cấu trúc như tài liệu, hình ảnh và video của bạn rồi giúp mã hóa và lập chỉ mục để sử dụng. Chúng tôi đã tự mình thí điểm việc này sử dụng các công nghệ nguồn mở như LangChain để tạo cơ sở dữ liệu vectơ cho phép mô hình GenAI phân tích dữ liệu trong vòng chưa đầy một giờ. Kết quả là một chatbot hoạt động đầy đủ đã chứng minh được khái niệm này trong thời gian kỷ lục.

Sơ đồ GenAI

Sơ đồ GenAI – Bấm vào để phóng to

Nguồn: Dell Technologies

Trong đóng cửa

Các nhu cầu và khả năng riêng biệt của GenAI tạo nên trải nghiệm PoC độc đáo và có thể được thử nghiệm nhanh chóng để mang lại giá trị ngay lập tức và chứng minh giá trị của nó đối với tổ chức. Việc thử nghiệm điều này trong môi trường của riêng bạn mang lại nhiều lợi thế về mặt bảo mật và hiệu quả chi phí mà bạn không thể tái tạo trên đám mây công cộng.

Đám mây công cộng rất tốt cho nhiều thứ, nhưng bạn sẽ phải trả tiền nhỏ giọt cho PoC, rất dễ tiêu tốn ngân sách với những người dùng thiếu kinh nghiệm về kỹ thuật nhanh chóng. Đám mây công cộng cũng không cung cấp các biện pháp bảo vệ tương tự cho dữ liệu nhạy cảm và độc quyền. Điều này thực sự có thể khiến người dùng nội bộ di chuyển chậm hơn khi họ suy nghĩ mỗi khi sử dụng công cụ AI tổng hợp cho dù dữ liệu họ đang nhập có phải là dữ liệu “an toàn” có thể được sử dụng với hệ thống cụ thể đó hay không. Ngược lại, đây là một trong số ít trường hợp trung tâm dữ liệu mang lại tính linh hoạt cao bất thường và chi phí ban đầu thấp hơn so với đối tác đám mây công cộng.

Vì vậy, hãy tiếp tục, dành một buổi chiều và tiến hành xây dựng PoC của riêng bạn và khi bạn đã sẵn sàng cho giai đoạn tiếp theo, chúng tôi rất sẵn lòng trợ giúp.

Đây là nơi bạn có thể tìm hiểu thêm về Giải pháp AI sáng tạo của Dell.

Mang lại cho bạn bởi Dell Technologies.

tại chỗ_img

Tin tức mới nhất

tại chỗ_img