Giới thiệu

AutoGen Studio, được hỗ trợ bởi khung AutoGen, là một nền tảng mang tính cách mạng để phát triển các tác nhân AI có khả năng cộng tác liền mạch để hoàn thành các nhiệm vụ. Trong bài đăng trên blog này, chúng tôi sẽ khám phá các khả năng của AutoGen Studio và tích hợp nó với các lựa chọn thay thế miễn phí của OpenAI như Tạo văn bản Giao diện người dùng web và LM Studio. Đến cuối hướng dẫn này, bạn sẽ hiểu toàn diện về cách sử dụng AutoGen Studio cục bộ bằng các công cụ mô hình ngôn ngữ thay thế.

Mục tiêu học tập

• Hiểu các nguyên tắc cơ bản của AutoGen và AutoGen Studio.
• Tìm hiểu quá trình cài đặt AutoGen Studio.
• Tích hợp AutoGen Studio với giao diện người dùng Web tạo văn bản cho các tác vụ tạo văn bản.
• Khám phá việc sử dụng AutoGen Studio với LM Studio để tương tác với mô hình ngôn ngữ.

Bài báo này đã được xuất bản như một phần của Blogathon Khoa học Dữ liệu.

AutoGen là gì?

AutoGen là một khung được thiết kế để phát triển các ứng dụng sử dụng các tác nhân Mô hình ngôn ngữ (LLM) có khả năng cộng tác để giải quyết các nhiệm vụ. Các tác nhân này, vừa có thể tùy chỉnh vừa có khả năng đàm thoại, tích hợp liền mạch sự tham gia của con người và hoạt động ở nhiều chế độ khác nhau, sử dụng kết hợp LLM, đầu vào của con người và công cụ.

AutoGen Studio hoạt động như một ứng dụng AI, có giao diện người dùng được hỗ trợ bởi khung AutoGen. Mục tiêu chính của nó là hợp lý hóa quy trình tạo mẫu của các tác nhân AI, trao quyền cho người dùng tăng cường các tác nhân này bằng nhiều kỹ năng khác nhau, cấu trúc chúng thành các quy trình công việc mạch lạc và tham gia vào việc hoàn thành nhiệm vụ tương tác.

Mục đích của AutoGen Studio là gì?

Tăng cường tương tác người dùng

Giao diện trực quan của AutoGen Studio cho phép người dùng xác định và sửa đổi các tác nhân và quy trình làm việc đa tác nhân một cách dễ dàng. Nhu cầu đi sâu vào mã phức tạp hoặc cấu hình phức tạp bị loại bỏ. Thay vào đó, người dùng có thể tận dụng giao diện trỏ và nhấp, kéo và thả để chỉ định các tham số của tác nhân và tương tác của chúng. Nó giống như việc cung cấp một khung vẽ kỹ thuật số nơi người dùng thiết kế vũ đạo và AutoGen Studio đảm bảo rằng các đặc vụ làm theo hướng dẫn của họ một cách liền mạch.

Nhận ra tiềm năng của tác nhân: Thêm kỹ năng một cách dễ dàng

Hãy xem xét một tình huống trong đó một nhóm ảo cần có được các kỹ năng mới để giải quyết các nhiệm vụ đang phát triển. Trong môi trường truyền thống, việc tích hợp các kỹ năng này có thể liên quan đến việc điều hướng qua các dòng mã phức tạp. Tuy nhiên, AutoGen Studio đơn giản hóa quá trình bổ sung kỹ năng cho tổng đài viên một cách rõ ràng. Giao diện cung cấp cái nhìn rõ ràng về các kỹ năng hiện có và cung cấp nền tảng dễ tiếp cận để kết hợp các kỹ năng mới. Nó giống như việc trao quyền cho một nhóm bằng các công cụ mới, đạt được chỉ bằng vài cú nhấp chuột.

Làm cho sự hợp tác trở nên hữu hình: Phần sân chơi

Vượt ra ngoài thiết lập lý thuyết, AutoGen Studio giới thiệu phần Sân chơi nơi người dùng có thể tương tác với quy trình làm việc của tác nhân được xác định trước đó. Không gian ảo này là nơi điều kỳ diệu xảy ra – một môi trường kỹ thuật số nơi người dùng tham gia vào các phiên, quan sát các tương tác trò chuyện và chứng kiến ​​kết quả cộng tác được sắp xếp của họ. Nó giống như có một phòng tập ảo nơi người dùng tinh chỉnh màn trình diễn của dàn nhạc kỹ thuật số của họ.

Chia sẻ thành công: Phần Thư viện

Sau khi người dùng đã hoàn thiện khả năng biên đạo của đại lý và chứng kiến ​​các phiên thành công, AutoGen Studio cung cấp nền tảng để chia sẻ thành tích thông qua phần Thư viện. Phần này đóng vai trò như một kho lưu trữ các hoạt động cộng tác thành công của đại lý, tương tự như việc giới thiệu một kiệt tác kỹ thuật số cho nhiều đối tượng hơn. Nó thúc đẩy sự hợp tác và cảm hứng trong cộng đồng AutoGen.

Để tìm hiểu thêm về Autogen Studio, hãy tham khảo điều này Blog của chúng tôi.

Hướng dẫn từng bước để triển khai AutoGen Studio với giao diện người dùng Web tạo văn bản

Giao diện người dùng web tạo văn bản là giao diện dựa trên web thân thiện với người dùng được thiết kế để tạo văn bản bằng nhiều mô hình ngôn ngữ lớn khác nhau, bao gồm máy biến áp, GPTQ, llama.cpp và các ngôn ngữ khác. Nó cung cấp một loạt tính năng, chẳng hạn như chuyển đổi mô hình, chế độ sổ ghi chép, chế độ trò chuyện, v.v., giúp nó trở nên linh hoạt cho các ứng dụng như viết sáng tạo và phát triển chatbot.

Bước 1: Quá trình cài đặt

Để chạy mô hình ngôn ngữ lớn cục bộ trên máy tính của bạn, hãy làm theo các bước sau:

• Sao chép kho lưu trữ bằng lệnh:

git clone  https://github.com/oobabooga/text-generation-webui

•  Điều hướng đến thư mục “Giao diện người dùng web tạo văn bản”.

cd text-generation-webui

• Chọn tập lệnh bắt đầu thích hợp dựa trên hệ điều hành của bạn. 

Ví dụ: Nếu bạn sử dụng hệ điều hành Windows, hãy chạy lệnh sau:

.start_windows.bat --api --listen-port 7822 --extensions openai

• Linux: ./start_linux.sh
• Windows: start_windows.bat
• macOS: ./start_macos.sh
• WSL: ./start_wsl.bat

Bấm phím Enter. Điều này sẽ tự động tải xuống và cài đặt các gói cần thiết cho giao diện người dùng web tạo văn bản. Quá trình cài đặt có thể mất khoảng một phút.

Bước 2: Chọn GPU

• Trong quá trình cài đặt, nó sẽ nhắc bạn chọn GPU. Chọn GPU thích hợp, ví dụ: 'N' trong trường hợp bạn không có GPU và muốn chạy mô hình ở chế độ CPU, rồi nhấn enter.
• Tập lệnh sẽ cài đặt các gói cần thiết theo GPU được chỉ định.

Bước 3: Sao chép URL API tương thích với OpenAI

Sao chép URL tương thích với OpenAI đã tạo. Bạn sẽ cần điều này trong bước sau.

Bước 4: Mở giao diện người dùng web

• Điều hướng đến URL cục bộ được cung cấp được đề cập trong đầu ra.
• Mở trình duyệt của bạn và nhập URL. Giao diện web sẽ xuất hiện.

Bước 5: Tải xuống mô hình

• Trong giao diện, chuyển đến tab “mô hình”.
• Tải về mô hình mong muốn.
  • Nhập đường dẫn tên người dùng/người mẫu khuôn mặt ôm vào hộp đầu tiên. Ví dụ: TheBloke/Mistral-7B-Instruct-v0.2-GGUF
  • Để tải xuống một tệp duy nhất (đối với các mẫu GGUF), hãy nhập tên của nó vào hộp thứ hai. Ví dụ: Trong mô hình ôm mặt này, tôi chọn làm việc TheBloke/Mistral-7B-Instruct-v0.2-GGUF. nếu bạn điều hướng đến phần tệp được cung cấp, bạn sẽ thấy các mô hình khác nhau của TheBloke/Mistral-7B-Instruct-v0.2-GGUF. Tôi chọn mistral-7b-instruct-v0.2.Q4_K_M.gguf

Giám sát thiết bị đầu cuối để xác nhận việc tải xuống mô hình thành công. Có thể mất một phút để hoàn thành.

Bước 6: Làm mới giao diện

• Sau khi tải xuống, hãy làm mới giao diện web bằng cách nhấp vào nút làm mới🔃.
• Mô hình đã tải xuống bây giờ sẽ được liệt kê trong menu thả xuống.

Bước 7: Chọn mô hình

• Chọn mô hình mong muốn từ danh sách thả xuống.
• Nhấp vào nút "tải" để tải mô hình đã chọn.

Bước 8: Đã tải mô hình

• Sau khi tải thành công, một thông báo xác nhận sẽ xuất hiện, cho biết mô hình đã được tải thành công.
• Sau đó nhấp vào “lưu cài đặt”, bây giờ chúng ta có thể thấy cài đặt đã được lưu

Bước 9: Chạy Autogen Studio

Mở terminal mới và thực hiện các lệnh sau

Bước tiếp theo là cài đặt AutoGen Studio. Để có trải nghiệm mượt mà, tôi khuyên bạn nên sử dụng môi trường ảo (ví dụ: conda) để tránh xung đột với các gói Python hiện có. Với Python 3.10 hoặc mới hơn đang hoạt động trong môi trường ảo của bạn, hãy sử dụng lệnh pip sau:

pip install autogenstudio

autogenstudio ui --port 8080

đầu ra server_autogenstudio.log

INFO:     Started server process [11050]
INFO:     Waiting for application startup.
INFO:     Application startup complete.
INFO:     Uvicorn running on http://127.0.0.1:8080 (Press CTRL+C to quit)

Bước 10: Thiết lập Nhà cung cấp LLM trong giao diện người dùng Autogen

• Trong giao diện người dùng AutoGen Studio, điều hướng lên trên cùng và tìm phần “Xây dựng”. Click vào đó rồi chọn “Model”
• Bấm vào “Mô hình mới” để chèn mô hình mới. Nhập Tên mẫu, URL cơ sở (dán URL API tương thích với OpenAI mà bạn đã sao chép.) Ví dụ: http://0.0.0.0:5000/v1) và đặt API key là “NoApi (gõ bất kỳ chuỗi nào, không để trống).
• Sau khi hoàn tất, hãy nhấp vào “OK”.

Bước 11: Thiết lập quy trình làm việc

Định cấu hình quy trình làm việc của tổng đài viên có thể được sử dụng để xử lý các tác vụ.

• Hướng đến quy trình làm việc phần sau đó nhấp vào Quy trình làm việc của tổng đại lý

• Nhấp vào tác nhân user_proxy và nhấp vào “Thêm” trong phần mô hình và chọn mô hình bạn muốn sử dụng từ danh sách thả xuống.

• Thực hiện theo các bước tương tự cho Primary_assistant. Đảm bảo rằng tên mẫu máy bạn đã chọn hiển thị bên cạnh phần mẫu máy có màu xanh lục. Cuối cùng nhấn “OK” lần nữa để xác nhận.

Ví dụ sử dụng

Nhấp vào phần sân chơi và tạo phần mới bằng cách nhấp vào nút “mới”

Chọn quy trình làm việc của tổng đại lý và nhấn nút Tạo

Khi phiên được tạo thành công. Bây giờ thực hiện truy vấn và nhấn nút gửi

Bây giờ hãy xem xét truy vấn này: Liệt kê 5 con sông hàng đầu ở Châu Phi và chiều dài của chúng rồi trả về dưới dạng bảng giảm giá. Đừng cố viết bất kỳ mã nào, chỉ cần viết bảng.

Nhật ký giao diện người dùng web tạo văn bản

Để xác minh LLM bắt đầu tạo đầu ra, Sau vài phút, bạn sẽ có thể xem nhật ký trong Text-gen-webui mà mã thông báo đang được tạo. Điều này chứng tỏ rằng giao diện người dùng tự động đang sử dụng LLM thông qua webui tạo văn bản.

Thiết bị đầu cuối đăng nhập Autogen Studio

Kết quả

Hướng dẫn từng bước để triển khai AutoGen Studio với LM Studio

LM Studio, một dự án đột phá, đi đầu trong việc cho phép người dùng tương tác liền mạch với LLM nguồn mở. Được phát triển xung quanh thư viện llama.cpp, công cụ này tạo điều kiện thuận lợi cho việc cài đặt, quản lý và sử dụng các LLM khác nhau trên môi trường máy tính để bàn. 

Bước 1: Tải xuống LM Studio

Điều hướng đến trang web chính thức của LM Studio (https://lmstudio.ai/) và chọn phiên bản tương thích với hệ điều hành của bạn (Windows hoặc Mac hoặc Linux). Nhấp vào liên kết tải xuống để bắt đầu quá trình tải xuống.

Bước 2: Tìm kiếm và chọn mẫu

Ở giữa màn hình chính, tìm thanh tìm kiếm. Nhập từ khóa hoặc tên mẫu máy cụ thể để khám phá các tùy chọn có sẵn. Chọn một mô hình phù hợp với mục tiêu khám phá của bạn.

Bước 3: Khởi động máy chủ cục bộ

Máy chủ cục bộ - Xác định biểu tượng mũi tên đôi ở bên trái, nhấp vào biểu tượng đó và khởi động máy chủ cục bộ. 
Sao chép url cơ sở và dán nó vào studio autogen.

Bước 4: Chạy autogen studio

Bước tiếp theo là cài đặt AutoGen Studio. Để có trải nghiệm mượt mà, tôi khuyên bạn nên sử dụng môi trường ảo (ví dụ: conda) để tránh xung đột với các gói Python hiện có. Với Python 3.10 hoặc mới hơn đang hoạt động trong môi trường ảo của bạn, hãy sử dụng lệnh pip sau:

pip install autogenstudio

autogenstudio ui --port 8080

đầu ra server_autogenstudio.log

INFO:     Started server process [11050]
INFO:     Waiting for application startup.
INFO:     Application startup complete.
INFO:     Uvicorn running on http://127.0.0.1:8080 (Press CTRL+C to quit)

Bước 5: Thiết lập Nhà cung cấp LLM trong giao diện người dùng Autogen

• Trong giao diện người dùng AutoGen Studio, điều hướng lên trên cùng và tìm phần “Xây dựng”. Click vào đó rồi chọn “Model”
• Bấm vào “Mô hình mới” để chèn mô hình mới. Nhập Tên mẫu, URL cơ sở (dán URL API tương thích với OpenAI mà bạn đã sao chép.) Ví dụ: http://0.0.0.0:5000/v1) và đặt API key là “NoApi (gõ bất kỳ chuỗi nào, không để trống).
• Sau khi hoàn tất, hãy nhấp vào “OK”.

Bước 6: Thiết lập quy trình làm việc

Định cấu hình quy trình làm việc của tổng đài viên có thể được sử dụng để xử lý các tác vụ.

• Hướng đến quy trình làm việc phần sau đó nhấp vào Quy trình làm việc của tổng đại lý

• Nhấp vào tác nhân user_proxy và nhấp vào “Thêm” trong phần mô hình và chọn mô hình bạn muốn sử dụng từ danh sách thả xuống.

Mẹo quan trọng: Đồng thời đặt Chế độ đầu vào của con người là “LUÔN LUÔN” (nếu không bạn sẽ không nhận được đầu ra trong studio tự động)

• Thực hiện theo các bước tương tự cho Primary_assistant. Đảm bảo rằng tên mẫu máy bạn đã chọn hiển thị bên cạnh phần mẫu máy có màu xanh lục. Cuối cùng nhấn “OK” lần nữa để xác nhận.

Ví dụ sử dụng

Bây giờ hãy xem xét truy vấn này: Liệt kê 5 con sông hàng đầu ở Châu Phi và chiều dài của chúng rồi trả về dưới dạng bảng đánh dấu. Đừng cố viết bất kỳ mã nào, chỉ cần viết bảng.

Nhấp vào phần sân chơi và tạo phần mới bằng cách nhấp vào nút “mới”

Chọn quy trình làm việc của tổng đại lý và nhấn nút Tạo

Khi phiên được tạo thành công. Bây giờ thực hiện truy vấn và nhấn nút gửi.

Quan trọng: Sau khi bạn giao bất kỳ nhiệm vụ nào trong autogen studio trong phần sân chơi, hãy đi tới thiết bị đầu cuối của studio autogen và ở đó bạn sẽ thấy “Cung cấp phản hồi cho userproxy. Nhấn enter để bỏ qua và sử dụng tính năng trả lời tự động hoặc gõ 'exit' để kết thúc cuộc trò chuyện:”. bây giờ nhấn vào Enter Enter.

Nhật ký LM Studio

Để xác minh LLM bắt đầu tạo đầu ra, bạn sẽ có thể xem nhật ký trong studio LM mà mã thông báo đang được tạo. Điều này chứng tỏ rằng UI autogen đang sử dụng LLM thông qua LM Studio.

Nhật ký Studio AutoGen

Kết quả

Kết luận

Tóm lại, AutoGen Studio nổi lên như một công cụ mạnh mẽ để phát triển và tương tác với các tác nhân AI. Bằng cách kết hợp nó với các lựa chọn thay thế miễn phí như Text Generation Web UI và LM Studio, người dùng có thể mở rộng các chức năng và khám phá các mô hình ngôn ngữ khác nhau tại địa phương. Hướng dẫn này trang bị cho bạn kiến ​​thức để khai thác tiềm năng của AutoGen Studio cùng với các công cụ thay thế, mở ra cánh cửa cho các ứng dụng AI đổi mới.

Chìa khóa chính

• AutoGen Studio đơn giản hóa việc phát triển các tác nhân AI thông qua giao diện người dùng trực quan.
• Phần Sân chơi và Thư viện trong AutoGen Studio cung cấp không gian ảo để tương tác và cộng tác.
• Cài đặt và thiết lập Giao diện người dùng web tạo văn bản cho phép tạo văn bản cục bộ bằng nhiều mô hình ngôn ngữ khác nhau.
• LM Studio cho phép tích hợp liền mạch các mô hình ngôn ngữ nguồn mở cho các ứng dụng đa dạng.
• Việc tích hợp AutoGen Studio với các công cụ thay thế mang lại sự linh hoạt và mở rộng khả năng phát triển AI.

Những câu hỏi thường gặp

Phương tiện hiển thị trong bài viết này không thuộc sở hữu của Analytics Vidhya và được sử dụng theo quyết định riêng của Tác giả.

• Phân phối nội dung và PR được hỗ trợ bởi SEO. Được khuếch đại ngay hôm nay.
• PlatoData.Network Vertical Generative Ai. Trao quyền cho chính mình. Truy cập Tại đây.
• PlatoAiStream. Thông minh Web3. Kiến thức khuếch đại. Truy cập Tại đây.
• Trung tâmESG. Than đá, công nghệ sạch, Năng lượng, Môi trường Hệ mặt trời, Quản lý chất thải. Truy cập Tại đây.
• PlatoSức khỏe. Tình báo thử nghiệm lâm sàng và công nghệ sinh học. Truy cập Tại đây.
• nguồn: https://www.analyticsvidhya.com/blog/2024/02/how-to-use-autogen-studio-locally-using-lm-studio-or-text-generation-web-ui/