Xây dựng dịch vụ SaaS nội bộ với tính năng theo dõi chi phí và mức sử dụng cho các mô hình nền tảng trên Amazon Bedrock | Dịch vụ web của Amazon

Các doanh nghiệp đang tìm cách nhanh chóng khai thác tiềm năng của AI sáng tạo bằng cách cung cấp quyền truy cập vào các mô hình nền tảng (FM) cho các ngành kinh doanh (LOB) khác nhau. Các nhóm CNTT chịu trách nhiệm giúp LOB đổi mới với tốc độ và sự linh hoạt đồng thời cung cấp khả năng quản trị và quan sát tập trung. Ví dụ: họ có thể cần theo dõi việc sử dụng FM giữa các nhóm, chi phí bồi hoàn và cung cấp khả năng hiển thị cho trung tâm chi phí liên quan trong LOB. Ngoài ra, họ có thể cần điều chỉnh quyền truy cập vào các mô hình khác nhau cho mỗi nhóm. Ví dụ: nếu chỉ những FM cụ thể mới có thể được phê duyệt để sử dụng.

nền tảng Amazon là một dịch vụ được quản lý hoàn toàn cung cấp nhiều lựa chọn về mô hình nền tảng hiệu suất cao từ các công ty AI hàng đầu như AI21 Labs, Anthropic, Cohere, Meta, Stability AI và Amazon thông qua một API duy nhất, cùng với một loạt khả năng để xây dựng AI tổng hợp các ứng dụng có tính bảo mật, quyền riêng tư và AI có trách nhiệm. Vì Amazon Bedrock không có máy chủ nên bạn không phải quản lý bất kỳ cơ sở hạ tầng nào, đồng thời có thể tích hợp và triển khai một cách an toàn các khả năng AI tổng hợp vào ứng dụng của mình bằng cách sử dụng các dịch vụ AWS mà bạn đã quen thuộc.

Lớp phần mềm dưới dạng dịch vụ (SaaS) dành cho các mô hình nền tảng có thể cung cấp giao diện đơn giản và nhất quán cho người dùng cuối, đồng thời duy trì quản trị tập trung về quyền truy cập và tiêu dùng. Cổng API có thể cung cấp khả năng kết nối lỏng lẻo giữa người tiêu dùng mô hình và dịch vụ điểm cuối mô hình, đồng thời linh hoạt thích ứng với việc thay đổi mô hình, kiến trúc và phương thức gọi.

Trong bài đăng này, chúng tôi sẽ hướng dẫn bạn cách xây dựng lớp SaaS nội bộ để truy cập các mô hình nền tảng bằng Amazon Bedrock trong kiến trúc (nhóm) nhiều bên thuê. Chúng tôi đặc biệt tập trung vào việc sử dụng và theo dõi chi phí cho mỗi đối tượng thuê, đồng thời cũng kiểm soát như điều tiết mức sử dụng của mỗi đối tượng thuê. Chúng tôi mô tả cách giải pháp và kế hoạch tiêu thụ của Amazon Bedrock ánh xạ tới khung hành trình SaaS chung. Mã cho giải pháp và Bộ công cụ phát triển đám mây AWS Mẫu (AWS CDK) có sẵn trong Kho GitHub.

Những thách thức

Quản trị viên nền tảng AI cần cung cấp quyền truy cập FM được tiêu chuẩn hóa và dễ dàng cho nhiều nhóm phát triển.

Sau đây là một số thách thức trong việc cung cấp quyền truy cập có quản lý vào các mô hình nền tảng:

Theo dõi chi phí và sử dụng – Theo dõi và kiểm tra chi phí của từng người thuê và việc sử dụng các mô hình nền tảng, đồng thời cung cấp chi phí bồi hoàn cho các trung tâm chi phí cụ thể
Kiểm soát ngân sách và mức sử dụng – Quản lý hạn ngạch API, ngân sách và giới hạn sử dụng đối với việc sử dụng các mô hình nền tảng được phép theo tần suất xác định cho mỗi người thuê
Kiểm soát truy cập và quản trị mô hình – Xác định các biện pháp kiểm soát quyền truy cập cho các mô hình được liệt kê cho phép cụ thể cho mỗi người thuê
API tiêu chuẩn hóa nhiều bên thuê – Cung cấp quyền truy cập nhất quán vào các mô hình nền tảng với mởAPI tiêu chuẩn
Quản lý tập trung API – Cung cấp một lớp duy nhất để quản lý các khóa API để truy cập vào mô hình
Phiên bản mô hình và cập nhật – Xử lý việc giới thiệu phiên bản mô hình mới và cập nhật

Tổng quan về giải pháp

Trong giải pháp này, chúng tôi đề cập đến một nhiều người thuê tiếp cận. MỘT người thuê nhà ở đây có thể bao gồm từ một người dùng cá nhân, một dự án, nhóm cụ thể hoặc thậm chí toàn bộ bộ phận. Khi thảo luận về cách tiếp cận này, chúng tôi sử dụng thuật ngữ nhóm, vì nó phổ biến nhất. Chúng tôi sử dụng khóa API để hạn chế và giám sát quyền truy cập API của các nhóm. Mỗi nhóm được chỉ định một khóa API để truy cập vào FM. Có thể có các cơ chế xác thực và ủy quyền người dùng khác nhau được triển khai trong một tổ chức. Để đơn giản, chúng tôi không đưa những thứ này vào giải pháp này. Bạn cũng có thể tích hợp các nhà cung cấp danh tính hiện có với giải pháp này.

Sơ đồ sau đây tóm tắt kiến trúc giải pháp và các thành phần chính. Các nhóm (đối tượng thuê) được chỉ định vào các trung tâm chi phí riêng biệt sử dụng Amazon Bedrock FM thông qua dịch vụ API. Để theo dõi mức tiêu thụ và chi phí cho mỗi nhóm, giải pháp sẽ ghi lại dữ liệu cho từng lệnh gọi riêng lẻ, bao gồm mô hình được gọi, số lượng mã thông báo cho mô hình tạo văn bản và kích thước hình ảnh cho mô hình đa phương thức. Ngoài ra, nó tổng hợp các lệnh gọi theo mô hình và chi phí của mỗi nhóm.

Bạn có thể triển khai giải pháp trong tài khoản của mình bằng AWS CDK. AWS CDK là một khung phát triển phần mềm nguồn mở để lập mô hình và cung cấp tài nguyên ứng dụng đám mây của bạn bằng các ngôn ngữ lập trình quen thuộc. Mã AWS CDK có sẵn trong Kho GitHub.

Trong các phần sau, chúng tôi sẽ thảo luận chi tiết hơn về các thành phần chính của giải pháp.

Nắm bắt việc sử dụng mô hình nền tảng cho mỗi nhóm

Quy trình làm việc để nắm bắt mức sử dụng FM của mỗi nhóm bao gồm các bước sau (như được đánh số trong sơ đồ trước):

Ứng dụng của nhóm gửi yêu cầu POST tới Cổng API Amazon với mô hình được gọi trong model_id tham số truy vấn và lời nhắc của người dùng trong nội dung yêu cầu.
API Gateway định tuyến yêu cầu tới một AWS Lambda chức năng (bedrock_invoke_model) chịu trách nhiệm ghi thông tin sử dụng của nhóm vào amazoncloudwatch và gọi mô hình Amazon Bedrock.
Amazon Bedrock cung cấp điểm cuối VPC được hỗ trợ bởi Liên kết riêng AWS. Trong giải pháp này, hàm Lambda gửi yêu cầu tới Amazon Bedrock bằng PrivateLink để thiết lập kết nối riêng tư giữa VPC trong tài khoản của bạn và tài khoản dịch vụ Amazon Bedrock. Để tìm hiểu thêm về PrivateLink, hãy xem Sử dụng AWS PrivateLink để thiết lập quyền truy cập riêng tư vào Amazon Bedrock.
Sau lời kêu gọi Amazon Bedrock, Đường mòn đám mây Amazon tạo ra một Sự kiện CloudTrail.
Nếu lệnh gọi Amazon Bedrock thành công, hàm Lambda sẽ ghi lại thông tin sau tùy thuộc vào loại mô hình được gọi và trả về phản hồi đã tạo cho ứng dụng:
- đội_id – Mã định danh duy nhất của nhóm đưa ra yêu cầu.
- Yêu cầu ID – Mã định danh duy nhất của yêu cầu.
- model_id – ID của mô hình được gọi.
- đầu vàoToken – Số lượng mã thông báo được gửi đến mô hình như một phần của lời nhắc (đối với mô hình tạo và nhúng văn bản).
- đầu raToken – Số lượng mã thông báo tối đa được mô hình tạo ra (đối với các mô hình tạo văn bản).
- cao – Chiều cao của hình ảnh được yêu cầu (đối với mô hình đa phương thức và mô hình nhúng đa phương thức).
- chiều rộng – Chiều rộng của hình ảnh được yêu cầu (chỉ dành cho các kiểu máy đa phương thức).
- bước – Các bước được yêu cầu (đối với mô hình AI ổn định).

Theo dõi chi phí mỗi đội

Một luồng khác tổng hợp thông tin sử dụng, sau đó tính toán và tiết kiệm chi phí theo yêu cầu cho mỗi nhóm hàng ngày. Bằng cách có một luồng riêng biệt, chúng tôi đảm bảo rằng việc theo dõi chi phí không ảnh hưởng đến độ trễ và thông lượng của luồng gọi mô hình. Các bước quy trình làm việc như sau:

An Sự kiện Amazon quy tắc kích hoạt hàm Lambda (bedrock_cost_tracking) hằng ngày.
Hàm Lambda lấy thông tin sử dụng từ CloudWatch cho ngày hôm trước, tính toán chi phí liên quan và lưu trữ dữ liệu được tổng hợp bởi team_id và model_id in Dịch vụ lưu trữ đơn giản của Amazon (Amazon S3) ở định dạng CSV.

Để truy vấn và trực quan hóa dữ liệu được lưu trữ trong Amazon S3, bạn có các tùy chọn khác nhau, bao gồm S3 Chọnvà Amazon Athena và Amazon QuickSight.

Kiểm soát mức sử dụng của mỗi nhóm

Gói sử dụng chỉ định ai có thể truy cập một hoặc nhiều API được triển khai và tùy ý đặt tỷ lệ yêu cầu mục tiêu để bắt đầu điều chỉnh yêu cầu. Gói này sử dụng khóa API để xác định các ứng dụng khách API có thể truy cập API được liên kết cho từng khóa. Bạn có thể sử dụng Cổng API kế hoạch sử dụng để điều tiết các yêu cầu vượt quá ngưỡng được xác định trước. Bạn cũng có thể dùng Khóa API và giới hạn hạn ngạch, cho phép bạn đặt số lượng yêu cầu tối đa cho mỗi khóa API mà mỗi nhóm được phép đưa ra trong một khoảng thời gian nhất định. Đây là ngoài Hạn ngạch dịch vụ của Amazon Bedrock chỉ được chỉ định ở cấp tài khoản.

Điều kiện tiên quyết

Trước khi triển khai giải pháp, hãy đảm bảo bạn có những điều sau:

Triển khai ngăn xếp AWS CDK

Làm theo hướng dẫn trong README của kho lưu trữ GitHub để định cấu hình và triển khai ngăn xếp AWS CDK.

Ngăn xếp triển khai các tài nguyên sau:

Môi trường mạng riêng (VPC, mạng con riêng, nhóm bảo mật)
Vai trò IAM để kiểm soát quyền truy cập mô hình
Các lớp Lambda cho các mô-đun Python cần thiết
Hàm Lambda invoke_model
Hàm Lambda list_foundation_models
Hàm Lambda cost_tracking
API còn lại (Cổng API)
Gói sử dụng API Gateway
Khóa API được liên kết với gói sử dụng

Tham gia một đội mới

Để cung cấp quyền truy cập cho các nhóm mới, bạn có thể chia sẻ cùng một khóa API giữa các nhóm khác nhau và theo dõi mức sử dụng mô hình bằng cách cung cấp một khóa API khác team_id để gọi API hoặc tạo khóa API chuyên dụng dùng để truy cập tài nguyên Amazon Bedrock bằng cách làm theo hướng dẫn được cung cấp trong README.

Ngăn xếp triển khai các tài nguyên sau:

Gói sử dụng API Gateway được liên kết với API REST đã tạo trước đó
Khóa API được liên kết với gói sử dụng cho nhóm mới, với cấu hình điều chỉnh và tăng tốc dành riêng cho API

Để biết thêm thông tin về cấu hình điều tiết và bùng nổ API Gateway, hãy tham khảo Yêu cầu API điều tiết để có thông lượng tốt hơn.

Sau khi triển khai ngăn xếp, bạn có thể thấy khóa API mới cho team-2 cũng được tạo ra.

Cấu hình kiểm soát truy cập mô hình

Quản trị viên nền tảng có thể cho phép truy cập vào các mô hình nền tảng cụ thể bằng cách chỉnh sửa chính sách IAM liên kết với hàm Lambda invoke_model. Các

Quyền IAM được xác định trong tệp thiết lập/stack_constructs/iam.py. Xem mã sau đây:

self.bedrock_policy = iam.Policy(
            scope=self,
            id=f"{self.id}_policy_bedrock",
            policy_name="BedrockPolicy",
            statements=[
                iam.PolicyStatement(
                    effect=iam.Effect.ALLOW,
                    actions=[
                        "sts:AssumeRole",
                    ],
                    resources=["*"],
                ),
                iam.PolicyStatement(
                    effect=iam.Effect.ALLOW,
                    actions=[
                        "bedrock:InvokeModel",
				“bedrock:ListFoundationModels",

                    ],
                    resources=[
  	"arn:aws:bedrock:*::foundation-model/anthropic.claude-v2.1",
	"arn:aws:bedrock:*::foundation-model/amazon.titan-text-express-v1",
	"arn:aws:bedrock:*::foundation-model/amazon.titan-embed-text-v1"
],
                )
            ],
        )

…

self.bedrock_policy.attach_to_role(self.lambda_role)

Gọi dịch vụ

Sau khi triển khai giải pháp, bạn có thể gọi dịch vụ trực tiếp từ mã của mình. Sau đây

là một ví dụ trong Python để sử dụng invoke_model API để tạo văn bản thông qua yêu cầu POST:

api_key=”abcd1234”

model_id = "amazon.titan-text-express-v1" #the model id for the Amazon Titan Express model
 
model_kwargs = { # inference configuration
    "maxTokenCount": 4096,
    "temperature": 0.2
}

prompt = "What is Amazon Bedrock?"

response = requests.post(
    f"{api_url}/invoke_model?model_id={model_id}",
    json={"inputs": prompt, "parameters": model_kwargs},
    headers={
        "x-api-key": api_key, #key for querying the API
        "team_id": team_id #unique tenant identifier 
    }
)

text = response.json()[0]["generated_text"]

print(text)

Đầu ra: Amazon Bedrock là một nền tảng công nghệ nội bộ được Amazon phát triển để vận hành và vận hành nhiều dịch vụ và sản phẩm của họ. Một số điều quan trọng về Bedrock…

Sau đây là một ví dụ khác trong Python để sử dụng invoke_model API để tạo nội dung nhúng thông qua yêu cầu POST:

model_id = "amazon.titan-embed-text-v1" #the model id for the Amazon Titan Embeddings Text model

prompt = "What is Amazon Bedrock?"

response = requests.post(
    f"{api_url}/invoke_model?model_id={model_id}",
    json={"inputs": prompt, "parameters": model_kwargs},
    headers={
        "x-api-key": api_key, #key for querying the API
        "team_id": team_id #unique tenant identifier,
	"embeddings": "true" #boolean value for the embeddings model 
    }
)

text = response.json()[0]["embedding"]

Đầu ra: 0.91796875, 0.45117188, 0.52734375, -0.18652344, 0.06982422, 0.65234375, -0.13085938, 0.056884766, 0.092285156, 0.06982422, 1.03125, 0.8515625, 0.16308594, 0.079589844, -0.033935547, 0.796875, -0.15429688, -0.29882812, -0.25585938, 0.45703125, 0.044921875 0.34570312, XNUMX …

Quyền truy cập bị từ chối đối với các mô hình nền tảng

Sau đây là một ví dụ trong Python để sử dụng invoke_model API để tạo văn bản thông qua yêu cầu POST có phản hồi bị từ chối truy cập:

model_id = " anthropic.claude-v1" #the model id for Anthropic Claude V1 model
 
model_kwargs = { # inference configuration
    "maxTokenCount": 4096,
    "temperature": 0.2
}

prompt = "What is Amazon Bedrock?"

response = requests.post(
    f"{api_url}/invoke_model?model_id={model_id}",
    json={"inputs": prompt, "parameters": model_kwargs},
    headers={
        "x-api-key": api_key, #key for querying the API
        "team_id": team_id #unique tenant identifier 
    }
)

print(response)
print(response.text)

“Traceback (cuộc gọi gần đây nhất):n Tệp ”/var/task/index.py”, dòng 213, trong lambda_handlern phản hồi = _invoke_text(bedrock_client, model_id, body, model_kwargs)n File ”/var/task/index.py ”, dòng 146, trong _invoke_textn raise en File ”/var/task/index.py”, dòng 131, trong _invoke_textn reply = bedrock_client.invoke_model(n File ”/opt/python/botocore/client.py”, dòng 535, trong _api_calln return self._make_api_call(Operation_name, kwargs)n File ”/opt/python/botocore/client.py”, dòng 980, trong _make_api_calln raise error_class(parsed_response, Operation_name)nbotocore.errorfactory.AccessDeniedException: Đã xảy ra lỗi (AccessDeniedException) khi gọi thao tác InvokeModel: Tài khoản của bạn không được phép gọi thao tác API này.n”

Ví dụ ước tính chi phí

Khi gọi các mô hình Amazon Bedrock với tính năng định giá theo yêu cầu, tổng chi phí được tính bằng tổng chi phí đầu vào và đầu ra. Chi phí đầu vào dựa trên số lượng mã thông báo đầu vào được gửi đến mô hình và chi phí đầu ra dựa trên số mã thông báo được tạo. Giá tính trên 1,000 mã thông báo đầu vào và trên 1,000 mã thông báo đầu ra. Để biết thêm chi tiết và giá model cụ thể, tham khảo Giá Amazon Bedrock.

Hãy xem một ví dụ trong đó hai nhóm, team1 và team2, truy cập Amazon Bedrock thông qua giải pháp trong bài đăng này. Dữ liệu mức sử dụng và chi phí được lưu trong Amazon S3 trong một ngày được hiển thị trong bảng sau.

Các cột input_tokens và output_tokens lưu trữ tổng số mã thông báo đầu vào và đầu ra trên các lệnh gọi mô hình tương ứng cho mỗi mô hình và mỗi nhóm trong một ngày nhất định.

Các cột input_cost và output_cost lưu trữ chi phí tương ứng cho mỗi mô hình và mỗi đội. Chúng được tính bằng các công thức sau:

input_cost = input_token_count * model_pricing["input_cost"] / 1000
output_cost = output_token_count * model_pricing["output_cost"] / 1000

đội_id	model_id	đầu vào_token	đầu ra_token	lời kêu gọi	chi phí đầu vào	chi phí đầu ra
Team1	amazon.titan-tg1-lớn	24000	2473	1000	0.0072	0.00099
Team1	nhân loại.claude-v2	2448	4800	24	0.02698	0.15686
Team2	amazon.titan-tg1-lớn	35000	52500	350	0.0105	0.021
Team2	ai21.j2-grande-hướng dẫn	4590	9000	45	0.05738	0.1125
Team2	nhân loại.claude-v2	1080	4400	20	0.0119	0.14379

Chế độ xem từ đầu đến cuối của môi trường SaaS không có máy chủ cho nhiều người thuê

Hãy cùng tìm hiểu xem môi trường SaaS không có máy chủ dành cho nhiều bên thuê có chức năng từ đầu đến cuối sẽ trông như thế nào. Sau đây là sơ đồ kiến trúc tham khảo.

Sơ đồ kiến trúc này là phiên bản thu nhỏ của sơ đồ kiến trúc trước đó được giải thích trước đó trong bài viết, trong đó sơ đồ kiến trúc trước đó giải thích chi tiết về một trong các vi dịch vụ được đề cập (dịch vụ mô hình nền tảng). Sơ đồ này giải thích rằng, ngoài dịch vụ mô hình cơ bản, bạn cũng cần có các thành phần khác trong nền tảng SaaS nhiều bên thuê của mình để triển khai một nền tảng chức năng và có thể mở rộng.

Chúng ta hãy đi qua các chi tiết của kiến trúc.

Ứng dụng của người thuê nhà

Các ứng dụng thuê là các ứng dụng giao diện người dùng tương tác với môi trường. Ở đây, chúng tôi hiển thị nhiều đối tượng thuê truy cập từ các môi trường AWS hoặc cục bộ khác nhau. Các ứng dụng giao diện người dùng có thể được mở rộng để bao gồm trang đăng ký dành cho người thuê mới tự đăng ký và bảng điều khiển quản trị dành cho quản trị viên của lớp dịch vụ SaaS. Nếu các ứng dụng đối tượng thuê yêu cầu triển khai logic tùy chỉnh cần tương tác với môi trường SaaS, thì chúng có thể triển khai các thông số kỹ thuật của microservice bộ điều hợp ứng dụng. Các tình huống ví dụ có thể là thêm logic ủy quyền tùy chỉnh trong khi vẫn tôn trọng các thông số ủy quyền của môi trường SaaS.

Chia sẻ dịch vụ

Sau đây là các dịch vụ chia sẻ:

Dịch vụ quản lý người thuê và người dùng –Các dịch vụ này có trách nhiệm đăng ký và quản lý người thuê. Chúng cung cấp chức năng xuyên suốt tách biệt với các dịch vụ ứng dụng và được chia sẻ giữa tất cả các đối tượng thuê.
Dịch vụ mô hình nền móng –Sơ đồ kiến trúc giải pháp được giải thích ở đầu bài đăng này thể hiện vi dịch vụ này, trong đó sự tương tác từ API Gateway đến các chức năng Lambda đang diễn ra trong phạm vi của vi dịch vụ này. Tất cả đối tượng thuê đều sử dụng dịch vụ vi mô này để gọi các mô hình nền tảng từ Anthropic, AI21, Cohere, Stability, Meta và Amazon, cũng như các mô hình được tinh chỉnh. Nó cũng ghi lại thông tin cần thiết để theo dõi việc sử dụng trong nhật ký CloudWatch.
Dịch vụ theo dõi chi phí –Dịch vụ này theo dõi chi phí và mức sử dụng của từng khách thuê. Vi dịch vụ này chạy theo lịch để truy vấn nhật ký CloudWatch và đưa ra thông tin theo dõi mức sử dụng tổng hợp cũng như chi phí được suy luận cho bộ lưu trữ dữ liệu. Dịch vụ theo dõi chi phí có thể được mở rộng để xây dựng thêm các báo cáo và trực quan hóa.

Dịch vụ bộ điều hợp ứng dụng

Dịch vụ này trình bày một bộ thông số kỹ thuật và API mà đối tượng thuê có thể triển khai để tích hợp logic tùy chỉnh của họ với môi trường SaaS. Dựa trên mức độ tích hợp tùy chỉnh cần thiết, thành phần này có thể là tùy chọn đối với đối tượng thuê.

Kho dữ liệu nhiều người thuê

Các dịch vụ chia sẻ lưu trữ dữ liệu của họ trong một kho dữ liệu có thể được chia sẻ duy nhất Máy phát điện Amazon bảng có khóa phân vùng đối tượng thuê liên kết các mục DynamoDB với các đối tượng thuê riêng lẻ. Dịch vụ chia sẻ theo dõi chi phí xuất dữ liệu tổng hợp về mức sử dụng và theo dõi chi phí tới Amazon S3. Dựa trên trường hợp sử dụng, cũng có thể có một kho lưu trữ dữ liệu dành riêng cho ứng dụng.

Môi trường SaaS nhiều người thuê có thể có nhiều thành phần hơn. Để biết thêm thông tin, hãy tham khảo Xây dựng giải pháp SaaS nhiều người thuê bằng cách sử dụng dịch vụ AWS Serverless.

Hỗ trợ nhiều mô hình triển khai

Các khung SaaS thường phác thảo hai mô hình triển khai: nhóm và silo. Đối với mô hình nhóm, tất cả người thuê đều truy cập FM từ môi trường dùng chung với cơ sở hạ tầng điện toán và lưu trữ chung. Trong mô hình silo, mỗi đối tượng thuê có một bộ tài nguyên chuyên dụng riêng. Bạn có thể đọc về các mô hình cách ly trong Sách trắng về Chiến lược cách ly người thuê SaaS.

Giải pháp đề xuất có thể được áp dụng cho cả hai mô hình triển khai SaaS. Theo cách tiếp cận nhóm, môi trường AWS tập trung lưu trữ API, tài nguyên lưu trữ và điện toán. Ở chế độ silo, mỗi nhóm truy cập API, lưu trữ và tài nguyên điện toán trong môi trường AWS chuyên dụng.

Giải pháp này cũng phù hợp với kế hoạch tiêu dùng sẵn có do Amazon Bedrock cung cấp. AWS cung cấp lựa chọn hai gói tiêu thụ để suy luận:

Theo yêu cầu – Chế độ này cho phép bạn sử dụng các mô hình nền tảng trên cơ sở trả tiền theo mức sử dụng mà không cần phải thực hiện bất kỳ cam kết thời hạn nào
Thông lượng được cung cấp – Chế độ này cho phép bạn cung cấp đủ thông lượng để đáp ứng các yêu cầu về hiệu suất của ứng dụng của bạn để đổi lấy cam kết thời hạn dựa trên thời gian

Để biết thêm thông tin về các tùy chọn này, hãy tham khảo Giá Amazon Bedrock.

Giải pháp tham chiếu SaaS phi máy chủ được mô tả trong bài đăng này có thể áp dụng các gói tiêu thụ Amazon Bedrock để cung cấp các tùy chọn phân bậc cơ bản và cao cấp cho người dùng cuối. Cơ bản có thể bao gồm mức tiêu thụ Thông lượng theo yêu cầu hoặc Thông lượng được cung cấp của Amazon Bedrock và có thể bao gồm các giới hạn ngân sách và mức sử dụng cụ thể. Giới hạn đối tượng thuê có thể được kích hoạt bằng cách điều chỉnh các yêu cầu dựa trên yêu cầu, kích thước mã thông báo hoặc phân bổ ngân sách. Đối tượng thuê cấp cao hơn có thể có tài nguyên chuyên dụng của riêng mình với mức tiêu thụ thông lượng được cung cấp của Amazon Bedrock. Những đối tượng thuê này thường được liên kết với khối lượng công việc sản xuất yêu cầu quyền truy cập thông lượng cao và độ trễ thấp vào Amazon Bedrock FM.

Kết luận

Trong bài đăng này, chúng tôi đã thảo luận cách xây dựng nền tảng SaaS nội bộ để truy cập các mô hình nền tảng với Amazon Bedrock trong thiết lập nhiều bên thuê, tập trung vào việc theo dõi chi phí và mức sử dụng cũng như giới hạn điều chỉnh cho từng đối tượng thuê. Các chủ đề bổ sung cần khám phá bao gồm tích hợp các giải pháp xác thực và ủy quyền hiện có trong tổ chức, nâng cao lớp API để bao gồm các ổ cắm web cho tương tác máy chủ khách hai chiều, thêm tính năng lọc nội dung và các biện pháp bảo vệ quản trị khác, thiết kế nhiều tầng triển khai, tích hợp các dịch vụ vi mô khác trong SaaS kiến trúc, và nhiều hơn nữa.

Toàn bộ mã cho giải pháp này có sẵn trong Kho GitHub.

Để biết thêm thông tin về các khuôn khổ dựa trên SaaS, hãy tham khảo Khung hành trình SaaS: Xây dựng giải pháp SaaS mới trên AWS.

Về các tác giả

Hasan Poonawala là Kiến trúc sư giải pháp chuyên gia AI/ML cấp cao tại AWS, làm việc với các khách hàng về Chăm sóc sức khỏe và Khoa học đời sống. Hasan giúp thiết kế, triển khai và mở rộng quy mô các ứng dụng Generative AI và Machine learning trên AWS. Ông có hơn 15 năm kinh nghiệm làm việc tổng hợp trong lĩnh vực học máy, phát triển phần mềm và khoa học dữ liệu trên đám mây. Khi rảnh rỗi, Hasan thích khám phá thiên nhiên và dành thời gian cho bạn bè và gia đình.

Anastasia Tzeveleka là Kiến trúc sư giải pháp chuyên gia AI/ML cấp cao tại AWS. Là một phần công việc của mình, cô giúp khách hàng trên khắp EMEA xây dựng các mô hình nền tảng và tạo ra các giải pháp máy học và AI tổng quát có thể mở rộng bằng cách sử dụng các dịch vụ AWS.

Brukhông có Piston là Kiến trúc sư giải pháp chuyên gia ML và AI sáng tạo cho AWS có trụ sở tại Milan. Anh làm việc với những khách hàng lớn, giúp họ hiểu sâu sắc nhu cầu kỹ thuật của mình và thiết kế các giải pháp AI và Machine Learning giúp tận dụng tốt nhất Đám mây AWS và ngăn xếp Machine Learning của Amazon. Chuyên môn của ông bao gồm: Học máy từ đầu đến cuối, Công nghiệp hóa học máy và AI sáng tạo. Anh ấy thích dành thời gian với bạn bè và khám phá những địa điểm mới cũng như đi du lịch đến những điểm đến mới.

Vikesh Pandey là kiến trúc sư của Giải pháp AI/ML Sáng tạo, chuyên về các dịch vụ tài chính, nơi ông giúp khách hàng tài chính xây dựng và mở rộng quy mô nền tảng và giải pháp AI/ML Sáng tạo có quy mô lên tới hàng trăm, thậm chí hàng nghìn người dùng. Trong thời gian rảnh rỗi, Vikesh thích viết trên nhiều diễn đàn blog khác nhau và cùng con xây dựng các khối Lego.

Phân phối nội dung và PR được hỗ trợ bởi SEO. Được khuếch đại ngay hôm nay.
PlatoData.Network Vertical Generative Ai. Trao quyền cho chính mình. Truy cập Tại đây.
PlatoAiStream. Thông minh Web3. Kiến thức khuếch đại. Truy cập Tại đây.
Trung tâmESG. Than đá, công nghệ sạch, Năng lượng, Môi trường Hệ mặt trời, Quản lý chất thải. Truy cập Tại đây.
PlatoSức khỏe. Tình báo thử nghiệm lâm sàng và công nghệ sinh học. Truy cập Tại đây.
nguồn: https://aws.amazon.com/blogs/machine-learning/build-an-internal-saas-service-with-cost-and-usage-tracking-for-foundation-models-on-amazon-bedrock/

Trí thông minh dữ liệu tạo