19.9 C
ニューヨーク
AI

Amazon SageMaker で torchtune を使用して Meta Llama 3.1 モデルを微調整する | Amazon Web Services

プラトン再発行
プラトン再発行

日付：

閲覧数： 33

この投稿は Meta の PyTorch チームと共同執筆されました。

急速に進化する今日のAI環境において、企業は特定のニーズに合わせて高度な大規模言語モデル（LLM）を使用する方法を常に模索しています。基盤モデル（FM）はすぐに使用できる優れた機能を提供しますが、真の競争上の優位性は、微調整による詳細なモデルカスタマイズにあることがよくあります。ただし、複雑なタスクに合わせてLLMを微調整するには、通常、それらを効果的に調整および最適化するための高度なAIの専門知識が必要です。この課題を認識して、Metaは開発しました。 トーチチューンは、LLM の作成、微調整、実験を簡素化し、より幅広いユーザーやアプリケーションが利用しやすくなる PyTorch ネイティブ ライブラリです。

この投稿では、AWSはMetaのPyTorchチームと協力して、Metaのtorchtuneライブラリを使用してMeta Llamaのようなアーキテクチャを微調整し、AWSが提供するフルマネージド環境を使用する方法を紹介します。 Amazon SageMaker トレーニングモデルの微調整、推論、量子化、評価の段階的な実装を通じてこれを実証します。 メタラマ 3.1 単一の p8d.4xlarge ワーカー ノード (24 つの Nvidia A8 GPU を提供) で LoRA 微調整戦略を活用する 100B モデル。

ステップバイステップ ガイドに進む前に、まずさまざまな構成とインスタンス タイプにわたって Meta Llama 3.1 8B モデルを微調整して、テクニカル スタックのパフォーマンスを調査しました。

次のグラフからわかるように、p4d.24xlarge 70台で、5.48台のg8xlargeインスタンス（それぞれ10台のNVIDIA A47 GPUを搭載）よりも4%高いパフォーマンスを、ほぼ24%の低価格で実現できることがわかりました。そのため、この記事の例はpXNUMXd.XNUMXxlarge構成に最適化されています。ただし、SageMakerに渡されるパラメータを変更することで、同じコードを使用して、異なるインスタンス構成でシングルノードまたはマルチノードのトレーニングを実行することもできます。 推定者次のグラフでは、トレーニング時間をさらに最適化するために、 SageMaker 管理の温水プール 事前にダウンロードしたモデルにアクセスするには AmazonElasticファイルシステム (Amazon EFS)。

LLMの微調整の課題

生成AI モデルは、多くの有望なビジネスユースケースを提供します。ただし、これらの LLM の事実上の正確性と特定のビジネスドメインへの関連性を維持するには、微調整が必​​要です。モデルパラメータの数が増え、最新の LLM のコンテキスト長が長くなったため、このプロセスはメモリを大量に消費します。これらの課題に対処するために、LoRA (低ランク適応) や QLoRA (量子化低ランク適応) などの微調整戦略では、トランスフォーマーレイヤーに低ランクの並列構造を追加することで、トレーニング可能なパラメータの数を制限します。これにより、コモディティ GPU などのメモリの可用性が低いシステムでも LLM をトレーニングできます。ただし、新しい依存関係を処理する必要があり、トレーニングレシピとハイパーパラメータを新しい手法に適応させる必要があるため、複雑さが増します。

今日の企業が必要としているのは、エンドツーエンドのチューニング プロセスに抽象化を提供し、最も独断的な方法で一般的な落とし穴に対処する、これらの一般的な微調整手法のユーザー フレンドリなトレーニング レシピです。

torchtune はどのように役立ちますか?

トーチチューン は、LLM の微調整プロセスを民主化し、合理化することを目的とした PyTorch ネイティブ ライブラリです。これにより、研究者、開発者、組織がこれらの強力な LLM を特定のニーズや制約に簡単に適応できるようになります。YAML ファイルで設定できるさまざまな微調整手法のトレーニング レシピを提供します。レシピは、一般的な微調整方法 (フルウェイト、LoRA、QLoRA) だけでなく、推論や評価などの一般的なタスクも実装します。それらは、一連の重要な機能を自動的に適用します (FSDPこれらは、特定のモデル ファミリ (Meta Llama 3/3.1 や Mistral など) およびコンピューティング環境 (単一ノードとマルチノード) に固有のものです。

さらに、torchtuneは次のような主要なライブラリやフレームワークと統合されています。 ハグ顔データセット, EleutherAI の評価ハーネス、重みとバイアス。これにより、データの取り込みとマルチノードの微調整から推論と評価まで、生成 AI 微調整ライフサイクルの要件に対応できます。次の図は、この記事で説明する手順を視覚化したものです。

Job Status ページの下部にある インストール手順 と PyTorch ドキュメント torchtune とその概念について詳しく学びます。

ソリューションの概要

この投稿では、SageMaker Training を使用して、個別のコンピューティング クラスターでタスク固有のトレーニング ジョブを通じて torchtune レシピを実行する方法を説明します。SageMaker Training は、スケーラブルなモデル トレーニングを可能にする包括的なフルマネージド ML サービスです。柔軟なコンピューティング リソースの選択、カスタム ライブラリのサポート、従量課金制の価格モデル、自己修復機能を提供します。SageMaker は、ワークロード オーケストレーション、ヘルス チェック、インフラストラクチャを管理することで、トレーニング時間と総所有コストを削減します。

ソリューション アーキテクチャには、ワークフローの微調整におけるセキュリティと効率性を強化するために、次の主要コンポーネントが組み込まれています。

  • セキュリティの強化 – トレーニング ジョブは仮想プライベート クラウド (VPC) のプライベート サブネット内で実行されるため、機械学習 (ML) ワークフローのセキュリティ体制が大幅に向上します。
  • 効率的なストレージソリューション – Amazon EFS は、ML ワークフローのさまざまなフェーズにわたってモデルの保存とアクセスを高速化するために使用されます。
  • カスタマイズ可能な環境 – トレーニング ジョブではカスタム コンテナを使用します。SageMaker のカスタム コンテナのサポートにより、必要なすべての依存関係、特殊なフレームワーク、ライブラリを 1 つの成果物にパッケージ化して、ML 環境を完全に制御できるようになります。

次の図はソリューションのアーキテクチャを示しています。ユーザーは、API またはコマンドラインインターフェイス (CLI) を介して SageMaker コントロールプレーンを呼び出すか、各ステップごとに SageMaker SDK を使用してプロセスを開始します。それに応じて、SageMaker は要求された数とタイプのコンピューティングインスタンスを使用してトレーニングジョブを起動し、特定のタスクを実行します。図で定義されている各ステップは、 Amazon シンプル ストレージ サービス (Amazon S3) バケットを作成し、Amazon EFS を使用してワークフローのさまざまなステージにわたってモデル成果物を保存およびアクセスします。

すべての torchtune ステップを切り離すことで、柔軟性と統合のバランスが実現され、ステップの独立した実行と、シームレスなパイプライン統合を使用したこのプロセスの自動化の可能性の両方が可能になります。

このユースケースでは、Meta Llama 3.1 8Bモデルを微調整し、 ロラその後、モデル推論を実行し、オプションでtorchtuneとSageMaker Trainingを使用してモデルを量子化および評価します。

レシピ、構成、データセット、プロンプトテンプレートは完全に構成可能で、torchtuneを要件に合わせて調整できます。これを実証するために、このユースケースではカスタムプロンプトテンプレートを使用し、オープンソースデータセットと組み合わせます。 サムスン Hugging Faceハブより。

torchtuneの マルチデバイス LoRA レシピ (lora_finetune_distributed) および SageMaker カスタマイズ版 Meta Llama 3.1 8B を使用する デフォルト設定 (llama3_1/8B_lora)。

前提条件

SageMaker Jupyter ノートブックを実行する前に、次の前提条件を完了する必要があります。

  1. 抱きしめる顔を作る アクセストークン ゲートリポジトリにアクセスするには メタラマ/メタラマ-3.1-8B ハグフェイスについて。
  2. 作る 重みとバイアス API キー ログ記録と監視のための重みとバイアスダッシュボードにアクセスする
  3. 1x ml.p4d.24xlarge と 1xml.g5.2xlarge の SageMaker サービス クォータをリクエストします。
  4. 作る AWS IDおよびアクセス管理 （わたし） 役割 マネージドポリシー AmazonSageMakerFullAccess、AmazonEC2FullAccess、AmazonElasticFileSystemFullAccess、および AWSCloudFormationFullAccess を使用して、例を実行するために SageMaker に必要なアクセス権を付与します。(これはデモンストレーション目的です。本番環境では、特定のセキュリティ要件に合わせて調整する必要があります。)
  5. 作る Amazon SageMakerスタジオ ドメイン（参照 Amazon SageMaker へのクイックセットアップ）を使用して、前述のロールでJupyterノートブックにアクセスします。 説明書 Docker ビルドの権限を設定します。
  6. ノートブック コンソールにログインし、GitHub リポジトリをクローンします。
$ git clone https://github.com/aws-samples/sagemaker-distributed-training-workshop.git
$ cd sagemaker-distributed-training-workshop/13-torchtune

  1. ノートブックipynbを実行して、VPCとAmazon EFSをセットアップします。 AWS CloudFormation スタック。

torchtune の設定を確認する

次の図は、ワークフローの手順を示しています。

使用ケースに応じたtorchtuneの設定は、直接 CLIを調整するこの投稿では、SageMaker ディレクトリ パスの構造に合わせて変更された構成ファイルを提供します。

sh-4.2$ cd config/
sh-4.2$ ls -ltr
-rw-rw-r-- 1 ec2-user ec2-user 1151 Aug 26 18:34 config_l3.1_8b_gen_orig.yaml
-rw-rw-r-- 1 ec2-user ec2-user 1172 Aug 26 18:34 config_l3.1_8b_gen_trained.yaml
-rw-rw-r-- 1 ec2-user ec2-user  644 Aug 26 18:49 config_l3.1_8b_quant.yaml
-rw-rw-r-- 1 ec2-user ec2-user 2223 Aug 28 14:53 config_l3.1_8b_lora.yaml
-rw-rw-r-- 1 ec2-user ec2-user 1223 Sep  4 14:28 config_l3.1_8b_eval_trained.yaml
-rw-rw-r-- 1 ec2-user ec2-user 1213 Sep  4 14:29 config_l3.1_8b_eval_original.yaml

torchtune はこれらの設定ファイルを使用して、レシピの実行中にコンポーネント (モデルやトークナイザーなど) を選択して設定します。

コンテナを構築する

この例では、torch nightlies や torchtune などのカスタム ライブラリを提供するためのカスタム コンテナーを作成します。次の手順を実行します。

sh-4.2$ cat Dockerfile
# Set the default value for the REGION build argument
ARG REGION=us-west-2
# SageMaker PyTorch image for TRAINING
FROM ${ACCOUNTID}.dkr.ecr.${REGION}.amazonaws.com/pytorch-training:2.3.0-gpu-py311-cu121-ubuntu20.04-sagemaker
# Uninstall existing PyTorch packages
RUN pip uninstall torch torchvision transformer-engine -y
# Install latest release of PyTorch and torchvision
RUN pip install --force-reinstall torch==2.4.1 torchao==0.4.0 torchvision==0.19.1

実行する 1_build_container.ipynb 次のコマンドを実行して、このファイルを ECR リポジトリにプッシュします。

!sm-docker build . --repository accelerate:latest

sm-docker SageMaker StudioでDockerイメージを構築するために設計されたCLIツールです。 AWS コードビルドライブラリをノートブックの一部としてインストールします。

次に、 2_torchtune-llama3_1.ipynb すべての微調整ワークフロー タスク用のノートブック。

すべてのタスクについて、次の 3 つの成果物をレビューします。

  • torchtune 設定ファイル
  • コンピューティングと Torchtune レシピの詳細を含む SageMaker タスク構成
  • SageMaker タスク出力

微調整タスクを実行する

このセクションでは、微調整タスクを実行および監視する手順について説明します。

微調整ジョブを実行する

次のコードは、微調整ジョブのファイルのいくつかの主要コンポーネントを強調表示した、短縮された torchtune レシピ構成を示しています。

  • LoRAランク構成を含むモデルコンポーネント
  • データをトークン化するMeta Llama 3トークナイザー
  • チェックポイントを読み書きするためのチェックポインター
  • データセットをロードするためのデータセットコンポーネント
sh-4.2$ cat config_l3.1_8b_lora.yaml
# Model Arguments
model:
  _component_: torchtune.models.llama3_1.lora_llama3_1_8b
  lora_attn_modules: ['q_proj', 'v_proj']
  lora_rank: 8
  lora_alpha: 16

# Tokenizer
tokenizer:
  _component_: torchtune.models.llama3.llama3_tokenizer
  path: /opt/ml/input/data/model/hf-model/original/tokenizer.model

checkpointer:
  _component_: torchtune.utils.FullModelMetaCheckpointer
  checkpoint_files: [
    consolidated.00.pth
  ]
  …

# Dataset and Sampler
dataset:
  _component_: torchtune.datasets.samsum_dataset
  train_on_input: True
batch_size: 13

# Training
epochs: 1
gradient_accumulation_steps: 2

... and more ...

トレーニング ジョブのログ記録と監視には Weights & Biases を使用します。これにより、モデルのパフォーマンスを追跡しやすくなります。

metric_logger:
_component_: torchtune.utils.metric_logging.WandBLogger
…

次に、スクリプト内のユーティリティ関数に渡されるSageMakerタスクを定義します。 create_pytorch_estimatorこのスクリプトは、定義されたすべてのパラメータを使用して PyTorch 推定器を作成します。

このタスクでは、 lora_finetune_distributed 設定付きトーチランレシピ config-l3.1-8b-lora.yaml ml.p4d.24xlargeインスタンスで実行します。 use_downloaded_model パラメータ。 ザ・ image_uri パラメータはカスタム コンテナの URI を定義します。

sagemaker_tasks={
    "fine-tune":{
        "hyperparameters":{
            "tune_config_name":"config-l3.1-8b-lora.yaml",
            "tune_action":"fine-tune",
            "use_downloaded_model":"false",
            "tune_recipe":"lora_finetune_distributed"
            },
        "instance_count":1,
        "instance_type":"ml.p4d.24xlarge",        
        "image_uri":"<accountid>.dkr.ecr.<region>.amazonaws.com/accelerate:latest"
    }
    ... and more ...
}

タスクを作成して実行するには、次のコードを実行します。

Task="fine-tune"
estimator=create_pytorch_estimator(**sagemaker_tasks[Task])
execute_task(estimator)

次のコードは、タスクの出力と報告されたステータスを示しています。

# Refer-Output

2024-08-16 17:45:32 Starting - Starting the training job...
...
...

1|140|Loss: 1.4883038997650146:  99%|█████████▉| 141/142 [06:26<00:02,  2.47s/it]
1|141|Loss: 1.4621509313583374:  99%|█████████▉| 141/142 [06:26<00:02,  2.47s/it]

Training completed with code: 0
2024-08-26 14:19:09,760 sagemaker-training-toolkit INFO     Reporting training SUCCESS

最終モデルは Amazon EFS に保存されるため、ダウンロード時間のペナルティなしで利用できるようになります。

微調整ジョブを監視する

重みとバイアス ダッシュボードでは、トレーニング実行の損失や学習率などのさまざまな指標を監視できます。次の図は、GPU 使用率、GPU メモリ使用率、損失曲線を追跡したトレーニング実行の結果を示しています。

次のグラフでは、メモリ使用量を最適化するために、torchtune はランク 0 のみを使用して最初にモデルを CPU メモリにロードします。したがって、ランク 0 はチェックポイントからモデルの重みをロードする役割を担います。

この例は、GPU メモリを最大容量まで使用するように最適化されています。バッチ サイズをさらに大きくすると、CUDA メモリ不足 (OOM) エラーが発生します。

13 エポックの実行が完了するまでに約 XNUMX 分かかり、次のグラフに示す損失曲線が得られました。

モデル生成タスクを実行する

次のステップでは、以前に微調整したモデルの重みを使用してサンプルプロンプトに対する回答を生成し、それをベースモデルと比較します。

次のコードは生成レシピの構成を示しています config_l3.1_8b_gen_trained.yaml主なパラメータは次のとおりです。

  • フルモデルメタチェックポインタ – これを使用して、トレーニング済みモデルのチェックポイントをロードします meta_model_0.pt Amazon EFSより
  • カスタムテンプレート.要約テンプレート – 推論のためのプロンプトをフォーマットするためにこれを使用します
# torchtune - trained model generation config - config_l3.1_8b_gen_trained.yaml
model:
  _component_: torchtune.models.llama3_1.llama3_1_8b
  
checkpointer:
  _component_: torchtune.utils.FullModelMetaCheckpointer
  checkpoint_dir: /opt/ml/input/data/model/
  checkpoint_files: [
    meta_model_0.pt
  ]
  …

# Generation arguments; defaults taken from gpt-fast
instruct_template: CustomTemplate.SummarizeTemplate

... and more ...

次に、SageMaker タスクを単一の ml.g5.2xlarge インスタンスで実行するように設定します。

prompt=r'{"dialogue":"Amanda: I baked  cookies. Do you want some?rnJerry: Sure rnAmanda: I will bring you tomorrow :-)"}'

sagemaker_tasks={
    "generate_inference_on_trained":{
        "hyperparameters":{
            "tune_config_name":"config_l3.1_8b_gen_trained.yaml ",
            "tune_action":"generate-trained",
            "use_downloaded_model":"true",
            "prompt":json.dumps(prompt)
            },
        "instance_count":1,
        "instance_type":"ml.g5.2xlarge",
 "image_uri":"<accountid>.dkr.ecr.<region>.amazonaws.com/accelerate:latest"
    }
}

SageMaker タスクの出力には、モデルの概要出力と、1 秒あたりのトークン数などの統計が表示されます。

#Refer- Output
...
Amanda: I baked  cookies. Do you want some?rnJerry: Sure rnAmanda: I will bring you tomorrow :-)

Summary:
Amanda baked cookies. She will bring some to Jerry tomorrow.

INFO:torchtune.utils.logging:Time for inference: 1.71 sec total, 7.61 tokens/sec
INFO:torchtune.utils.logging:Memory used: 18.32 GB

... and more ...

元のモデルアーティファクトを使用して元のモデルから推論を生成することができます consolidated.00.pth:

# torchtune - trained original generation config - config_l3.1_8b_gen_orig.yaml
…  
checkpointer:
  _component_: torchtune.utils.FullModelMetaCheckpointer
  checkpoint_dir: /opt/ml/input/data/model/hf-model/original/
  checkpoint_files: [
    consolidated.00.pth
  ]
  
... and more ...

次のコードは、SageMaker タスク (generate_inference_on_original) で実行されたベース モデルの比較出力を示しています。Amanda がクッキーを焼いたことも示されているため、微調整されたモデルのパフォーマンスがベース モデルよりも主観的に優れていることがわかります。

# Refer-Output 
---
Summary:
Jerry tells Amanda he wants some cookies. Amanda says she will bring him some cookies tomorrow.

... and more ...

モデル量子化タスクを実行する

推論を高速化し、モデルアーティファクトのサイズを小さくするために、トレーニング後の量子化を適用することができます。torchtuneは トルチャオ for トレーニング後の量子化.

レシピはInt8DynActInt4WeightQuantizerを使用するように設定されています。これは、int8のトークンごとの動的アクティベーション量子化とint4の軸ごとのグループ化された重み量子化を組み合わせたものです。詳細については、torchaoを参照してください。 実装.

# torchtune model quantization config - config_l3.1_8b_quant.yaml
model:
  _component_: torchtune.models.llama3_1.llama3_1_8b

checkpointer:
  _component_: torchtune.utils.FullModelMetaCheckpointer
  …

quantizer:
  _component_: torchtune.utils.quantization.Int8DynActInt4WeightQuantizer
  groupsize: 256

ここでも単一の ml.g5.2xlarge インスタンスを使用し、SageMaker ウォーム プール構成を使用してコンピューティング ノードのスピンアップ時間を短縮します。

sagemaker_tasks={
"quantize_trained_model":{
        "hyperparameters":{
            "tune_config_name":"config_l3.1_8b_quant.yaml",
            "tune_action":"run-quant",
            "use_downloaded_model":"true"
            },
        "instance_count":1,
        "instance_type":"ml.g5.2xlarge",
        "image_uri":"<accountid>.dkr.ecr.<region>.amazonaws.com/accelerate:latest"
    }
}

出力には、量子化されたモデルの場所と、プロセスによって節約されたメモリの量が表示されます。

#Refer-Output
...

linear: layers.31.mlp.w1, in=4096, out=14336
linear: layers.31.mlp.w2, in=14336, out=4096
linear: layers.31.mlp.w3, in=4096, out=14336
linear: output, in=4096, out=128256
INFO:torchtune.utils.logging:Time for quantization: 7.40 sec
INFO:torchtune.utils.logging:Memory used: 22.97 GB
INFO:torchtune.utils.logging:Model checkpoint of size 8.79 GB saved to /opt/ml/input/data/model/quantized/meta_model_0-8da4w.pt

... and more ...

量子化モデルmeta_model_0-8da4w.ptでモデル推論を実行するには、 推論固有の設定を更新する.

モデル評価タスクを実行する

最後に、データセットの検証部分で評価を実行して、微調整したモデルを客観的に評価してみましょう。

torchtuneは以下と統合します EleutherAIの評価ハーネス eleuther_eval レシピを提供します。

私たちの評価では、評価ハーネスのカスタム タスクを使用して、不正なメトリックを使用して対話の要約を評価します。

レシピ構成は、評価ハーネスをカスタム評価タスクにポイントします。

# torchtune trained model evaluation config - config_l3.1_8b_eval_trained.yaml

model:
...

include_path: "/opt/ml/input/data/config/tasks"
tasks: ["samsum"]
...

次のコードは、単一の ml.p4d.24xlarge インスタンスで実行する SageMaker タスクです。

sagemaker_tasks={
"evaluate_trained_model":{
        "hyperparameters":{
            "tune_config_name":"config_l3.1_8b_eval_trained.yaml",
            "tune_action":"run-eval",
            "use_downloaded_model":"true",
            },
        "instance_count":1,
        "instance_type":"ml.p4d.24xlarge",
    }
}

ml.p4d.24xlarge でモデル評価を実行します。

Task="evaluate_trained_model"
estimator=create_pytorch_estimator(**sagemaker_tasks[Task])
execute_task(estimator)

次の表は、微調整されたモデルと基本モデルのタスク出力を示しています。

次の出力は、微調整されたモデルの出力です。

タスク フィルタ nショット メトリック リーダーシップ 値 ± 標準エラー
サムサム 2 なし なし ルージュ1 ↑ 45.8661 ± 無し
なし なし ルージュ2 ↑ 23.6071 ± 無し
なし なし ルージュL ↑ 37.1828 ± 無し

次の出力は基本モデル用です。

タスク フィルタ nショット メトリック リーダーシップ 値 ± 標準エラー
サムサム 2 なし なし ルージュ1 ↑ 33.6109 ± 無し
なし なし ルージュ2 ↑ 13.0929 ± 無し
なし なし ルージュL ↑ 26.2371 ± 無し

微調整されたモデルは、要約タスクで約 46% の改善を達成し、これはベースラインよりも約 12 ポイント優れています。

クリーンアップ

リソースをクリーンアップするには、次の手順を実行します。

  1. 使用されていないSageMaker Studioリソースを削除する.
  2. オプションで、 SageMaker Studioドメインを削除する.
  3. CloudFormation スタックを削除する VPC および Amazon EFS リソースを削除します。

まとめ

この記事では、torchtune と SageMaker でカスタム データセット プロンプト テンプレートを使用して、好みのコンピューティングとライブラリでさまざまな微調整戦略を使用して Meta Llama のようなアーキテクチャを微調整する方法について説明しました。このアーキテクチャにより、GPU メモリとパフォーマンスに最適化された微調整ジョブを柔軟に実行できます。SageMaker の P3.1 および G4 インスタンスを使用して Meta Llama5 モデルを微調整し、Weights & Biases などの観測ツールを使用して損失曲線、CPU および GPU 使用率を監視することでこれを実証しました。

SageMakerのトレーニング機能とMetaのtorchtuneライブラリを使用して、Meta Llamaのようなアーキテクチャを特定のビジネスユースケースに合わせて微調整することをお勧めします。今後のリリースと新機能に関する情報を入手するには、torchtuneを参照してください。 GitHubレポ 公式Amazon SageMakerトレーニング ドキュメント .

この投稿の公開に協力してくれた Kartikay Khandelwal 氏 (Meta のソフトウェア エンジニア)、Eli Uriegas 氏 (Meta のエンジニアリング マネージャー)、Raj Devnath 氏 (AWS のシニア プロダクト マネージャー テクニカル)、Arun Kumar Lokanatha 氏 (AWS のシニア ML ソリューション アーキテクト) に特に感謝します。

著者について

カンワルジット・クルミ アマゾン ウェブ サービスのプリンシパル ソリューション アーキテクトです。彼は AWS の顧客と協力してガイダンスと技術支援を提供し、AWS を使用する際のソリューションの価値を向上できるよう支援しています。 Kanwaljit は、コンテナ化された機械学習アプリケーションで顧客を支援することを専門としています。

ロイ・アレラ AWS のシニア AI/ML スペシャリストソリューションアーキテクトです。小規模なスタートアップから大企業まで、AWS のお客様が大規模な言語モデルを AWS 上で効率的にトレーニングおよびデプロイできるよう支援しています。

マティアス・レゾ PyTorch のパートナー エンジニアで、オープンソース、ハイパフォーマンス モデルの最適化、分散トレーニングに取り組んでいます (FSDP）、および推論。彼は、 ラマレシピ と トーチサーブ.

トレバー・ハーヴェイ アマゾン ウェブ サービス (AWS) の Generative AI のプリンシパル スペシャリストであり、AWS 認定ソリューションアーキテクト – プロフェッショナルです。PyTorch Foundation の理事会で投票権を持つメンバーを務め、オープンソースのディープラーニング フレームワークの戦略的発展に貢献しています。AWS では、顧客と協力して機械学習ソリューションを設計および実装し、Generative AI サービスの市場投入戦略を主導しています。

関連記事

スポット画像

最近の記事

スポット画像
プレミアムコンテンツ

著作権 @ 2024 Plato Technologies Inc.