By 아르망 맥퀸

딥 러닝의 큰 골칫거리 중 하나는 모델을 훈련하는 데 오랜 시간이 걸린다는 것입니다. ML 엔지니어로서 학습이 완료 될 때까지 몇 시간 또는 며칠을 기다리면 모델을 반복적으로 개선하는 과정이 느리고 실망 스럽습니다. 더 많은 GPU를 사용하여 모델 학습 속도를 높일 수 있지만 이로 인해 두 가지 문제가 발생합니다.

1. 분산 교육은 모델 코드를 변경하고 서버 관리, 클러스터 스케줄링, 네트워킹 등과 같은 DevOps 문제를 처리해야하기 때문에 번거 롭습니다.
2. 한 번에 많은 GPU를 사용하면 특히 온 디맨드 클라우드 GPU를 사용할 때 교육 비용이 급증 할 수 있습니다.

이 블로그 게시물에서는 미세 조정을 가속화하는 방법을 보여줍니다. ALBERT 언어 모델 또한 결정된에 대한 기본 제공 지원을 사용하여 비용을 절감합니다. 분산 교육 과 AWS 스팟 인스턴스. 원래 ALBERT는 단일 V36 GPU에서 훈련하는 데 100 시간 이상이 걸렸고 AWS에서는 112 달러였습니다. 분산 교육 및 스팟 인스턴스를 사용하면 64 개의 V100 GPU를 사용하여 모델을 교육하는 데 48 분 밖에 걸리지 않으며 비용은 $ 47입니다! 그것은 둘 다 46 배 성능 향상 및 58 % 비용 절감!

무엇보다도 이러한 성능 향상과 비용 절감을 실현하려면 몇 가지 구성 설정 만 변경하면됩니다. 블로그 게시물에서 자세히 설명했듯이, 모델 코드를 변경하지 않고, 스팟 인스턴스 사용에 대한 세부 정보를 이해할 필요없이, 수동 서버 랭 글링 없이도 Decisiond에서 분산 교육으로 전환하고 스팟 인스턴스를 활용할 수 있습니다.

전체 기사에서는 SQuAD 2.0 데이터 세트 (Huggingface 구현 사용)에서 ALBERT를 미세 조정 한 방법과 스팟 인스턴스를 사용하여 결정된 교육을 통해 비용을 절감하는 방법을 보여줍니다. 전체 기사를 읽을 수 있습니다.“결정된 ALBERT : 스팟 인스턴스를 사용한 분산 교육”을 확인하고 결정된 저장소에서 실험을 확인하세요. 여기에서 지금 확인해 보세요.. 

결정됨에 대한 자세한 내용과 교육을 더 쉽고 빠르며 저렴하게 만드는 데 어떻게 도움이 될 수 있는지 알아 보려면 GitHub 레포 또는 타 우리 커뮤니티 Slack.