작성자 별 이미지
 

오늘날의 기술에 정통한 세상에서 우리는 질문에 답하는 음성 비서, 얼굴을 식별하는 스마트 카메라, 도로를 탐색하는 자율 주행 자동차 등 놀라운 AI ​​기반 경이로움에 둘러싸여 있습니다. 그들은 디지털 시대의 슈퍼 히어로와 같습니다! 그러나 이러한 기술적 경이로움을 일상적인 장치에서 원활하게 작동시키는 것은 생각보다 어렵습니다. 이 AI 슈퍼히어로에게는 특별한 요구 사항이 있습니다. 상당한 컴퓨팅 성능 과 메모리 리소스. 이는 도서관 전체를 작은 배낭에 담으려는 것과 같습니다. 그리고 무엇을 추측합니까? 휴대폰, 스마트워치 등 우리가 사용하는 대부분의 일반 기기에는 '충분하지 않습니다.지력' 이러한 AI 슈퍼 히어로를 처리합니다. 이는 AI 기술의 광범위한 배포에 큰 문제를 야기합니다.

따라서 이러한 대규모 AI 모델의 효율성을 향상하여 접근 가능하게 만드는 것이 중요합니다. 이 과정: "TinyML 및 효율적인 딥 러닝 컴퓨팅" MIT HAN 연구소는 이 핵심 장애물을 해결합니다. AI 모델을 최적화하여 실제 시나리오에서 실행 가능성을 보장하는 방법을 소개합니다. 그것이 무엇을 제공하는지 자세히 살펴 보겠습니다.

과정 구조:

소요 시간 : 2023 가을

타이밍 : 화요일/목요일 오후 3:35-5:00(동부 표준시)

강사 : 송한 교수

조교: 한 카이 과 지린

현재 진행 중인 강좌이므로 여기에서 실시간 스트리밍을 시청하실 수 있습니다. 링크.

코스 접근 방식:

이론적 기초: 딥러닝의 기본 개념부터 시작해 효율적인 AI 컴퓨팅을 위한 정교한 방법으로 발전합니다.

실습 경험: 학생들이 노트북에서 LLaMA 2와 같은 대규모 언어 모델을 배포하고 작업할 수 있도록 하여 실용적인 경험을 제공합니다.

1. 효율적인 추론

이 모듈은 주로 AI 추론 프로세스의 효율성을 향상시키는 데 중점을 둡니다. 추론 작업을 더 빠르고 리소스 효율적으로 만들기 위한 가지치기, 희소성, 양자화와 같은 기술을 자세히 살펴봅니다. 다루는 주요 주제는 다음과 같습니다.

• 가지치기 및 희소성(XNUMX부 및 XNUMX부): 성능 저하 없이 불필요한 부분을 제거하여 모델의 크기를 줄이는 방법을 모색합니다.
• 양자화(파트 I 및 II): 더 적은 비트를 사용하여 데이터와 모델을 표현하고 메모리와 계산 리소스를 절약하는 기술입니다.
• 신경 아키텍처 검색 (XNUMX부 및 XNUMX부): 이 강의에서는 특정 작업에 가장 적합한 신경망 아키텍처를 발견하기 위한 자동화된 기술을 탐구합니다. NLP, GAN, 포인트 클라우드 분석, 포즈 추정 등 다양한 영역에서 실제적인 용도를 보여줍니다.
• 지식 증류: 이 세션에서는 더 크고 복잡한 모델의 동작을 모방하도록 컴팩트 모델을 훈련하는 프로세스인 지식 증류에 중점을 둡니다. 한 모델에서 다른 모델로 지식을 전달하는 것을 목표로 합니다.
• MCUNet: 마이크로컨트롤러의 TinyML: 이번 강의에서는 TinyML 모델을 마이크로 컨트롤러에 배포하는 데 중점을 두고 AI가 저전력 장치에서 효율적으로 실행될 수 있도록 하는 MCUNet을 소개합니다. TinyML의 본질, 과제, 소형 신경망 생성 및 다양한 애플리케이션을 다룹니다.
• TinyEngine 및 병렬 처리: 이 부분에서는 제한된 장치에서 AI 모델을 위한 루프 최적화, 멀티스레딩 및 메모리 레이아웃과 같은 효율적인 배포 및 병렬 처리 전략을 탐색하는 TinyEngine에 대해 설명합니다.

2. 도메인별 최적화

도메인별 최적화 부문에서 이 과정은 특정 도메인에 대한 AI 모델 최적화를 목표로 하는 다양한 고급 주제를 다룹니다.

• Transformer 및 LLM(파트 I 및 II): Transformer 기본 사항, 설계 변형을 자세히 살펴보고 LLM의 효율적인 추론 알고리즘과 관련된 고급 주제를 다룹니다. 또한 LLM을 위한 효율적인 추론 시스템과 미세 조정 방법을 살펴봅니다.
• 비전 트랜스포머: 이 섹션에서는 Vision Transformer 기본 사항, 효율적인 ViT 전략 및 다양한 가속 기술을 소개합니다. 또한 비전 관련 작업에서 AI 기능을 향상시키기 위한 자기 지도 학습 방법과 다중 모드 LLM(대형 언어 모델)을 살펴봅니다.
• GAN, 비디오 및 포인트 클라우드: 본 강의에서는 효율적인 GAN 압축 기술(NAS+distillation 사용), 동적 비용을 위한 AnyCost GAN, 데이터 효율적인 GAN 훈련을 위한 Differentiable Augmentation을 탐색하여 생성적 적대 신경망(GAN)을 향상시키는 데 중점을 둡니다. 이러한 접근 방식은 GAN, 비디오 인식 및 포인트 클라우드 분석을 위한 모델을 최적화하는 것을 목표로 합니다.
• 확산 모델: 본 강의에서는 확산 모델의 구조, 훈련, 도메인별 최적화 및 빠른 샘플링 전략에 대한 통찰력을 제공합니다. 

3. 효율적인 교육

효율적인 훈련이란 기계 학습 모델의 훈련 프로세스를 최적화하기 위한 방법론을 적용하는 것을 의미합니다. 이 장에서는 다음과 같은 주요 영역을 다룹니다.

• 분산 교육(파트 I 및 II): 여러 장치 또는 시스템에 교육을 배포하는 전략을 살펴보세요. 대역폭 및 대기 시간 병목 현상을 극복하고, 메모리 소비를 최적화하고, 효율적인 병렬화 방법을 구현하여 분산 컴퓨팅 환경에서 대규모 기계 학습 모델 교육의 효율성을 높이기 위한 전략을 제공합니다.
• 온디바이스 훈련 및 전이 학습: 이 세션에서는 주로 에지 장치에서 모델을 직접 훈련하고, 메모리 제약 조건을 처리하고, 새로운 도메인에 효율적으로 적응하기 위한 전이 학습 방법을 사용하는 데 중점을 둡니다.
• 효율적인 미세 조정 및 신속한 엔지니어링: 이 섹션에서는 BitFit, Adapter 및 Prompt-Tuning과 같은 효율적인 미세 조정 기술을 통해 LLM(대형 언어 모델)을 개선하는 데 중점을 둡니다. 또한 Prompt Engineering의 개념을 강조하고 모델 성능과 적응성을 향상시킬 수 있는 방법을 보여줍니다.

4. 고급 주제

이 모듈에서는 Quantum Machine Learning의 새로운 분야에 대한 주제를 다룹니다. 이 부분에 대한 자세한 강의는 아직 제공되지 않지만, 계획된 주제는 다음과 같습니다.

• 양자 컴퓨팅의 기초
• 양자 기계 학습
• 잡음에 강한 Quantum ML

이러한 주제는 컴퓨팅의 양자 원리에 대한 기본적인 이해를 제공하고 이러한 원리를 적용하여 양자 시스템의 잡음으로 인한 문제를 해결하면서 기계 학습 방법을 향상시키는 방법을 탐구합니다.

이 과정에 대해 더 자세히 알아보고 싶다면 아래 재생목록을 확인하세요.

[임베디드 콘텐츠][임베디드 콘텐츠]

이 과정은 특히 AI 애호가와 전문가로부터 환상적인 피드백을 받았습니다. 이 과정은 현재 진행 중이며 2023년 XNUMX월까지 종료될 예정이지만 꼭 참여해 보시기 바랍니다! 이 과정을 수강 중이거나 수강할 예정이라면 경험을 공유해 주세요. TinyML과 소형 기기에서 AI를 더욱 스마트하게 만드는 방법에 대해 함께 이야기하고 배워보세요. 귀하의 의견과 통찰력은 귀중한 자료가 될 것입니다!
 
 

칸월 메린 데이터 과학 및 의료 분야의 AI 응용에 큰 관심을 가진 소프트웨어 개발자 지망생입니다. Kanwal은 APAC 지역의 Google Generation Scholar 2022로 선정되었습니다. Kanwal은 유행하는 주제에 대한 기사를 작성하여 기술 지식을 공유하는 것을 좋아하며 기술 산업에서 여성의 대표성을 개선하는 데 열정적입니다.

• SEO 기반 콘텐츠 및 PR 배포. 오늘 증폭하십시오.
• PlatoData.Network 수직 생성 Ai. 자신에게 권한을 부여하십시오. 여기에서 액세스하십시오.
• PlatoAiStream. 웹3 인텔리전스. 지식 증폭. 여기에서 액세스하십시오.
• 플라톤ESG. 탄소, 클린테크, 에너지, 환경, 태양광, 폐기물 관리. 여기에서 액세스하십시오.
• PlatoHealth. 생명 공학 및 임상 시험 인텔리전스. 여기에서 액세스하십시오.
• 출처: https://www.kdnuggets.com/free-mit-course-tinyml-and-efficient-deep-learning-computing?utm_source=rss&utm_medium=rss&utm_campaign=free-mit-course-tinyml-and-efficient-deep-learning-computing