AWS Sagemaker 초보자를 위한 개념과 실습(1)

팁뚠이 입니다. 많은 분들이 클라우드, AI, 빅데이터 등을 공부합니다. 특히 AI를 공부하는 분들은 구글 코랩이나 본인의 데스크톱을 활용해서 코딩을 하고 실험을 합니다. 실제 필드로 나오게 되면 사업에 접목해야 하기 때문에, 구글 코랩이나 본인 데스크톱에서 생성한 코드를 클라우드에 올려서 구동을 해야 합니다. IoT까지 연계를 해야 하고, 서버도 클라우드로 생성해야 하고, 주기적으로 추론 동작도 해야 하고, 재학습도 주기를 설정해야 하고, 각종 기술들이 필요합니다. 그래서 필드에선 Fully-connected 플랫폼을 사용하는 데, 말 그대로 이 모든 기능들이 포함된 클라우드입니다. 주로 AWS Sagemaker, MS AZURE, Google GCP 등이 꼽히는 데, 점유율로는 aws가 가장 높고, 한국에선 공격적인 마케팅으로 많은 기업들이 쓰다 보니 aws를 추천하게 됩니다. 하나만 익혀도 다른 클라우드는 손쉽게 익힐 수 있기 때문에, 가장 범용적으로 쓰이는 AWS를 사용하는 게 여러모로 낫습니다.

 

 

그래서 AWS의 AI 전용 도구인 Sagemaker를 활용해 AI 학습부터 추론까지 총 과정을 해보고, MLOPS(Machine Learning Operations)의 맛을 가볍게 느껴볼 수 있도록 하겠습니다. 저도 여타 블로그들을 많이 참조해서 수행했었는 데, 문제가 너무 어렵게 작성이 되어 있습니다. 대다수가 단순 번역만 된 콘텐츠도 많고, 예제나 개념 설명 없이 진행되다 보니, 하다 보면 막히게 되고, 결국엔 책이나 강의를 찾게 되는 데, AWS는 책이나 강의도 생각보다 개념 설명이 어렵다 보니 직접 하면서 익히는 게 가장 도움 됩니다. 서론이 길었는 데, 그래서 이번에 AWS Sagemaker를 활용해서 하나씩 개념을 잡고, 진행하도록 하겠습니다. 우선 AWS Sagemaker에 대한 설명을 하면 아래와 같습니다.

 

AWS Sagemaker: AI 학습, 배포, 추론 등 전 과정을 클라우드에서 할 수 있도록 도와주는 도구
본 컨텐츠의 목적: Feature Engineering(데이터에서 특질을 찾는 과정), AWS에 내장된 다양한 AI 알고리즘 이해, ML 모델을 필드에서 사용하는 유사한 환경으로 교육, 조정 및 배포하는 데 필요한 단계를 다룹니다. 본인의 컴퓨터나 구글 코랩에 저장된 ML 워크로드에서 Amazon SageMaker 플랫폼으로 올리고 적용하는 방법을 수행하고, 자체 모델을 가져오는 방법을 소개합니다. 또한 모델 디버깅, 모델 모니터링 및 AutoML과 같은 고급 개념을 보여주고 AWS ML Well Architected 렌즈를 통해 머신 러닝 워크로드를 평가하는 방법에 대한 지침을 제공합니다. 본 콘텐츠는 주로 데이터 사이언티스트를 대상으로 하지만 AWS를 사용한 기계 학습에 대해 더 알고 싶은 사람이면 누구나 도움이 될 것입니다.

목차
1. AWS Sagemaker와 Feature Engineering을 통해 fully-managed 환경에서 AI 구현
2. AWS Sagemaker에 내장된 XGBOOST 모델을 학습, 전처리, 배포해보는 실습 수행
3. 본인 컴퓨터에 있는 코드를 업로드하고 도커 컨테이너를 활용하여 AWS에서 구동
4. AI 모델 디버깅, 모델 결과 모니터링, AUTO ML 등을 수행

개별 챕터에 대해 초보자도 할 수 있도록 설명을 할 예정이다 보니, AI 전문가가 아니어도 읽어보시고 따라 하시면 도움 됩니다. 

 

다음 시간에 하나씩 시뮬레이션할 수 있는 개념 설명과 코드와 화면 등을 보여줄 예정입니다. AWS Sagemaker Studio를 활용해서 전체 시뮬레이션을 할 텐데, AWS Freetier로는 해당 코드를 실행하고, 구동하는 데 비용이 발생한다는 점 염두에 두시고, 직장인이시면 회사 계정에서 하나씩 실습하면서 익혀보시기 바랍니다. AI 관련 용어에 대해 AWS에서 사용하는 용어랑 AI 학문에서 사용하는 용어가 조금씩 차이가 있다 보니, 중간중간에 오해가 될 용어가 있을 수 있습니다. 그때는 댓글 남겨주시면 반영하겠습니다. 그리고 사용하는 언어는 파이썬이라는 점 전달드립니다.