팁뚠이의 신비한 팁사전

팁뚠이입니다. 지난 시간에는 데이터 분석에 필요한 특질 분석(Feature Engineering) 과정의 개념을 설명드리고, AWS의 저장공간 S3에 데이터를 업로드하는 과정을 실습해봤습니다. 지난 시간에도 전달드렸지만, AWS에서 특질 분석을 하는 방법은 총 3가지로 Data Wrangler, Numpy and Pandas, Sagemaker Processing 세 가지 방식입니다. 그중에서 편리한 방법은 Data Wrangler이나, 자유도가 떨어지기 때문에 일반적인 코딩을 하시는 분들은 익숙한 파이썬 Numpy와 pandas를 사용해서 하시는 게 좋습니다. 그럼 Numpy와 pandas를 사용해서 특질 분석을 수행하도록 하겠습니다. 금일 실습 내용 Amazon Sagemaker Studio note..

팁뚠이 입니다. 지난 시간에는 github에서 데이터를 받아, aws에 설치하는 과정과 앞으로 머신러닝을 하는 전체 과정에 대해 소개하고, 순서도를 통해 가시적으로 파악해봤습니다. 이제는 전체 과정 중 첫 번째로 데이터에 대한 특질 분석(Feature Engineering) 과정을 수행하도록 하겠습니다. 특질 분석은 데이터 분석에 있어 가장 중요한 과정 중에 하나인데, 딥러닝이 아닌 머신러닝에선 특질에 대해 학습을 하기 때문에, 사전에 특질에 대한 정보가 필요합니다. 예를 들면, 사과의 모양은 동그랗고, 색깔은 빨갛고, 꼭지가 달려있다는 것을 토대로 특질을 모양, 색깔, 꼭지 여부 3가지로 잡을 수 있습니다. 데이터에서도 이러한 특질을 잡을 수 있게 해주는 게 특질 분석 과정입니다. 오늘의 내용을 미리 ..