팁뚠이의 신비한 팁사전

팁뚠이입니다. 지난 시간에는 데이터 분석에 필요한 특질 분석(Feature Engineering) 과정의 개념을 설명드리고, AWS의 저장공간 S3에 데이터를 업로드하는 과정을 실습해봤습니다. 지난 시간에도 전달드렸지만, AWS에서 특질 분석을 하는 방법은 총 3가지로 Data Wrangler, Numpy and Pandas, Sagemaker Processing 세 가지 방식입니다. 그중에서 편리한 방법은 Data Wrangler이나, 자유도가 떨어지기 때문에 일반적인 코딩을 하시는 분들은 익숙한 파이썬 Numpy와 pandas를 사용해서 하시는 게 좋습니다. 그럼 Numpy와 pandas를 사용해서 특질 분석을 수행하도록 하겠습니다. 금일 실습 내용 Amazon Sagemaker Studio note..

팁뚠이 입니다. 머신러닝, 딥러닝을 연구 개발하시는 분들은 필수로 선형대 수학과 확률과 통계학을 기본으로 공부를 합니다. 대부분의 내용이 대학교 학부 때 수강하거나 고등학교 입시 때 배운 내용이다 보니 기억이 가물가물한 경우가 있고, 특히 확률과 통계의 경우 고등학교 때 공식만 암기 후 수능을 치는 분들이 많았습니다. 그러다 보니, 실제로 인공지능에서 적용 시, 개념적 이해가 어려워 적용이 힘든 경우가 많습니다. 그래서 이번엔 통계에서 가장 중요한 이론 중 하나인 중심 극한 정리를 개념적으로 간단히 소개하고, 파이썬 코드로 이해하는 포스팅을 합니다. 우선 중심 극한 정리의 정의부터 알아보겠습니다. 중심 극한 정리 표본 크기가 30 이상이면, 표본 평균의 분포는 정규분포를 따른다. 통계에 있어서 가장 중요..

팁뚠이 입니다. 많은 분들이 알고 계시지만 파이썬은 인터프리터(interpreter) 언어로 대화형 방식입니다. 이러다 보니 C언어나 자바에 비해 속도가 많이 느립니다. 실제로도 필드에선 파이썬은 데이터 분석, 알고리즘 개발용으로 사용하고 iot 나 H/W에 담을 때는 C언어나 자바로 변환하여 사용합니다. 물론 클라우드를 사용한다면 도커를 활용하여, 이 부분이 해소가 됩니다만 모든 곳에 클라우드가 들어갈 순 없기 때문에, 파이썬을 사용하려면 속도를 고려하지 않을 수 없습니다. 그러나, C언어나 자바의 경우 상대적으로 익히기 어려운 언어이고, AI나 특정 필드에 있어선 파이썬만큼 라이브러리가 잘 구축되어 있지 않습니다. 결국엔 파이썬을 써야 하는 인구는 계속 늘고 있는 상황에서 파이썬을 활용해 최대한 속도..