[메타코드 AI LLM 부트캠프] 2주차 학습 일지: 데이터 분석의 기초, 머신러닝 입문까지

이번 주는 2주 차 학습 기간이었지만, 지난주에 1~2주 차 분량을 몰아서 학습했기 때문에

커리큘럼상 3주 차 내용에 해당하는 데이터의 이해, 확률과 통계, 머신러닝 모델링의 기초를 집중적으로 학습했습니다.

또한 다음 주 예정된 정보처리기사 시험 대비 학습도 병행하며 바쁜 한 주를 보냈습니다.

지난주에는 수식 이해가 어려워 개념 위주로 넘어갔던 부분들이 있었는데, 이번 주는 실습 코드와 이론 요약이 잘 어우러져 있어 데이터 분석의 전체적인 흐름을 잡는 데 큰 도움이 되었습니다.

---

1. 데이터의 이해: 분석의 관점을 넓히다

1, 2주 차 과정에서 Pandas나 시각화 라이브러리 사용법과 같은 '도구' 사용법에 집중했다면, 이번 파트에서는 데이터 분석을 어떤 관점으로 바라보고 진행해야 하는지에 대한 본질적인 기초 지식을 다졌습니다.

• 데이터의 정의와 구조: 데이터는 단순히 숫자의 나열이 아니라 과거의 흔적이며, 의사결정을 위한 재료입니다. 데이터는 구조에 따라 정형(Structured), 반정형, 비정형(Unstructured)으로 나뉘며, 속성에 따라 정성적(범주형) 데이터와 정량적(수치형) 데이터로 구분된다는 점을 명확히 했습니다.
• 데이터 전처리 (Preprocessing): "Garbage in, Garbage out"이라는 말처럼 데이터 품질이 분석 결과에 직결된다는 점을 배웠습니다.
  • 결측치(Missing Value): 단순 제거뿐만 아니라 k-NN 등을 활용한 대체 방법 학습.
  • 이상치(Outlier): Box plot이나 IQR을 이용한 식별뿐만 아니라, LoF(Local Outlier Factor)와 같이 주변 밀도를 고려한 탐지 방법 학습.
• 데이터 랭글링(Data Wrangling): 원시 데이터를 분석 가능한 형태로 만드는 과정으로, 탐색, 구조화, 정제, 보완 등의 6단계를 거친다는 점을 체계적으로 정리했습니다.
• 탐색적 데이터 분석(EDA): 단순히 평균이나 분산을 구하는 것을 넘어, "데이터가 무엇을 말하려 하는지"를 파악하기 위해 데이터를 시각화하고 뜯어보는 과정의 중요성을 배웠습니다.

2. 확률과 통계: 이론에서 실습으로

지난주 학습했던 확률과 통계 이론이 요약 정리되어 있었고, 무엇보다 파이썬 실습 코드를 통해 실제 데이터에 어떻게 적용하는지 배울 수 있어 유익했습니다.

• 모집단과 표본: 전수 조사가 불가능한 현실에서 표본을 통해 모집단을 추론(Inference)하는 과정을 이해했습니다. 특히 표본 추출 시 발생할 수 있는 편향(Bias) 문제와 이를 해결하기 위한 다양한 추출법(단순 임의, 층화, 계통 추출 등)을 다뤘습니다.
• 확률 분포: 데이터가 특정 패턴(분포)을 따른다고 가정할 때 논리적인 추정이 가능해짐을 배웠습니다. 특히 정규분포와 표준 정규분포(Z-score)를 이용해 특정 값이 나타날 확률을 계산하는 실습을 진행했습니다.
• 추정과 검정:
  • 추정: 점 추정과 구간 추정(신뢰 구간)의 차이를 이해하고, 신뢰 수준 95%의 의미(반복 샘플링 시 모수를 포함할 확률)를 명확히 했습니다.
  • 가설 검정: 귀무가설(H0)과 대립가설(H1)을 설정하고, p-value(유의 확률)를 통해 가설을 기각할지 채택할지를 판단하는 과정을 익혔습니다.
  • T-test & ANOVA: 두 집단 간의 평균 비교(T-test)와 세 개 이상 집단 간의 차이 검정(ANOVA)을 실습하며, 데이터의 그룹 간 차이를 통계적으로 입증하는 방법을 학습했습니다.

3. 머신러닝 모델링의 기초: 원리와 튜닝

머신러닝이 무엇인지, 모델이 어떤 이론을 바탕으로 만들어지는지 배우고 실제 코드로 구현해보는 시간이었습니다.

• 머신러닝의 사상: 머신러닝은 데이터를 통해 알고리즘을 학습시켜 모델을 생성하는 과정입니다. 이는 마치 줄기세포가 분화하여 장기가 되는 것과 유사하며, 단순한 규칙들의 상호작용이 놀라운 성능(창발성)을 발휘한다는 개념이 인상 깊었습니다.
• 의사결정 나무 (Decision Tree):
  • '스무고개'와 유사한 방식으로, 데이터의 불순도(Impurity, 엔트로피, 지니 계수 등)가 낮아지는 방향으로 데이터를 분할하며 학습합니다.
  • 해석이 용이하다는 장점이 있지만, 너무 깊게 학습하면 노이즈까지 학습하는 과적합(Overfitting) 문제가 발생할 수 있음을 확인했습니다.
• 앙상블 (Ensemble) 기법: 단일 모델의 한계를 극복하기 위해 여러 모델을 합치는 기법입니다.
  • Bagging: 데이터를 복원 추출(Bootstrap)하여 여러 모델을 병렬로 학습시키고 결과를 합치는 방식 (예: Random Forest).
  • Boosting: 이전 모델이 틀린 오차(Residual)에 가중치를 두어 순차적으로 학습하며 성능을 높이는 방식 (예: XGBoost, Gradient Boosting).
• 하이퍼파라미터 튜닝 & XAI: 모델의 성능을 최적화하기 위해 Grid-Search 등을 통해 최적의 옵션(하이퍼파라미터)을 찾는 방법을 실습했습니다. 또한, 모델이 왜 그런 예측을 했는지 설명하는 XAI(설명 가능한 AI)의 개념과 Feature Importance, SHAP 등을 통해 변수 중요도를 파악하는 법도 배웠습니다.

4. 학습 총평

이번 주는 데이터 분석의 'Why(왜 분석하는가)'와 'How(어떻게 모델링하는가)'를 연결하는 중요한 주간이었습니다.

데이터의 이해 파트는 기존에 배웠던 내용과 중복되어 수월했지만, 머신러닝 파트에서는 모델의 작동 원리와 하이퍼파라미터 튜닝, 그리고 앙상블 기법으로 이어지는 흐름을 잡는 것이 핵심이었습니다.

다음 주는 정보처리기사 시험 준비와 함께 4주차 학습 분량을 학습할 예정입니다.