SQL 공부를 1차로 마무리했다.
책 한 권을 끝까지 봤고, 데이터가 테이블 안에서 어떻게 저장되고, 연결되고, 조회되는지는 기본 흐름을 한 번 지나왔다.
다음 단계는 판다스다.
이제 하려는 것은 단순히 SQL 문법을 더 외우는 일이 아니다.
여러 곳에 흩어져 있는 raw 데이터를 분석 가능한 구조로 바꾸는 일이다.
지금 머릿속에 있는 흐름은 이렇다.
raw data
→ database
→ SQL query
→ pandas dataframe
→ analysis table
→ report
→ AI analysis
→ action plan먼저 raw 데이터를 그대로 파일 단위로만 보지 않고, 테이블 구조로 바꿔야 한다.
각 데이터가 무엇을 의미하는지, 어떤 컬럼을 가져야 하는지, 어떤 값으로 서로 연결될 수 있는지 정리해야 한다.
여기서 필요한 것이 데이터베이스 설계의 기본 감각이다.
테이블을 나누고, 중복되는 값을 줄이고, 각 행을 식별할 수 있는 기준을 만들고, 서로 다른 테이블을 연결할 수 있는 키를 정해야 한다.
그래야 데이터가 많아져도 필요한 조건으로 조회하고 다시 조합할 수 있다.
SQL은 그 구조 안에서 필요한 데이터를 꺼내는 역할을 한다.
전체 데이터를 한 번에 보는 것이 아니라, 조건을 걸고, 필터링하고, 조인하고, 집계해서 분석에 필요한 형태로 가져온다.
판다스는 그 다음 단계에서 사용한다.
SQL로 가져온 데이터를 데이터프레임으로 다루고, 누락값을 정리하고, 컬럼명을 통일하고, 형식을 맞추고, 여러 데이터를 병합한다.
그다음 groupby, pivot, merge 같은 방식으로 분석표를 만들고 보고서에 들어갈 형태로 가공한다.
지금까지는 엑셀에서 함수와 자동 서식을 사용해 비슷한 일을 처리했다.
하지만 반복되는 작업이 많아지고, 데이터가 늘어나면 파일을 열고 정리하고 복사하고 확인하는 과정이 계속 쌓인다.
이 부분을 가능한 한 코드로 옮기고 싶다.
최종적으로 만들고 싶은 것은 단순한 자동화 파일이 아니다.
raw 데이터를 넣으면 정해진 규칙에 따라 정리되고, 필요한 기준으로 분석되고, 표와 보고서 형태로 출력되는 구조다.
그리고 그 결과를 바탕으로 AI와 대화하면서 더 면밀하게 해석하고 다음 플랜을 정하는 방식까지 연결하고 싶다.
AI가 처음부터 모든 것을 만드는 구조는 아니다.
물론 AI를 적극적으로 쓰면 코드 작성, 분석 흐름 설계, 보고서 초안까지 훨씬 빠르게 만들 수 있다.
하지만 이 프로젝트의 목적은 결과물만 빨리 만드는 것이 아니다.
SQL과 판다스를 직접 다루면서 데이터 구조를 보고, 조회 조건을 만들고, 가공 과정을 이해하는 것도 중요한 목적이다.
그래야 AI가 만든 코드나 분석 결과가 맞는지 판단할 수 있고, 필요하면 내가 직접 수정할 수 있다.
아마 프로젝트를 진행하면서 계속 선택하게 될 것 같다.
AI를 더 적극적으로 사용해서 시간을 줄일 것인지, 조금 덜 사용하더라도 직접 구현하면서 실력을 더 쌓을 것인지.
그래서 먼저 내가 데이터 구조를 만들고, 분석 기준을 정하고, 코드로 결과물을 만든다.
AI는 그 다음 단계에서 정리된 데이터와 분석 결과를 바탕으로 질문하고, 비교하고, 해석하는 도구로 붙인다.
이 프로젝트에서는 자동화와 실력 향상 사이의 균형을 계속 맞춰 가야 한다.
이 개인 프로젝트의 이름은 일단 헤론 오토마타로 정했다.
첫 목표는 거창한 서비스가 아니다.
raw 데이터를 정리하고, 테이블 구조를 잡고, SQL로 조회하고, 판다스로 분석표를 만드는 작은 파이프라인부터 시작한다.
이제 헤론 오토마타의 첫 구조를 하나씩 만들어 갈 생각이다.