19. 기업 협업 프로젝트를 마치며

6월 28일부터 7월 17일 동안(3주), 기업 협업 프로젝트를 수행했다. 더불어, 남은 한 주 동안은 협업 프로젝트 최종 보고서 및 발표 영상을 만들고, 기업에 직접 찾아 가 프레젠테이션을 나름 성공적으로(?) 마쳤다.

따라서 요 근래 블로그에 신경을 많이 쓰지 못했다. 앞으로는 다시 원래처럼, 블로그에도 신경을 열심히 써보려 한다 ㅎㅎ 또한 진행 중이던 CS 공부도 꾸준히 수행할 예정이다.

 

 

 

 

기업 협업 프로젝트는 어땠는가?

 

결론적으로 말하면, 데이터 엔지니어링의 초석을 다질 수 있었던 좋은 경험이었다. 정말 다양한 경험을 했지만, 그 중에서도 크게 7가지의 경험을 했다.

 

1) 실제 기업 데이터로 Data Mart 파이프라인을 설계해 데이터를 수집했다.

적재되는 raw 데이터를 원하는 형태로 시각화하기 위해 어떻게 처리할지 많은 다양성으로 고민했다. 안정성과 효율성의  트레이드 오프 지점을 맞추기 위한 파이프라인 설계 방법론을 찾기 위해 다양한 서적/구글링 사례를 참고했다. 결론적으로 CTO님께서 파이프라인 설계 작업에 대해 칭찬해주셨다 ㅎㅎ 왕 뿌듯.

 

2) Apache Airflow를 처음 사용해 본 계기였다.

Apache Airflow에 대한 공부만 했었는데, 이를 직접 공부해보기도 했고 프로젝트에 녹여보기도 했다.

Cron 만으로는 해결하기 어려운 직/병렬 처리가 손쉽게 일어나는 것을 경험하며, Airflow의 필요성을 느낄 수 있었다. 결과적으로는 매우 파워풀하다고 느껴졌고, 나는 이걸 공부하기 위해 다양한 방도로 찾아보았다. 그리고, 추후 더 배워보고 싶어 엔지니어링 스터디를 신청하는 계기가 됐다.

 

3) GCP 또한 처음 사용해보며 프로젝트에 적용해봤다.

GCP Bigquery를 처음으로 사용해봤다. 테이블 파티셔닝 설정 등이 쉬웠고 쿼리도 빠르게 돌아갔으며 무엇보다 Airflow나 Redash 등 다양한 소프트웨어와의 연동이 손쉽게 가능했다. 

 

4) 다양한 BI 툴을 고려해가며 적절한 BI툴을 선택해 대시보드를 구현하기도 했다.

BI 툴 선택지에 있었던 Tableau 등과 Redash 를 고민하며, 비용적 문제 그리고 프로젝트에서의 적합성 등을 따져봤다. 이를 통해 비용과 성능 그리고 현재 프로젝트에 대한 적합성 등에 대한 트레이드오프 지점을 찾는 훈련을 할 수 있었다.

 

 5) 멱등한 데이터 테이블을 만들기 위해 노력했다.

처리 방법을 어떻게 바꾸느냐에 따라, 테이블의 멱등성이 달라지곤 했다. '최소한 한 번'은 테이블에 집계될 수 있도록 설계하고 & 멱등하게 설계하기 위해 '추가'방법보다는 '치환'방법을 선택해 데이터 테이블을 구축했다. 치환 방법에서 효율성을 증대하기 위해, 파티셔닝 테이블을 적극 활용했다.

 

6) 데이터 엔지니어여도, 백그라운드 지식이 있으면 좋다는 것을 알았다.

효과적인 데이터 엔지니어링을 위해서는, '동료가 해결하고 싶은 회사 내의 문제'가 무엇인지(=대시보드를 통해 어떤 문제를 해결할 BI를 제공받고 싶은 것인지) 정확히 파악하고 있어야 함을 느꼈다. 이걸 알기 위해서는, 사업에 대한 비즈니스적 이해는 물론이며 백그라운드 지식을 알고 있으면 더욱 효과적이라는 것을 깨달았다.

 

7) 데이터 분석 기본 지식의 유용성(?)을 깨달았다.

데이터 엔지니어링의 역할 중 하나는 데이터 분석의 원활함을 목적으로 한 서포팅이다. 따라서 추후 어떤 방향으로 데이터가 활용될지를 분석적으로 이해를 하고 있다면(그러려면 통계/분석 지식을 알아야 한다.) 분석 팀의 공수가 줄어 효율적인 서포팅이 가능할 것 같다는 생각을 해봤다.

 

 

 

 

이 외에도 다양한 경험을 해봤는데, 3주라는 짧은 시간동안 다양한 경험을 할 수 있었던 뜻깊은 시간이었다.

3주 간 프로젝트 중간 보고서 및 최종 보고서를 작성해보고, 직접적으로 부딪혀가며 대시보드를 완성해보고, 프레젠테이션을 위해 서울에 올라가 발표 자료를 기업 관계자분들께 전달하며 프로젝트를 프레젠테이션하고... 

바쁘고 어려웠지만 즐거웠던 시간이었다. 무언가를 완성시키기까지 참 많이 뿌듯했다.

 

앞으로도, 이처럼 좋은 경험을 할 수 있으면 좋겠다는 생각을 하며, 짧은 프로젝트 회고를 마무리하겠다.

이제 다시 본업으로 돌아와서, 공부해야지, 아자아자...! (그리고 3주 동안 공부한 내용을 또 천천히 정리해봐야지... 바쁘다 바빠...)