신입 데이터 엔지니어, 합격을 하기까지의 여정

 

안녕하세요 한소희입니다. 저는 입사를 앞둔 신입 데이터 엔지니어가 됐습니다. 데이터 엔지니어를 준비하게 된 계기 및 과정, 취업 과정까지 겪었던 기나긴 여정을 스스로 회고하고자 포스팅해보려 합니다.

 

목차
어쩌다가 '데이터 엔지니어'라는 꿈이 생겼나
데이터 엔지니어를 준비하던 과정
이력서 그리고 면접
합격과 다짐

01. 어쩌다가 '데이터 엔지니어'라는 꿈이 생겼나

 

1-1. 대학교 2학년, SCM에서 데이터를 발견하다.

나는 산업경영공학과 출신이다.

1학년 때 배웠던 산업공학개론을 듣고, 물류유통에 흥미가 생겼다. 따라서 물류유통 관련 외부 대외활동들을 하며 인사이트를 키웠다.

나는, 이 과정 속에서 큰 기업의 성공 전략이 모두 데이터에 귀결됨을 깨달았다.
한국청년물류포럼 활동 중 세미나에서 내가 발표했던 '중국의 신유통 전략'도, YPICS 활동 시 세미나 주제(=Digital Transformation)도, GLSC 위원님께서 강조하신 업무 자동화 방법론도, 각 협회 및 현직자분들께서 해주신 조언에서도, 모두 변화의 핵심에는 데이터가 있음을 깨달은 것이다.

따라서 자연스럽게 데이터가 기업에 얼마나 큰 영향을 끼치는지 알게 됐다. 이로써 나는 데이터 관련 직업을 얻어, 데이터 기반 의사결정을 제공하는 비즈니스 핵심 인력이 되고 싶다는 꿈을 키웠다.

1-2. 날 것의 데이터, 엔지니어링의 필요성 👉🏻 데이터 엔지니어가 되자!

우리 학과 커리큘럼

산업공학과에서는 컴퓨터공학도 배우지만, 공학 통계 및 데이터 마이닝쪽을 조금 더 많이 배웠다. 따라서 나도, 데이터 기반 직업=애널리틱스이라는 잘못된 생각을 갖고 학부생 시절을 보냈다.

그러다 보니 자연스럽게, 4학년 2학기 실제 기업에서 일해볼 수 있는 기회가 왔을 때도 데이터 분석 담당으로 가게 됐다.
그런데 여기서, 데이터 엔지니어가 얼마나 중요한 지 깨닫는 계기 & 데이터 엔지니어가 되어야겠다는 계기를 얻었다.

그 회사는 점차 회사 규모가 커지며 쌓여가는 데이터를 정제하는 과도기였다. 즉, 수집 프로세스가 명확히 정의되지 않은 상황이었고, 나는 이 데이터들 속에서 인사이트를 찾아내야만 했다. (이때의 험난한 여정은 정말 길지만, 이것이 포스팅의 포커스가 아니므로 생략-)

이때의 경험을 통해, '데이터가 많아질수록 안정적인 데이터 수집/적재 절차가 필요하고, 이 절차가 반드시 존재해야만 의미 있는 대시보드 및 분석 결과가 도출된다'는 것을 배웠다. 따라서, 비즈니스 인텔리전스의 근간은 곧 데이터 엔지니어링이라는 생각에 도달한 것이다. 
 

이로써 '데이터 엔지니어가 되어야겠다'라는 결심을 하고, 고향으로 내려와 의지를 다졌다.

---

 

02. 2021년(01~08)동안, 데이터 엔지니어를 준비한 과정

 

2-1. 데이터 엔지니어는 신입을 안 뽑는다고?

데이터 엔지니어가 꼭 되어야겠다는 확고한 꿈이 생겨 고향에 내려와, 공부할 준비를 마쳤다.
그러던 중, 우연히 유튜브를 통해 '데이터 엔지니어는 신입을 뽑지 않는다는 사실'을 알게 됐다. 적어도, '백엔드 개발자였던 중고신입' 정도가 신입의 마지노선이라는 것이다.

가장 처음 든 생각은 '망했다'였다.
하지만, 인생에 불가능은 없다고 했다! 중고 신입보다 더 뛰어난 실력을 지니면 된다고 생각했기 때문에 (20대의 패기) 오히려 더 간절한 마음으로 플랜을 계획했다.

2-2. 첫 번째 준비 - 국비 교육의 도움 (21.01~)

나는 고향에 내려 옴과 동시에 K디지털 트레이닝 데이터 사이언티스트(데이터 분석+데이터 엔지니어링) 국비 과정을 들었다.

평일 매일 9시부터 18시, 12월부터 7월까지의 여정은 쉽지 않았다. 어렵고 난해한 부분도 있었지만, 나름 열심히 해서 수료했다. 수료증을 받을 때 어찌나 뿌듯하던지!

Q. 국비교육, 추천하는가?

A. 이 질문을 주위에서 참 많이 들었는데, (커리큘럼 바이 커리큘럼이겠지만) 나는 시간 대비 효율이 좋지 못했다고 생각했다.
하지만, 국비교육의 장점은 무료로 공부를 하면서 훈련 장려금을 받는다는 것이다. 따라서 비용적 부분에서 도움을 받을 수 있어, 취준 기간이 부담스럽지 않다는 엄청난 장점이 있다.

따라서, 본인의 실력을 쌓을 수 있는 강의(온라인에도 많다. 예를 들어 유데미, 패스트캠퍼스, 스파르타 코딩 클럽 등...)를 메인으로 듣고 & 국비 수업을 서브로 듣는 것을 추천한다.

2-3. 두 번째 준비 - 빅데이터 분석 공모전에서 데이터 엔지니어링 프로젝트 구현 (21.04~)

데이터 엔지니어링 관련해서 무언가의 성과를 시도할 곳이 마땅치 않았다. 따라서 21년 4월, 전주시 빅데이터 분석 공모전에 나갔다.
빅데이터 '분석' 공모전에 나간 이유는 아래와 같다.

1. 빅데이터 '엔지니어링' 도 재밌지만 분석도 재밌다.
2. 빅데이터 분석을 위해 수집하는 과정에는 ETL 과정이 필요하다. 이때 배운 내용을 활용해보면 좋을 것 같다고 생각했다.
3. 분석가와의 협업 발생 경우가 발생할 수 있는데, 이때 분석 역량이 있다면 그것이 소통의 초석이 될 것이라 생각했다.
4. 현재 상황에서 문제를 찾고 데이터로 해결할 수 있는 소프트 스킬을 키울 수 있을 기회라고 생각했다.


나는, 전주시의 행정적 문제를 구글링을 통해 인지하고, 데이터 분석을 통해 이를 해결하기 위한 방법을 도출했다. 그 후, 문제를 해결할 수 있는 대시보드 웹사이트를 파이썬을 기반으로 구현하고, 이때 공공 데이터 API를 수집/적재/가공 및 시각화하는 과정을 구현해 봄으로써 포트폴리오를 만들었다. 생각해보면 참 많이 부족한 결과물이었지만, 내겐 나름 의미있었던 시간이었다.

(결과적으로는 우수상을 수상할 수 있었다 ㅎㅎ)

2-4. 세 번째 준비 - ICT 해상물류멘토링 프로젝트 데이터 엔지니어링 담당, 창업 오디션 예선 및 최종 선발 (21.03~)

나는 반전공자(컴퓨터 공학 전공은 아니지만 데이터는 전공이라고 할 수 있는(?)..산업공학도 ..)기 때문에, 내가 가는 방향이 과연 옳은지 조언해줄 수 있는 멘토님이 절실했다.

이때 우연히 ICT 해상물류 멘토링(=멘토와 멘티 몇 명이 팀을 꾸려, 해상물류에서의 문제점을 해결할 수 있는 프로젝트를 기획 및 구현하는 활동)을 발견했다. 여기서, 전년도 대상작을 이끌었던 멘토님께 '멘티가 되고 싶다'라고 신청했고, 다행히 합격할 수 있었다.

나는 이 팀에서 데이터 엔지니어링 담당을 맡았고, 데이터 아키텍처를 설계했다. 여기서 팀원들이 필요하다고 하는 데이터들을 크롤링해 수집했고, DB에 적재했다. 그리고 Apache Airflow를 이용한 워크 스케줄링 등을 담당해봤다.

멘토님은 데이터 엔지니어링의 중요성을 강조하셨고 방향성을 검토해주셨다. 이 과정을 통해, 데이터 엔지니어링 관점에서 조금 더 넓게 보는 시야를 얻었다.
게다가, 해당 프로젝트 관할 부서에서 참여자를 대상으로 블렌디드 러닝(무료 E러닝 클래스)을 제공해줘, 금전적 부담 없이 마음껏 공부할 수 있었다.

예선 최종 선발 !!!

 

본선까지 최종 선발 !

그리고 우리 팀은 혹시나 하는 마음에 이 프로젝트를 갖고 창업 오디션에 도전해봤고, 운이 좋게도 최종예선 합격&최종 본선 합격이 돼 아이디어 가치를 인정받았다. 덕분에 정부 지원금 2000여 만원을 받으며 프로젝트를 수행할 수 있는 쾌거를 얻었다.

나는 이 과정에서 특정 비즈니스의 문제점을 인식하고, 그 문제점을 해결하기 위한 프로젝트를 설계하고, 일정에 맞춰 팀원들과 프로젝트를 진행해나가는 과정을 경험하는 소중한 시간을 가졌다. 

Q. 해당 프로그램을 어디서 찾았는지?

A. 이 질문도 많이 들어봤는데, '아웃캠퍼스', '위비티'라는 공모전 사이트를 종종 접속해 확인했다. 그리고 팀 프로젝트를 하려면, 팀원을 구해야 하기 때문에 매년 3월쯤 멘토 멘티 프로젝트를 개최하는 '한이음' or 개인 간 팀원을 모아 프로젝트를 할 수 있는 '비긴메이트' 등을 활용하면 좋을 것 같다.

2-5. 네 번째 준비 - 기업 협업 프로젝트 (21.06~)

하지만, 그럼에도 불구하고 데이터 엔지니어다운 개인 프로젝트는 부족하다고 느꼈다.
이때 첫 번째 국비 교육에서, 기업과 연계해줘 개인 프로젝트를 수행할 수 있도록 하는 프로그램을 진행했다.

그런데 이 프로그램에서는 데이터 분석과제와 프로젝트 위주로 주제를 지정해주셨다.
그래서 나는 연계 기업의 채용공고를 보았고, 데이터 엔지니어링이 필요한 연계기업을 찾았다.
이후, 해당 연계 기업의 앱을 사용하는 '사용자의 행동 Log를 Bigquery로 가공 및 정제함으로써 기업의 상황을 시각화해보고 싶다'라고 연계 기업 CTO님께 제안드렸고, CTO님의 승인 하 해당 프로젝트를 3주 간 수행했다.

1. 데이터 파이프라인 설계
2. 데이터 마트 구현
3. 대시보드 구현

워크 스케줄링은 Airflow를 사용했고, 대시보드는 Redash를 이용했다.
빅데이터를 지탱하는 기술이라는 책을 바이블로 삼으며 파이프라인을 설계했다. 책과 구글링을 통해 해당 프로젝트에서의 Airflow 필요성을 느꼈지만, 이때까지 Airflow를 써본 적은 없었다. 따라서 유튜브(요즘 정말 잘 나온다는 것을 느낌)를 통해 Airflow를 공부했다. 그리고 Docker로 띄워 프로젝트에 활용했다.

이를 하며, 성능과 비용, 효율과 안정성의 Trade-Off 지점을 센스 있게 정해 파이프라인을 설계하는 것 또한 데이터 엔지니어에게 필요한 덕목이라는 것을 알게 됐던 소중한 시간이었다. 이를 통해 개인 프로젝트 포트폴리오를 만들 수 있었다.

(+추가: 이때, Airflow를 직접 설치해 만들지 않고 Docker를 이용했기 때문에, Airflow 내부가 어떻게 돌아가는지를 잘 이해하지 못한 것 같다는 아쉬움이 생겨, Udemy 강의를 통해 현재 Airflow를 추가로 공부하고 있다. 강의는 발음이 간혹 안 들리는 부분이 있는 것만 빼면 매우 매우 매우 만족스럽다!)

2-6. 다섯 번째 준비 - Spark 스터디 (21.06~)

데이터 엔지니어링의 공부를 하면서, Spark에 대해 알면 좋을 것 같다고 느꼈다. 따라서 매주 토요일마다 현직자분들&취준생분들과 함께하는 Spark 온라인 스터디에 참여해 학습했다.

이는 데이터 엔지니어 단체 카톡방을 통해 스터디가 있다는 소식을 접해 참여했다.
또한 책은 스파크 완벽 가이드 (아래 참고)를 사용했는데, 처음엔 많이 어려웠지만 뒤로 갈수록 괜찮았다!
https://www.hanbit.co.kr/store/books/look.php?p_code=B6709029941

스파크 완벽 가이드

하지만 스파크는 아직도 잘 모르겠다...힝구
제대로 하려면, 더 많은 시간과 노력이 필요할 것 같다.



 
 
 

2-7. 여섯 번째 준비 - 알고리즘 스터디 (21.04~)

알고리즘적 사고를 기르고 싶었다. 따라서 4월부터 약 두 달간 매주 일요일마다 알고리즘 스터디를 진행했다.
알고리즘 강의를 들으며 알고리즘 기초를 쌓는 목적의 스터디였고, 우리가 선택한 강의는 아래와 같다.
강의도 나는 초보가 듣기에 괜찮다고 느껴졌고 & 스터디원들과 모르는 부분에 대해 서로 이야기를 나누는 과정에서 많이 성장했다고 느꼈다. (이 알고리즘 스터디를 시작하고 가장 처음 봤던 코테가 naver ai rush 코테였는데, 합격했을 때 강사 김태원님께 무한 감사를 느꼈다.)

파이썬 알고리즘 문제풀이 (코딩테스트 대비) - 인프런 | 강의

 
 

2-8. 일곱 번째 준비 - 데이터 엔지니어 인사이트 확장

2-8-1. 빅데이터 분석기사 필기 취득 (21.04~)
나는 개인적인 경험에 의해 분석 인사이트의 필요성을 느꼈다. 따라서 빅데이터 분석기사 공부를 했다.
(빅데이터 분석기사 필기를 취득하게 된 구체적 이유는 아래 포스팅과 같다.)

01. 빅데이터 분석기사 필기 - 1 / 빅분기 취득을 결심한 이유

 



2-8-2. CS 지식 쌓기 (21.02~)
CS에 대한 기초 지식이 탄탄했으면 좋겠다는 개인적 니즈가 있었고, 나는 컴퓨터공학 출신에 비해 이 부분이 많이 부족할 것 같았다. (산공도 CS를 배우긴 하지만, 컴공에 비해 뎁스가 얕다.)

따라서, 실제 컴공과 학생들이 전공책으로 쓴다는 '쉽게 배우는 운영체제-한빛 아카데미'를 구매해 정독했다.
책으로만 운영체제를 100% 이해하기에는 한계가 있어 여러 차례 봤다. (부분 부분 이해가 안 되는 부분은 반복해서 봤고, 전체 책은 현재 2회독째 읽는 중이다.)

또한, 학부생 때 전공책으로 실제 공부했었던 데이터베이스 개론-한빛아카데미 책을 재정독했다.
네트워크는 유튜브가 잘 나와 있어서 유튜브를 통해 기초 지식을 쌓았다. (링크는 아래와 같다.)

https://www.youtube.com/watch?v=Av9UFzl_wis&list=PL0d8NnikouEWcF1jJueLdjRIC4HsUlULi

 
 

2-8-3. 컬럼 읽기 (21.02~)
잇다, 브런치와 같은 곳에는 신입 데이터 엔지니어에게 도움이 될 만한 글이 많다. 나는 이런 플랫폼의 글을 읽으며 데이터 엔지니어라는 직업이 실제로 어떤 일을 하는지 알게 됐고 & 다른 사람들은 어떻게 데이터 엔지니어가 되었는지를 배웠다. (예시는 아래와 같다.)

데이터 엔지니어는 회사에서 무슨 일을 하나요?

2-8-4. 데이터 엔지니어 단체 카톡방 (21.02~)

카카오톡의 기능에는 쏠쏠한 꿀팁이 많다. 그중에 단체 카톡방 기능은, 다양한 사람들끼리 익명으로 모여 단체 톡을 할 수 있는 기능인데, 데이터 엔지니어 모임 또한 톡방으로 존재한다.
나는 데엔을 준비하며, 나에게 단체 카톡방은 많은 도움이 되었으며 & 많은 배움을 느꼈던 공간이었다.

비록 나는 카톡에 크게 참여하지는 않고 소위 말하는 눈팅(?)을 위주로 했지만, 궁금한 점이 있을 때 간혹 질문을 드리면 정말 잘 답변해주셨다. 그리고, 다른 분들께서 질문하시고 그것에 대한 피드백을 주고받는 것을 눈팅(?)하며 '실제로 데이터 엔지니어들은 이런 문제에 직면하는구나' 하고 깨달을 수 있어서 매우 좋았다!




2-8-5. 실리콘밸리에서 날아온 데이터엔지니어링 스타터 키트 - 그랩 스터디 (21.08~)

이건 지금 진행 중인 스터디인데, 만족스럽다. (비록 1차 면접 보고 나서 스터디가 시작됐기 때문에, 준비과정은 아니지만 ㅎㅎ 그래도 도움이 될 것 같아서 작성한다.)

이를 통해, 데이터 엔지니어는 무슨 일을 하는지 & 데이터 엔지니어가 실제로 하는 업무(Bigquery, SQL, Airflow,
대시보드 제작 등)를 현직자에게 배울 수 있는 유료 스터디다. 8주에 약 50만 원 정도 했던 것 같다.

이 스터디를 무료로 듣는 방법?

하지만 이 스터디에도 무료로 들을 수 있는 팁이 있다. 바로, '임팩트캠퍼스'라는 체인지 커리어 지원 기업 등을 적극 활용하는 것이다.

단 일정 소득 이하의 취업 준비생, 여성 경력단절자, 북한이탈주민 등 조건 대상자가 있다. 이 대상에 해당하면 50여 만원에 달하는 스터디 비용을 지원해주니 참고하면 좋을 것 같다!

2-8-6. 포트폴리오 개선 (21.07~)

빅데이터분석 공모전에 나갔던 프로젝트에서 여러 아쉬움을 느껴, 프로젝트를 개선해보았다.
다양한 포트폴리오를 만드는 것 보다, 하나의 프로젝트라도 깊게 하는 것이 더 의미있다고 생각했기 때문이다.

Python 프레임워크 중 하나인 장고 기반 웹사이트를 개발했고, 데이터 로드하는 시간을 단축하고자 데이터 파이프라인을 재구성했다. (확실히 4월에 한 프로젝트와, 7월에 수정한 프로젝트는 기능/성능 상 상당한 갭이 있었다. 역시 사람은 계속 배우면서 성장해야 한다는 것을 다시한 번 느끼는 중이다.)

---

03. 면접

다른 회사 면접도 봤지만, 내가 가기로 확정한 기업의 면접만 작성해보겠다.

면접은 1차 면접(기술 면접)과 2차 면접(CTO, CEO 면접)을 진행했다.

2-1. 1차 면접

1차 면접은 기술 면접이었다.
나는 끝까지 집중하려고 노력했고, 면접을 망했다고 생각했기에 '마지막 한 마디 해도 되겠느냐'며 끝까지 나를 어필하고자 했다. 면접은 망한 줄 알았는데, 역시 면까몰(=면접은 까보기 전까지 모른다라는 의미). 너무 감사하게도 운이 좋게 합격할 수 있었다.

2-2. 2차 면접

약 일주일 뒤, 2차 면접을 봤다. 인사 담당자님께서, 2차 면접은 기업의 fit과 맞는 사람인지에 대한 면접이라고 설명해주셨다. 그래서 면접 질문 예상이 어려워, 지금까지 내가 밟아온 발자취를 되새김하며 면접을 준비했다.

면접에서, 나는 물류/유통/이커머스에 푹 빠져 공부했던 저학년 때의 활동들, 고학년 때의 창업 경험, 짧게나마 현업에서 느꼈던 감정에 대해 말씀드렸다. 합격 결과는 2차 면접을 봤던 주에 빠르게 나왔고, 나도 빠르게 오퍼 승인 및 제출했다!
이로써 취업이라는 기나긴 여정이 끝났다.

 

04. 합격과 다짐

현재로썬 많이 부족하지만, '성장성'을 보고 뽑아주셨다고 생각하며, 끊임없이 성장하는 모습을 보여주는 신입사원이 되리라 다짐 또 다짐한다.

.
.
.

20살 때부터, 사실 크게 쉴 틈은 없었던 것 같다.
그런데 이번에 공부를 하고자 본가에 내려와, 공부+쉼을 병행했던 기간을 가졌는데, 참 좋았다.

커리어에 대한 깊은 고민을 할 수 있었고,
원하는 공부를 맘껏 할 수 있었고,
사랑하는 가족들과 함께 있을 수 있었고,
무엇보다도, 태어나서 아버지랑 가장 많은 추억을 쌓은 시기였기에 행복했다.

이제 또 회사를 가야 하니 타지에서 생활해야 한다. 가족과 떨어져 당분간은 조금 외롭겠지만, 더 멋진 데이터 엔지니어로 성장할 수 있도록 크게 첫 발 내디뎌보아야겠다! 화이팅!
 

Q. 2021년 전에는 어떤 활동들을 했었나 ?

메일을 통해 몇 분께서 궁금해 하셨기에 다른 분들도 궁금해 하실 것 같아 작성합니다. 데이터 엔지니어를 준비하는 데에 직접적인 활동들은 아닌 것 같아서, 해당 포스팅에선 다루지 않았습니다 :) 조만간 대학 4년에 대한 회고 포스팅을 할텐데 그 포스팅을 참고해주시면 감사하겠습니다!