한소희 개발일지

안녕하세요 한소희입니다. 저는 입사를 앞둔 신입 데이터 엔지니어가 됐습니다. 데이터 엔지니어를 준비하게 된 계기 및 과정, 취업 과정까지 겪었던 기나긴 여정을 스스로 회고하고자 포스팅해보려 합니다. 목차 어쩌다가 '데이터 엔지니어'라는 꿈이 생겼나 데이터 엔지니어를 준비하던 과정 이력서 그리고 면접 합격과 다짐 01. 어쩌다가 '데이터 엔지니어'라는 꿈이 생겼나 1-1. 대학교 2학년, SCM에서 데이터를 발견하다. 나는 산업경영공학과 출신이다. 1학년 때 배웠던 산업공학개론을 듣고, 물류유통에 흥미가 생겼다. 따라서 물류유통 관련 외부 대외활동들을 하며 인사이트를 키웠다. 나는, 이 과정 속에서 큰 기업의 성공 전략이 모두 데이터에 귀결됨을 깨달았다. 한국청년물류포럼 활동 중 세미나에서 내가 발표했던 ..

Airflow를 사용해본 경험은 꽤 되지만, 이는 누군가가 Docker로 사용하기 좋게 build해놓은 것을 썼기 때문에 온전히 내 것이라는 느낌이 들지 않았다. 따라서 이번 프로젝트를 진행하면서 Airflow를 처음부터 직접 설치하며 실행해보고 기초를 완전히 다져보고자 Udemy 수업을 수강하고 구글링을 하는 등 공부를 해보았다. 오늘은 지난 주 배운 내용을 온전히 내 것으로 만들기 위해 복습을 해보았다. 1. airflow란 무엇인가 https://eng-sohee.tistory.com/80 01. Airflow 개념 + Docker를 통한 Airflow 설치 01. Airflow란 무엇인가? Airflow는 에어비앤비에서 개발한 워크플로우 스케줄링 및 모니터링 플랫폼이다. 이는 동작 순서 및 방식과..

6월 28일부터 7월 17일 동안(3주), 기업 협업 프로젝트를 수행했다. 더불어, 남은 한 주 동안은 협업 프로젝트 최종 보고서 및 발표 영상을 만들고, 기업에 직접 찾아 가 프레젠테이션을 나름 성공적으로(?) 마쳤다. 따라서 요 근래 블로그에 신경을 많이 쓰지 못했다. 앞으로는 다시 원래처럼, 블로그에도 신경을 열심히 써보려 한다 ㅎㅎ 또한 진행 중이던 CS 공부도 꾸준히 수행할 예정이다. 기업 협업 프로젝트는 어땠는가? 결론적으로 말하면, 데이터 엔지니어링의 초석을 다질 수 있었던 좋은 경험이었다. 정말 다양한 경험을 했지만, 그 중에서도 크게 7가지의 경험을 했다. 1) 실제 기업 데이터로 Data Mart 파이프라인을 설계해 데이터를 수집했다. 적재되는 raw 데이터를 원하는 형태로 시각화하기 ..

오늘의 날짜: 2021년 06월 28일 01. 오늘을 회고하며 나는 현재 기업과 프로젝트를 진행 중이다. 오늘은 기업으로부터 데이터 접근 권한을 받았다. 접근 권한을 확인하며, 문제가 생겼다. 바로 어디를 가도 접근 권한을 찾을 수 없었던 것이다... 이 문제를 해결하기 위해, 새로운 구글 아이디 계정을 생성해 테스트해보기도 했다. (곧바로 '안 된다'라고 기업 관계자님께 말씀드리기보단, 내가 할 수 있는 만큼 최대한 구글링을 해서 문제를 해결하도록 노력하는 게 맞다고 생각했다. 따라서 수 시간을 구글링 하고 시도해봤지만 결국엔 되지 않았다.) 관계자님께 말씀을 드렸고, iam 접근 권한 할당 등에서 이슈가 생겨 프로젝트가 뜨지 않았던 것으로 결론이 났다. 따라서 관계자님께서 한 차례 더 승인 요청을 해..

01. Done List [공부] [해상물류 프로젝트] 데이터 연동방법 모색 [공부] [AWS Lambda] Lambda 활용한 API 배포 & MongoDB 연동 [공부] [Selenium & BeautifulSoup] Port-Mis 시설사용현황 크롤링해 결과물 추출 [공부] [해상물류 미팅] 20:00 PM 미팅 [공부] [Spark] 스파크 공부 - 내일 스터디 준비 [운동] [오전헬스] 11:00 AM 운동 다녀오기 02. 저녁 일기 해야 할 일을 무사히 끝냈다. 물론, 공부를 하는 과정에서 만난 수많은 에러 때문에 중간중간 괴로웠지만, 결과적으로는 성공적으로 마무리할 수 있어서 두 다리 쭉 뻗고 잘 수 있겠다. 오늘은 헬스를 첫 등록했다. 지난 겨울 잠실에서 살던 추억이 떠올랐다. 저녁에 혼자..

나는 해당 프로젝트에서 데이터 엔지니어링을 맡았다. 내가 할 역할은 아래 WBS 중에서도 Data Processing 파트다. (데이터 엔지니어 꿈나무 🙋🏻‍♀️🙋🏻‍♀️) ⬇ 우리 팀의 WBS 링크 https://eng-sohee.tistory.com/50 따라서 오늘, 나는 가장 첫 작업인, 데이터 수집 요구사항 정의를 해보려 한다. 목차 수집 요구사항 수집 파이프라인 01. 수집 요구사항 요구사항 1: 정박 대기시간 예측 모델 요구사항 2: 실시간 선박 위치 좌표+대시보드화 (선박 검색) 요구사항 3: 해양 기상데이터 시각화 요구사항 4: 정박지 예약 현황 공유 요구사항 5: 위의 요구사항을 조금 더 자세히 구체화하여 작성해보았다. 매우 간단한 인터페이스 정의서라고 볼 수 있겠다. 요구사항 수집 구..

안녕하세요 한소희입니다. 공부를 통해 배운 내용을 작성하고 있습니다. 혹여 해당 포스팅에서 잘못된 부분이 있을 경우, 알려주시면 빠르게 수정 조치하도록 하겠습니다. 감사합니다. 목차 Group By란 Order By란 Group By와 Order By - 타 문법과의 활용 과제 풀이 01. Group By란 Group By란, 기준 속성으로 묶는 것을 말한다. 아래 코드 예시를 보면 더욱 이해가 잘 된다. 아래 코드 설명은 아래와 같다. users 테이블에서 'name' 속성으로 group by(=이름별로 묶음) 뒤, 각각의 개수를 세어보자. # 1. users에서 2. group by한 뒤, 3. select select name, count(*) from users group by name ❓❗ 그럼..

01. 4월말-5월 그리고 6월 초는 어땠었지? 데이터 엔지니어가 되어야겠다라는 확고한 꿈을 갖고, 4월말-5월초엔 알고리즘 공부를 참 열심히 했던 것 같다. 그 덕에 네이버 AI RUSH 코딩테스트도 합격했었고! 5월중순-말은 졸업시험을 준비하느라 매우 바빴던 것 같다. 5월 마지막주에는 여행을 다녀왔다. 6월 초는 본격적인 CS 공부를 시작했다. 데이터베이스, 운영체제 등. 빅데이터를 지탱하는 기술 책도 다시 정독 중이고 말이다. 아, 블로그도 새로 시작했다. 7일만에 게시물 40개 작성했다. ........ 시간이 너무 금세 가서, '내가 뭘 하고 시간을 허송세월 보냈나' 싶어 돌아보면, 그래도 그 시간을 나름 최선을 다해 보냈던 것 같아서 스스로가 뿌듯해진다. 공부는 엉덩이 싸움이랬다. 하루 8-..

안녕하세요 한소희입니다. 공부를 통해 배운 내용을 작성하고 있습니다. 혹여 해당 포스팅에서 잘못된 부분이 있을 경우, 알려주시면 빠르게 수정 조치하도록 하겠습니다. 감사합니다. 나는 요즘 스파르타 코딩 클럽 - 엑셀보다 쉬운 SQL 수업을 수강 중이다. 내가 왜, 스파르타코딩클럽의 엑셀보다 쉬운 SQL 수업을 듣게 됐는지는 아래 이전 포스팅 링크를 통해 알 수 있다. 스파르타코딩클럽은 데이터 조작어(DML)를 중심으로 수업을 진행한다. 그래서 우선적으로, DML을 중심으로 학습한 뒤 추후 DDL이나 DCL을 개별적으로 공부할 것이다. 오늘은 1주차 수업을 모두 마치고, SQL 문의 SELECT 절을 이용하고, 다른 쿼리 문과 결합하여 활용하는 방법까지 복습해보도록 하겠다. 목차 SELECT와 WHERE ..

01. 아침 감사일기 일찍 잠이 들어서 그런지, 일찍 눈이 떠졌다. 역시 ※ 해파리 수면법 최고! 만세만세 만만세! ※ 해파리 수면법이란? 아래 게시물 하단 참고! https://eng-sohee.tistory.com/32 02. 조금씩 성장하기 오늘의 날짜: 2021년 06월 05일 01. 오늘의 아침 감사일기 '쉽게 배우는 운영체제' 책 첫 공부 날! 이 책이 궁금해서 5시간 자고 눈이 절로 떠졌다. 원하는 공부를 원하는 시간에 할 수 있도록, 현재 eng-sohee.tistory.com 잠을 푹 자서 그런지, 아침부터 열심히 할 일을 해야겠다는 다짐이 들던 하루! 알람이 없어도 잠을 깰 수 있을 만큼 좋은 컨디션임에 감사한 하루다. 02. Done-List [공부] [SQL] 스파르타 코딩클럽 - ..