한소희 개발일지

01. 글또에 합류했다 글또('글쓰는 또라이가 세상을 바꾼다'라는 슬로건을 가진 글 쓰는 개발자 모임, 링크) 8기 모집 소식을 보고, 재빠르게 지원을 했다. 이전에 다른 데이터 엔지니어 분을 통해 이 모임을 알게 됐는데, 그 이후로 글또에 조인하고 싶어서 운영자님 인스타그램을 팔로우하며 모집 공고가 뜨길 기다려왔다. 내가 왜 글또를 하고 싶었냐면, '유사한 직군에 종사하시는 분들과 ‘글’로써 인사이트를 서로 공유하는 모임, 그리고 그것을 통해 개개인의 통찰을 들여다보는 장' 같아 보였기 때문이다. 나는 그리 대외적인 활동을 하지도 않거니와 나름 내성적이기 때문에, (같은 회사 동료 분들을 제외한) 데이터 엔지니어분들과 소통할 기회가 많이 없었다. 같은 직군의 분들과 양방향적 소통을 해보고 싶다는 니즈가..

포스팅을 안 한 기간 동안, 내 삶에는 많은 변화가 있었다. 데이터 엔지니어로 취업을 하고, 독립을 했다. 새로운 환경에 적응하느라 바쁘다는 핑계로 블로깅을 미뤄 왔는데, 사수님의 조언대로 개발 블로그와 일상 블로그 모두, 다시 시작해보려고 한다. (지금까지 작성했던 글이 다시 돌아보니 부끄럽기도 해서, 블로그를 더 들여다보지 않았던 것도 있었다.) 그간 배웠던 것들 그리고 앞으로 배우는 것들에 대한 정리와 기록의 시간을 꾸준히 가질 것이다. 꾸준히, 더 의미있는, 많은 이들에게 도움되는 기록을 하길 바라며! 새해(가 된 지는 벌써 한참이지만 3월은 아직 한 해의 초니까.. ) 목표. 화이팅.

오늘의 아침일기 좋은 아침! 배고파서 일찍 눈이 떠진 하루다. 오늘도 많은 경험과 생각을 할 수 있는 소중한 시간이 되길 바라는 바다. 어제, 내가 정말 좋아하는 책 중 하나인 ‘타이탄의 도구들’ 을 다시 읽기 시작했다. 한 챕터씩 읽어가며 느끼는 것은, 현재 내게 조금의 동기부여가 필요하다는 것. 입사와 동시에 적응하기만이라도 바쁜 나날들의 연속이지만, 그럼에도 불구하고 나는 조금씩 앞으로 나아가야 한다는 것을 잊으면 안된다. 아니, 앞으로 나아가야만 한다. 정말 뻔하디 뻔한 말이지만, 현실에 충실하자. 주어진 시간에 최선을 다하자 ! 오늘의 할 일 1. Udemy Airflow 강의 완강 2. (중요) 무탈히 회사 근무 잘 하기 3. 전일 업무처리 기록 컨플루언스 작성 4. 운동 - 오전 스쿼트, 오..

안녕하세요 한소희입니다. 저는 입사를 앞둔 신입 데이터 엔지니어가 됐습니다. 데이터 엔지니어를 준비하게 된 계기 및 과정, 취업 과정까지 겪었던 기나긴 여정을 스스로 회고하고자 포스팅해보려 합니다. 목차 어쩌다가 '데이터 엔지니어'라는 꿈이 생겼나 데이터 엔지니어를 준비하던 과정 이력서 그리고 면접 합격과 다짐 01. 어쩌다가 '데이터 엔지니어'라는 꿈이 생겼나 1-1. 대학교 2학년, SCM에서 데이터를 발견하다. 나는 산업경영공학과 출신이다. 1학년 때 배웠던 산업공학개론을 듣고, 물류유통에 흥미가 생겼다. 따라서 물류유통 관련 외부 대외활동들을 하며 인사이트를 키웠다. 나는, 이 과정 속에서 큰 기업의 성공 전략이 모두 데이터에 귀결됨을 깨달았다. 한국청년물류포럼 활동 중 세미나에서 내가 발표했던 ..

6월 28일부터 7월 17일 동안(3주), 기업 협업 프로젝트를 수행했다. 더불어, 남은 한 주 동안은 협업 프로젝트 최종 보고서 및 발표 영상을 만들고, 기업에 직접 찾아 가 프레젠테이션을 나름 성공적으로(?) 마쳤다. 따라서 요 근래 블로그에 신경을 많이 쓰지 못했다. 앞으로는 다시 원래처럼, 블로그에도 신경을 열심히 써보려 한다 ㅎㅎ 또한 진행 중이던 CS 공부도 꾸준히 수행할 예정이다. 기업 협업 프로젝트는 어땠는가? 결론적으로 말하면, 데이터 엔지니어링의 초석을 다질 수 있었던 좋은 경험이었다. 정말 다양한 경험을 했지만, 그 중에서도 크게 7가지의 경험을 했다. 1) 실제 기업 데이터로 Data Mart 파이프라인을 설계해 데이터를 수집했다. 적재되는 raw 데이터를 원하는 형태로 시각화하기 ..

오늘의 날짜: 2021년 06월 28일 01. 오늘을 회고하며 나는 현재 기업과 프로젝트를 진행 중이다. 오늘은 기업으로부터 데이터 접근 권한을 받았다. 접근 권한을 확인하며, 문제가 생겼다. 바로 어디를 가도 접근 권한을 찾을 수 없었던 것이다... 이 문제를 해결하기 위해, 새로운 구글 아이디 계정을 생성해 테스트해보기도 했다. (곧바로 '안 된다'라고 기업 관계자님께 말씀드리기보단, 내가 할 수 있는 만큼 최대한 구글링을 해서 문제를 해결하도록 노력하는 게 맞다고 생각했다. 따라서 수 시간을 구글링 하고 시도해봤지만 결국엔 되지 않았다.) 관계자님께 말씀을 드렸고, iam 접근 권한 할당 등에서 이슈가 생겨 프로젝트가 뜨지 않았던 것으로 결론이 났다. 따라서 관계자님께서 한 차례 더 승인 요청을 해..

01. 지난날 반성과 아침 계획 일기 또 아침이 되니 눈이 떠졌다. 어제는 친구의 동생에게 입시 상담을 몇 시간 도와주다 보니, 시간이 금세 훅 갔다. 그만큼, 오늘은 달려야 한다! 목표는 아침 루틴 + 뽀모도로 3회 + 헬스다. 하고자 하는 뚜렷한 목표가 있기에, 난 지금 누구보다 열심히 달려야 한다. CS 지식을 익히는 데에 집중하자. 따라서 오늘은, 도커와 운영체제에 대해 공부할 것이다. 02. 오늘의 Done List [공부] [운영체제] 운영체제 - 시간이 되는대로 모두 운영체제 공부하기 [공부] [도커] 도커 강의 한 섹션 전체 듣기 [운동] [헬스] 헬스 다녀오기 [청소] [대청소] 방청소+거실청소 [공부] [웨비나] MongoDB 웹세미나 듣기 03. 하루를 회고하며 운동의 효과를 미미하게..

01. Done List [공부] [해상물류 프로젝트] 데이터 연동방법 모색 [공부] [AWS Lambda] Lambda 활용한 API 배포 & MongoDB 연동 [공부] [Selenium & BeautifulSoup] Port-Mis 시설사용현황 크롤링해 결과물 추출 [공부] [해상물류 미팅] 20:00 PM 미팅 [공부] [Spark] 스파크 공부 - 내일 스터디 준비 [운동] [오전헬스] 11:00 AM 운동 다녀오기 02. 저녁 일기 해야 할 일을 무사히 끝냈다. 물론, 공부를 하는 과정에서 만난 수많은 에러 때문에 중간중간 괴로웠지만, 결과적으로는 성공적으로 마무리할 수 있어서 두 다리 쭉 뻗고 잘 수 있겠다. 오늘은 헬스를 첫 등록했다. 지난 겨울 잠실에서 살던 추억이 떠올랐다. 저녁에 혼자..

01. 오늘의 아침 글 읽기 Team-Neighborhood/I-want-to-study-Data-Science 데이터 사이언스를 공부하고 싶은 분들을 위한 글 . Contribute to Team-Neighborhood/I-want-to-study-Data-Science development by creating an account on GitHub. github.com 데이터 엔지니어가 되고 싶다. 아침에 이 글을 읽어보며, 데이터 엔지니어링 역량도 중요하지만 무엇보다도 반드시 CS 지식을 완벽히, 탄탄히 숙지해야겠다는 생각을 했다. 나는 네트워크나 운영체제는 잘 모르는 반전공자(산업공학도다 보니, 데이터베이스나 SQL 분석 파이썬은 조금 할 줄 알았다. 아이러니하게도..)다 보니, CS 공부가 더 ..

01. 오늘의 아침일기 하루가 또 시작됐다. 항상 비슷한 하루지만, 오늘은 또 새롭고 특별한 하루라고 생각하며 공부하자. 어제보다 조금 더 아는 게 많은 사람이 되었으면 좋겠다. 02. DONE LIST [공부] [하둡] 클라우데라 매니저 오류 해결 [공부] [하둡] 플럼 플럼 개념이해 후 설치 [공부] [하둡] 카프카 카프카 개념이해 후 설치 [공부] [스파크] 스파크 가상머신에 스파크랑 자바 설치 [공부] [프로젝트] 기업프로젝트 프로젝트 방향성 탐색 + 정리 [공부] [프로젝트] 해상물류 프로젝트 데이터 파이프라인 고민해보기 (특히 비용적 부분!) 03. 오늘의 회고 하루종일 공부한 거 치곤 생각보다 많은 것을 얻지는 못한 것 같아 아쉬움이 들던 하루다. 하지만, 그럼에도 불구하고 어제보다는 발전되..