한소희 개발일지

지난주부터, '데이터 중심 애플리케이션 설계'라는 책을 스터디하기 시작했다. 책을 읽으며, 중요하다고 생각하는 부분에 대해 짧게 요약정리(+약간의 개인적 생각이 들어간...) 해보고자 한다. 이번 포스팅에서는 첫 챕터인, "01. 신뢰할 수 있고 확장 가능하며 유지 보수하기 쉬운 애플리케이션" 부분을 다뤄 보았다. 목차 1. 신뢰성 2. 확장성 3. 유지보수성 01. 신뢰성 신뢰성이란, 결함이 발생해도 시스템이 올바르게 동작하게 만드는 것을 말한다. 결함률이 0이 되도록 설계하는 것은 불가능하다. 오히려, 결함이 발생하더라도 결함으로 인한 장애가 발생하지 않도록 내결함성을 갖추게 설계하는 것이 좋다. (보안 이슈는 제외) 내결함성을 갖추도록 설계하면, 특정 유형의 결함이 발생하였을 경우 사용자에게 결함을..

오늘의 아침일기 좋은 아침! 배고파서 일찍 눈이 떠진 하루다. 오늘도 많은 경험과 생각을 할 수 있는 소중한 시간이 되길 바라는 바다. 어제, 내가 정말 좋아하는 책 중 하나인 ‘타이탄의 도구들’ 을 다시 읽기 시작했다. 한 챕터씩 읽어가며 느끼는 것은, 현재 내게 조금의 동기부여가 필요하다는 것. 입사와 동시에 적응하기만이라도 바쁜 나날들의 연속이지만, 그럼에도 불구하고 나는 조금씩 앞으로 나아가야 한다는 것을 잊으면 안된다. 아니, 앞으로 나아가야만 한다. 정말 뻔하디 뻔한 말이지만, 현실에 충실하자. 주어진 시간에 최선을 다하자 ! 오늘의 할 일 1. Udemy Airflow 강의 완강 2. (중요) 무탈히 회사 근무 잘 하기 3. 전일 업무처리 기록 컨플루언스 작성 4. 운동 - 오전 스쿼트, 오..

안녕하세요 한소희입니다. 저는 입사를 앞둔 신입 데이터 엔지니어가 됐습니다. 데이터 엔지니어를 준비하게 된 계기 및 과정, 취업 과정까지 겪었던 기나긴 여정을 스스로 회고하고자 포스팅해보려 합니다. 목차 어쩌다가 '데이터 엔지니어'라는 꿈이 생겼나 데이터 엔지니어를 준비하던 과정 이력서 그리고 면접 합격과 다짐 01. 어쩌다가 '데이터 엔지니어'라는 꿈이 생겼나 1-1. 대학교 2학년, SCM에서 데이터를 발견하다. 나는 산업경영공학과 출신이다. 1학년 때 배웠던 산업공학개론을 듣고, 물류유통에 흥미가 생겼다. 따라서 물류유통 관련 외부 대외활동들을 하며 인사이트를 키웠다. 나는, 이 과정 속에서 큰 기업의 성공 전략이 모두 데이터에 귀결됨을 깨달았다. 한국청년물류포럼 활동 중 세미나에서 내가 발표했던 ..

Airflow를 사용해본 경험은 꽤 되지만, 이는 누군가가 Docker로 사용하기 좋게 build해놓은 것을 썼기 때문에 온전히 내 것이라는 느낌이 들지 않았다. 따라서 이번 프로젝트를 진행하면서 Airflow를 처음부터 직접 설치하며 실행해보고 기초를 완전히 다져보고자 Udemy 수업을 수강하고 구글링을 하는 등 공부를 해보았다. 오늘은 지난 주 배운 내용을 온전히 내 것으로 만들기 위해 복습을 해보았다. 1. airflow란 무엇인가 https://eng-sohee.tistory.com/80 01. Airflow 개념 + Docker를 통한 Airflow 설치 01. Airflow란 무엇인가? Airflow는 에어비앤비에서 개발한 워크플로우 스케줄링 및 모니터링 플랫폼이다. 이는 동작 순서 및 방식과..

6월 28일부터 7월 17일 동안(3주), 기업 협업 프로젝트를 수행했다. 더불어, 남은 한 주 동안은 협업 프로젝트 최종 보고서 및 발표 영상을 만들고, 기업에 직접 찾아 가 프레젠테이션을 나름 성공적으로(?) 마쳤다. 따라서 요 근래 블로그에 신경을 많이 쓰지 못했다. 앞으로는 다시 원래처럼, 블로그에도 신경을 열심히 써보려 한다 ㅎㅎ 또한 진행 중이던 CS 공부도 꾸준히 수행할 예정이다. 기업 협업 프로젝트는 어땠는가? 결론적으로 말하면, 데이터 엔지니어링의 초석을 다질 수 있었던 좋은 경험이었다. 정말 다양한 경험을 했지만, 그 중에서도 크게 7가지의 경험을 했다. 1) 실제 기업 데이터로 Data Mart 파이프라인을 설계해 데이터를 수집했다. 적재되는 raw 데이터를 원하는 형태로 시각화하기 ..

안녕하세요 한소희입니다. 공부를 통해 배운 내용을 작성하고 있습니다. 혹여 해당 포스팅에서 잘못된 부분이 있을 경우, 알려주시면 빠르게 수정 조치하도록 하겠습니다. 감사합니다. 목차 Group By란 Order By란 Group By와 Order By - 타 문법과의 활용 과제 풀이 01. Group By란 Group By란, 기준 속성으로 묶는 것을 말한다. 아래 코드 예시를 보면 더욱 이해가 잘 된다. 아래 코드 설명은 아래와 같다. users 테이블에서 'name' 속성으로 group by(=이름별로 묶음) 뒤, 각각의 개수를 세어보자. # 1. users에서 2. group by한 뒤, 3. select select name, count(*) from users group by name ❓❗ 그럼..

안녕하세요 한소희입니다. 공부를 통해 배운 내용을 작성하고 있습니다. 혹여 해당 포스팅에서 잘못된 부분이 있을 경우, 알려주시면 빠르게 수정 조치하도록 하겠습니다. 감사합니다. 나는 요즘 스파르타 코딩 클럽 - 엑셀보다 쉬운 SQL 수업을 수강 중이다. 내가 왜, 스파르타코딩클럽의 엑셀보다 쉬운 SQL 수업을 듣게 됐는지는 아래 이전 포스팅 링크를 통해 알 수 있다. 스파르타코딩클럽은 데이터 조작어(DML)를 중심으로 수업을 진행한다. 그래서 우선적으로, DML을 중심으로 학습한 뒤 추후 DDL이나 DCL을 개별적으로 공부할 것이다. 오늘은 1주차 수업을 모두 마치고, SQL 문의 SELECT 절을 이용하고, 다른 쿼리 문과 결합하여 활용하는 방법까지 복습해보도록 하겠다. 목차 SELECT와 WHERE ..

01. 아침 감사일기 일찍 잠이 들어서 그런지, 일찍 눈이 떠졌다. 역시 ※ 해파리 수면법 최고! 만세만세 만만세! ※ 해파리 수면법이란? 아래 게시물 하단 참고! https://eng-sohee.tistory.com/32 02. 조금씩 성장하기 오늘의 날짜: 2021년 06월 05일 01. 오늘의 아침 감사일기 '쉽게 배우는 운영체제' 책 첫 공부 날! 이 책이 궁금해서 5시간 자고 눈이 절로 떠졌다. 원하는 공부를 원하는 시간에 할 수 있도록, 현재 eng-sohee.tistory.com 잠을 푹 자서 그런지, 아침부터 열심히 할 일을 해야겠다는 다짐이 들던 하루! 알람이 없어도 잠을 깰 수 있을 만큼 좋은 컨디션임에 감사한 하루다. 02. Done-List [공부] [SQL] 스파르타 코딩클럽 - ..

안녕하세요 한소희입니다. 공부를 통해 배운 내용을 작성하고 있습니다. 혹여 해당 포스팅에서 잘못된 부분이 있을 경우, 알려주시면 빠르게 수정 조치하도록 하겠습니다. 감사합니다. 목차 데이터 모델링 개념 개념적 모델링 논리적 모델링 01. 데이터 모델링 개념 데이터 모델링이란, 현실 세계에 존재하는 데이터를 컴퓨터 세계의 데이터베이스로 옮기는 변환 과정 예를 들어, 코끼리(현실 세계 데이터)를 데이터베이스로 정보를 저장한다고 가정하자. 우리는 1) 개념적 모델링 2) 논리적 모델링을 거쳐야 한다. 1) 첫 번 째로, 코끼리의 정보를 문서화한다. 예를 들어, '발이 4개, 몸무게는 1톤 이상' 등으로 정리할 수 있겠다. 두 번째로, 논리적 모델링을 수행한다. 기술한 정보를, 데이터베이스의 논리적 구조로 표현..

01. Done List [공부] [자료구조 및 알고리즘] DFS 알고리즘 10문제 풀기 & 정리하기 [5시간] [공부] [빅데이터] 3장 정리 및 복습 1/2 [1시간 30분] [일정] [파이썬 알고리즘 스터디] 20:00 PM [타 팀원들 프로젝트로 인한 일정 취소] [일정] [스마트 해상물류 스터디] 21:00 PM [타 팀원 시험기간으로 인한 일정 취소] 02. 오늘의 저녁일기 얼른 자자. 별 것 안한 것 같은데 돌아보니 또 새벽이다. 알고리즘 문제가 생각보다 어려워서, 10문제를 푸는 데에 시간이 꽤 오래 걸렸다....흡. DFS 복습 열심히 해야지. 그리고 오늘 아침 아빠 다치셔서 치료해주다보니 시간이 더더욱 금세 갔던 것 같다. 내일 아침 일찍 일어나야 하는데, 벌써부터 큰일이다. 오늘은 꼭..