데이터 엔지니어 16

05. 데이터 엔지니어링 - 수집 요구사항 및 수집 파이프라인 정의

나는 해당 프로젝트에서 데이터 엔지니어링을 맡았다. 내가 할 역할은 아래 WBS 중에서도 Data Processing 파트다. (데이터 엔지니어 꿈나무 🙋🏻‍♀️🙋🏻‍♀️) ⬇ 우리 팀의 WBS 링크 https://eng-sohee.tistory.com/50 따라서 오늘, 나는 가장 첫 작업인, 데이터 수집 요구사항 정의를 해보려 한다. 목차 수집 요구사항 수집 파이프라인 01. 수집 요구사항 요구사항 1: 정박 대기시간 예측 모델 요구사항 2: 실시간 선박 위치 좌표+대시보드화 (선박 검색) 요구사항 3: 해양 기상데이터 시각화 요구사항 4: 정박지 예약 현황 공유 요구사항 5: 위의 요구사항을 조금 더 자세히 구체화하여 작성해보았다. 매우 간단한 인터페이스 정의서라고 볼 수 있겠다. 요구사항 수집 구..

08. 조금씩 성장하기

01. 아침 감사일기 엄마와 같이 잠을 자다보니, 엄마 출근준비하는 소리에 잠이 깼다. 어제 카페인의 여파가 아직까지도 미치는 모양인지, 4시간을 채 잠자지 못했는데도 잠이 오질 않는다. 그럼에도 불구하고, 엄마의 출근 배웅을 할 수 있었다는 것과 & 아침 시간을 허투루 보내지 않고 지난 여행을 정리 및 운영체제를 공부하는 데에 사용했다는 것에 대한 뿌듯함이 느껴진다! 오늘의 감사할 일은, 위장이다. 여행 내내 혹사시킨 위장, 참 많이 걱정됐는데, 아침에 생각보다 속이 많이 편안하다. 튼튼해진 내 위에게 감사를 표하며 ㅋㅋ 오늘 감사일기를 마무리하겠다. 02. TODO LIST [공부] [운영체제] 운영체제 2장공부 [공부] [해상물류 프로젝트] 해상물류 프로젝트 수행 [공부] [데이터베이스] 데이터베이..

05. 데이터 엔지니어가 왜 되고 싶냐면

01. 아침 감사일기 일찍 잠이 들어서 그런지, 일찍 눈이 떠졌다. 역시 ※ 해파리 수면법 최고! 만세만세 만만세! ※ 해파리 수면법이란? 아래 게시물 하단 참고! https://eng-sohee.tistory.com/32 02. 조금씩 성장하기 오늘의 날짜: 2021년 06월 05일 01. 오늘의 아침 감사일기 '쉽게 배우는 운영체제' 책 첫 공부 날! 이 책이 궁금해서 5시간 자고 눈이 절로 떠졌다. 원하는 공부를 원하는 시간에 할 수 있도록, 현재 eng-sohee.tistory.com 잠을 푹 자서 그런지, 아침부터 열심히 할 일을 해야겠다는 다짐이 들던 하루! 알람이 없어도 잠을 깰 수 있을 만큼 좋은 컨디션임에 감사한 하루다. 02. Done-List [공부] [SQL] 스파르타 코딩클럽 - ..

04. 아는 내용을 내 것으로 만들기

01. 오늘의 아침 감사일기 모르는 내용을 새로 공부하는 것도 좋지만, 배운 내용을 찬찬히 정리해서 온전한 내 몫으로 만들어보자. 오늘은 AI 코드스테이츠에서 3개월/4개월 차에 배웠던 내용을 다시한 번 정리&복습하는 시간을 가져보기로 했다. 뭐든 새로 배우는 건 즐겁고 좋지만, 복습을 하거나 알듯 말듯한 내용을 확실히 짚기 위해 시간을 투자하는 것은 다소 낭비같다는 생각이 있었다. 하지만, 2021년 공부를 하면서, 그 시간이 무엇보다도 가장 중요한 시간이라는 것을 깨달았다. 그래서 오늘은, 아침에 엄마 심부름으로 이모네 가게에 들렀다가, 스타벅스에 왔다. 고등학교 친구와 함께 공부하며, 복습을 반드시 해낼 것이다 ! 02. 오늘의 Done List [공부] [SQL] SQL 복습 [10:30-12:0..

03. 빅데이터의 분산 처리

안녕하세요 한소희입니다. 공부를 통해 배운 내용을 작성하고 있습니다. 혹여 해당 포스팅에서 잘못된 부분이 있을 경우, 알려주시면 빠르게 수정 조치하도록 하겠습니다. 감사합니다. 이번에는 시각화에 적합한 데이터 마트를 구축하는 것을 목적으로, 분산 시스템에 의한 데이터 처리의 기본적 흐름에 관해 설명해보겠다. 새로운 개념이 화수분처럼 쏟아지고, 유사한 개념이 머릿속을 헤집어 정리하는데 비교적 상당한 시간이 소요되었던 부분이다. 하지만 머릿속으로 개념을 정리하니, 평소 궁금했던 질문들이 한결 해소되었다. 그럼, 분산 시스템에 의한 데이터 처리의 기본적 흐름에 대해 포스팅을 시작하겠다. (나름 열심히 포스팅을 진행했지만, 저도 공부를 하며 정리한 내용이므로 중간에 오류가 있을 수 있습니다. 혹여 게시물에 이슈..

01. 전주시 빅데이터 분석 공모전 - 우수상 수상!

안녕하세요 한소희입니다. 공부를 통해 배운 내용을 작성하고 있습니다. 혹여 해당 포스팅에서 잘못된 부분이 있을 경우, 알려주시면 빠르게 수정 조치하도록 하겠습니다. 감사합니다. 목차 참여 계기 준비 과정 데이터 분석 과정 - 서비스 구현 계기 사이트 개발 과정 결과 아쉬웠던 점 해당 프로젝트를 통해 배운 점이 있다면? (추가) 심사 결과 - 우수상! 1. 참여 계기 우연히 길을 가던 중, 편의점 앞에 유기된 비글 두 마리를 보았다. 어떤 한 아저씨께서 이 아이들을 발견하여 어쩔 줄 모르는 상황이었고, 구청에 신고를 해서 기다리고 계셨다. 그러던 중, 아저씨는 내게 "당근 마켓에는 주인 찾는 글 올렸는데, 아가씨가 다른 곳에다가도 좀 올려 주세요."라고 하더라. 강아지 3마리를 키우는 입장에서, 포인 핸드..