한소희 개발일지

6월 28일부터 7월 17일 동안(3주), 기업 협업 프로젝트를 수행했다. 더불어, 남은 한 주 동안은 협업 프로젝트 최종 보고서 및 발표 영상을 만들고, 기업에 직접 찾아 가 프레젠테이션을 나름 성공적으로(?) 마쳤다. 따라서 요 근래 블로그에 신경을 많이 쓰지 못했다. 앞으로는 다시 원래처럼, 블로그에도 신경을 열심히 써보려 한다 ㅎㅎ 또한 진행 중이던 CS 공부도 꾸준히 수행할 예정이다. 기업 협업 프로젝트는 어땠는가? 결론적으로 말하면, 데이터 엔지니어링의 초석을 다질 수 있었던 좋은 경험이었다. 정말 다양한 경험을 했지만, 그 중에서도 크게 7가지의 경험을 했다. 1) 실제 기업 데이터로 Data Mart 파이프라인을 설계해 데이터를 수집했다. 적재되는 raw 데이터를 원하는 형태로 시각화하기 ..

오늘은 로그 시뮬레이터를 설치해 볼 것이다. 사실 로그 시뮬레이터는 강의에서 이미 만들어진 것을 가져와, 파일 질라를 통해 업데이트하고 잘 업데이트가 되었는지 확인하는 것이 전부다. 따라서 비교적 간단한 작업에 속한다. 하지만 이 개념을 이해하는게 처음에는 힘들었다. 로그 시뮬레이터가 대체 뭔가 싶기도 했고, 이걸 내가 직접 만들어보고 싶은데 어떻게 만들어야 할지를 고민하고 생각하며 임하다 보니 조금 더 버벅거렸던 것 같다. 그럼 한번, 로그시뮬레이터를 설치하고 잘 설치되었는지 확인하는 작업을 해보겠다! 목차 로그 시뮬레이터 설치 01. 로그 시뮬레이터 설치 우리는 Server02에 로그 시뮬레이터를 설치할 것이다. 1-1. 로그시뮬레이터, 로그파일 설치될 파일 만들기 나는 pilot-pjt 폴더 안에 ..

나는 해당 프로젝트에서 데이터 엔지니어링을 맡았다. 내가 할 역할은 아래 WBS 중에서도 Data Processing 파트다. (데이터 엔지니어 꿈나무 🙋🏻‍♀️🙋🏻‍♀️) ⬇ 우리 팀의 WBS 링크 https://eng-sohee.tistory.com/50 따라서 오늘, 나는 가장 첫 작업인, 데이터 수집 요구사항 정의를 해보려 한다. 목차 수집 요구사항 수집 파이프라인 01. 수집 요구사항 요구사항 1: 정박 대기시간 예측 모델 요구사항 2: 실시간 선박 위치 좌표+대시보드화 (선박 검색) 요구사항 3: 해양 기상데이터 시각화 요구사항 4: 정박지 예약 현황 공유 요구사항 5: 위의 요구사항을 조금 더 자세히 구체화하여 작성해보았다. 매우 간단한 인터페이스 정의서라고 볼 수 있겠다. 요구사항 수집 구..

나는 오늘, 하둡을 활용한 스마트카 파일럿 프로젝트를 수행하기 위해 필요한 VM을 생성할 것이다. 앞서, 어떤 데이터셋을 활용해 어떤 레이어를 구축할 지 간단하게 정리한 포스팅이 있는데, 이를 읽어본다면 오늘 포스팅의 내용을 더 수월히 이해할 수 있을 것이다. ⬇ 이전 포스팅 참고 링크 01. 하둡(Hadoop) 활용한 스마트카 파일럿 프로젝트_개요 오늘부터는 대망의, 데이터 엔지니어링 파일럿 프로젝트를 진행 할 것이다! 이번 스마트카 파일럿 프로젝트에 대해 간단히 설명하겠다. 이번 프로젝트는 인프런의 강의를 참고하여, 데이터 수 eng-sohee.tistory.com 그럼 오늘의 포스팅을 시작하도록 하겠다! 목차 VM 통합환경 구성 개요 필요한 설치 프로그램 설명 리눅스 가상머신 설정 01. VM 통합..

오늘부터는 대망의, 데이터 엔지니어링 파일럿 프로젝트를 진행 할 것이다! 이번 스마트카 파일럿 프로젝트에 대해 간단히 설명하겠다. 이번 프로젝트는 인프런의 강의를 참고하여, 데이터 수집부터 적재 & 처리 및 탐색 & 분석 및 응용작업까지 진행해 보는 프로젝트다. 직접 대규모 처리 프로세스를 구현해보기 전, 이 강의를 통해 파일럿 프로젝트를 수행해보려 한다. 인프런 강의는 아래와 같다. 15일간의 빅데이터 파일럿 프로젝트 - 인프런 | 강의 AI에 생명력을 불어 넣는 빅데이터의 모든 과정들을 파일럿 프로젝트 형식으로 진행 하며, 완성된 빅데이터 플랫폼 위에서 다양한 데이터 탐색과 머신(딥)러닝 분석을 수행 합니다., 15일에 끝장 www.inflearn.com 🔥 이전까지의 프로젝트와 이 프로젝트의 차이점..