카테고리 전체보기 144

17. 힘들지만 즐거워, 발전이 있었던 하루

오늘의 날짜: 2021년 06월 28일 01. 오늘을 회고하며 나는 현재 기업과 프로젝트를 진행 중이다. 오늘은 기업으로부터 데이터 접근 권한을 받았다. 접근 권한을 확인하며, 문제가 생겼다. 바로 어디를 가도 접근 권한을 찾을 수 없었던 것이다... 이 문제를 해결하기 위해, 새로운 구글 아이디 계정을 생성해 테스트해보기도 했다. (곧바로 '안 된다'라고 기업 관계자님께 말씀드리기보단, 내가 할 수 있는 만큼 최대한 구글링을 해서 문제를 해결하도록 노력하는 게 맞다고 생각했다. 따라서 수 시간을 구글링 하고 시도해봤지만 결국엔 되지 않았다.) 관계자님께 말씀을 드렸고, iam 접근 권한 할당 등에서 이슈가 생겨 프로젝트가 뜨지 않았던 것으로 결론이 났다. 따라서 관계자님께서 한 차례 더 승인 요청을 해..

03. Docker Image 생성하는 방법

이번 시간에, 나는 hello 문구를 출력하는 이미지를 생성하는 방법을 공부해보았다. 목차 Docker File 만들기 Docker File을 Image로 생성하기 01. Docker File 만들기 Docker Image를 생성하기 위해서는 Image가 될 File, 즉 Docker File을 만들어 주어야 한다. 우리는 생성한 Docker File을 이미지로써 만들어 서버에 저장할 것이다. 따라서 가장 먼저, Docker File을 만드는 방법을 알아보도록 하자. Docker File 생성 순서 1. 베이스이미지를 명시해준다. 2. 추가적으로 필요한 파일을 다운받기 위한 몇가지 명령어를 명시한다. (위 1,2 두가지는 파일 스냅샷에 해당한다.) 3. 컨테이너 시작시 실행될명령어를 명시해준다. 🔥 베이..

02. Docker 통한 Redis CLI 접속 방법 + 기본 사용법

안녕하세요 한소희입니다. 공부를 통해 배운 내용을 작성하고 있습니다. 혹여 해당 포스팅에서 잘못된 부분이 있을 경우, 알려주시면 빠르게 수정 조치하도록 하겠습니다. 감사합니다. 목차 ls 구현하기 컨테이너의 상태 확인하는 방법 Docker의 생명주기 Redis(이하 레디스)를 도커 환경에서 실행해보기 01. ls 구현하기 ls란, 해당 디렉토리디렉터리 내 파일이나 어떤 디렉터리가 있는지 리스트로 보여주는 명령어다. 이는 아래와 같은 코드를 이용해 구현할 수 있고, 구현 결과는 다음과 같다. docker run alpine ls 이처럼 ls를 뒤에 적어주면, 현재 디렉토리 내 파일의 리스트를 위와 같이 보여준다. 지금 나는 alpine 라는 이미지를 불러왔다. 🔥 ls가 실행되지 않는 이미지? 가령 hel..

[웨비나] 'RDBMS에서 MongoDB로의 Replacement 전략과 사례' 를 들으며

나는 현재 스마트 해상물류 ICT 멘토링 프로젝트에서, MongoDB를 다루고 있다. 그리고, 예비 데이터 엔지니어로써 RDBMS와 NoSQL에 대해 공부하고 있기도 한다. 따라서, NoSQL 중에 인지도가 높은 MongoDB의 다양한 사례를 보면, 추후 인사이트를 넓히는 데에 도움이 될 것 같아 웨비나를 신청했다. 목차 웨비나 개요 기존 RDBMS와 MongoDB의 차이, MongoDB의 장점 웨비나 후기 01. 웨비나 개요 관계형 데이터베이스는 30년 넘게 엔터프라이즈 데이터 관리의 토대가 되어 왔다고 한다. 그러나 오늘날 애플리케이션을 구축하고 실행하는 방식과 끊임없이 증가하는 새로운 데이터 소스 및 사용자 로드가 더해지면서 관계형 데이터베이스는 한계에 부딪히게 된다. 따라서 최신 애플리케이션의 요..

16. 운동의 효과

01. 지난날 반성과 아침 계획 일기 또 아침이 되니 눈이 떠졌다. 어제는 친구의 동생에게 입시 상담을 몇 시간 도와주다 보니, 시간이 금세 훅 갔다. 그만큼, 오늘은 달려야 한다! 목표는 아침 루틴 + 뽀모도로 3회 + 헬스다. 하고자 하는 뚜렷한 목표가 있기에, 난 지금 누구보다 열심히 달려야 한다. CS 지식을 익히는 데에 집중하자. 따라서 오늘은, 도커와 운영체제에 대해 공부할 것이다. 02. 오늘의 Done List [공부] [운영체제] 운영체제 - 시간이 되는대로 모두 운영체제 공부하기 [공부] [도커] 도커 강의 한 섹션 전체 듣기 [운동] [헬스] 헬스 다녀오기 [청소] [대청소] 방청소+거실청소 [공부] [웨비나] MongoDB 웹세미나 듣기 03. 하루를 회고하며 운동의 효과를 미미하게..

05. SQL- Join의 활용 (A.K.A 3주차 수업 정리)

안녕하세요 한소희입니다. 공부를 통해 배운 내용을 작성하고 있습니다. 혹여 해당 포스팅에서 잘못된 부분이 있을 경우, 알려주시면 빠르게 수정 조치하도록 하겠습니다. 감사합니다. 목차 Join이란 Inner Join과 Left Join 다양한 Join 활용법 퀴즈 과제 01. Join이란 Join이란, 여러 개의 테이블을 조건(Key)에 맞게 테이블을 연결한 것이다. Join의 예시는 위와 같다. 테이블 A와 테이블 B에는 동일한 '아이디'라는 속성이 있다. 이들을 기준으로, 우리가 원하는 데이터만 끌어 와 새로운 테이블을 생성할 수 있는데, 이것을 Join이라고 한다. 02. Inner Join과 Left Join 가장 많이 쓰이는 방법이 바로 inner join과 left join이다. inner jo..

12. 블로그 재미붙이기

01. Done List [공부] [해상물류 프로젝트] 데이터 연동방법 모색 [공부] [AWS Lambda] Lambda 활용한 API 배포 & MongoDB 연동 [공부] [Selenium & BeautifulSoup] Port-Mis 시설사용현황 크롤링해 결과물 추출 [공부] [해상물류 미팅] 20:00 PM 미팅 [공부] [Spark] 스파크 공부 - 내일 스터디 준비 [운동] [오전헬스] 11:00 AM 운동 다녀오기 02. 저녁 일기 해야 할 일을 무사히 끝냈다. 물론, 공부를 하는 과정에서 만난 수많은 에러 때문에 중간중간 괴로웠지만, 결과적으로는 성공적으로 마무리할 수 있어서 두 다리 쭉 뻗고 잘 수 있겠다. 오늘은 헬스를 첫 등록했다. 지난 겨울 잠실에서 살던 추억이 떠올랐다. 저녁에 혼자..

11. CS 탄탄히

01. 오늘의 아침 글 읽기 Team-Neighborhood/I-want-to-study-Data-Science 데이터 사이언스를 공부하고 싶은 분들을 위한 글 . Contribute to Team-Neighborhood/I-want-to-study-Data-Science development by creating an account on GitHub. github.com 데이터 엔지니어가 되고 싶다. 아침에 이 글을 읽어보며, 데이터 엔지니어링 역량도 중요하지만 무엇보다도 반드시 CS 지식을 완벽히, 탄탄히 숙지해야겠다는 생각을 했다. 나는 네트워크나 운영체제는 잘 모르는 반전공자(산업공학도다 보니, 데이터베이스나 SQL 분석 파이썬은 조금 할 줄 알았다. 아이러니하게도..)다 보니, CS 공부가 더 ..

07. 플럼(flume)을 통한 빅데이터 수집

안녕하세요 한소희입니다. 공부를 통해 배운 내용을 작성하고 있습니다. 혹여 해당 포스팅에서 잘못된 부분이 있을 경우, 알려주시면 빠르게 수정 조치하도록 하겠습니다. 감사합니다. 앞서 이번 프로젝트에서 우리는 working 파일 밑에 로그 시뮬레이터를 설치했다. draw.io로 그림을 그려보면 아래와 같다. 뭔가 그림이 이상한데 (?) ㅋㅋ 로그 시뮬레이터를 실행하면 거기서 나오는 데이터가, 만들어진 폴더에 각각 저장되는 시스템이다. 배치 로그 데이터는 SmartCar 폴더에, 리얼타임 로그 데이터는 driver-realtime-log에 저장된다. 앞선 포스팅을 보면 이해가 더욱 잘 된다. ⬇ 이전 포스팅 링크 https://eng-sohee.tistory.com/58 03. 로그 시뮬레이터 설치 오늘은 ..

06. 플럼과 카프카 기능 구현 방법

안녕하세요 한소희입니다. 공부를 통해 배운 내용을 작성하고 있습니다. 혹여 해당 포스팅에서 잘못된 부분이 있을 경우, 알려주시면 빠르게 수정 조치하도록 하겠습니다. 감사합니다. 목차 플럼 에이전트 생성하기 카프카 기능 구현 01. 플럼 에이전트 생성하기 우선 클라우데라 매니저에서 플럼 - 구성을 클릭한 뒤 맨 아래쪽으로 쭉 내려보자. 플럼의 Agent 이름 그리고 구성파일 영역에 에이전트를 생성해볼 것이다. 에이전트의 이름은 각각 SmartCar Agent와, DriveCarInfo Agent이다. 에이전트가 두 개밖에 없으므로, 한 개의 conf 파일에 두 에이전트를 정의할 것이다. 1-1. SamartCar (배치 로그파일) 에이전트 생성 왜 spooldir 를 사용하는지 등은 수집 기능 요구사항 정..