한소희 개발일지

  • 홈
  • 태그
  • 방명록

빅데이터 수집 1

07. 플럼(flume)을 통한 빅데이터 수집

안녕하세요 한소희입니다. 공부를 통해 배운 내용을 작성하고 있습니다. 혹여 해당 포스팅에서 잘못된 부분이 있을 경우, 알려주시면 빠르게 수정 조치하도록 하겠습니다. 감사합니다. 앞서 이번 프로젝트에서 우리는 working 파일 밑에 로그 시뮬레이터를 설치했다. draw.io로 그림을 그려보면 아래와 같다. 뭔가 그림이 이상한데 (?) ㅋㅋ 로그 시뮬레이터를 실행하면 거기서 나오는 데이터가, 만들어진 폴더에 각각 저장되는 시스템이다. 배치 로그 데이터는 SmartCar 폴더에, 리얼타임 로그 데이터는 driver-realtime-log에 저장된다. 앞선 포스팅을 보면 이해가 더욱 잘 된다. ⬇ 이전 포스팅 링크 https://eng-sohee.tistory.com/58 03. 로그 시뮬레이터 설치 오늘은 ..

개인(팀) 프로젝트/기타 프로젝트 & 활동 2021.06.17
이전
1
다음
더보기
프로필사진

한소희 개발일지

  • 카테고리 전체보기 (144)
    • 데이터 공부 (72)
      • 데이터베이스 & SQL (18)
      • Python (12)
      • Kubernetes (7)
      • Apache Airflow (11)
      • Kafka (2)
      • Spark (0)
      • 빅데이터 & 하둡 (15)
      • [교육] 기타교육 및 웨비나 (0)
      • [자격증] 빅데이터분석기사 (7)
    • 컴퓨터 사이언스 (CS) (25)
      • 운영체제 (7)
      • 자료구조 및 알고리즘 (10)
      • 네트워크 (2)
      • Docker & Git (6)
    • 개인(팀) 프로젝트 (23)
      • 해상물류 통합 데이터 플랫폼 프로젝트 (6)
      • 기타 프로젝트 & 활동 (10)
      • 유실유기동물 웹사이트 개발 프로젝트 (6)
      • 블록체인 (0)
    • 매일매일 발전일지 (18)

Tag

설치, 에어플로우, Python, MySQL, SQL, 개념, 취준생, 던리스트, 데이터엔지니어, airflow, 스파르타코딩클럽, 파이썬, 에러, 데이터, 운영체제, kubernetes, 해결, 데이터 엔지니어, 오류, 방법,

최근글과 인기글

  • 최근글
  • 인기글

최근댓글

공지사항

페이스북 트위터 플러그인

  • Facebook
  • Twitter

Archives

Calendar

«   2025/05   »
일 월 화 수 목 금 토
1 2 3
4 5 6 7 8 9 10
11 12 13 14 15 16 17
18 19 20 21 22 23 24
25 26 27 28 29 30 31

방문자수Total

  • Today :
  • Yesterday :

Copyright © Kakao Corp. All rights reserved.

티스토리툴바