한소희 개발일지

  • 홈
  • 태그
  • 방명록

데이터 엔지니어링 1

06. 플럼과 카프카 기능 구현 방법

안녕하세요 한소희입니다. 공부를 통해 배운 내용을 작성하고 있습니다. 혹여 해당 포스팅에서 잘못된 부분이 있을 경우, 알려주시면 빠르게 수정 조치하도록 하겠습니다. 감사합니다. 목차 플럼 에이전트 생성하기 카프카 기능 구현 01. 플럼 에이전트 생성하기 우선 클라우데라 매니저에서 플럼 - 구성을 클릭한 뒤 맨 아래쪽으로 쭉 내려보자. 플럼의 Agent 이름 그리고 구성파일 영역에 에이전트를 생성해볼 것이다. 에이전트의 이름은 각각 SmartCar Agent와, DriveCarInfo Agent이다. 에이전트가 두 개밖에 없으므로, 한 개의 conf 파일에 두 에이전트를 정의할 것이다. 1-1. SamartCar (배치 로그파일) 에이전트 생성 왜 spooldir 를 사용하는지 등은 수집 기능 요구사항 정..

개인(팀) 프로젝트/기타 프로젝트 & 활동 2021.06.17
이전
1
다음
더보기
프로필사진

한소희 개발일지

  • 카테고리 전체보기 (144)
    • 데이터 공부 (72)
      • 데이터베이스 & SQL (18)
      • Python (12)
      • Kubernetes (7)
      • Apache Airflow (11)
      • Kafka (2)
      • Spark (0)
      • 빅데이터 & 하둡 (15)
      • [교육] 기타교육 및 웨비나 (0)
      • [자격증] 빅데이터분석기사 (7)
    • 컴퓨터 사이언스 (CS) (25)
      • 운영체제 (7)
      • 자료구조 및 알고리즘 (10)
      • 네트워크 (2)
      • Docker & Git (6)
    • 개인(팀) 프로젝트 (23)
      • 해상물류 통합 데이터 플랫폼 프로젝트 (6)
      • 기타 프로젝트 & 활동 (10)
      • 유실유기동물 웹사이트 개발 프로젝트 (6)
      • 블록체인 (0)
    • 매일매일 발전일지 (18)

Tag

던리스트, SQL, 해결, 데이터, 설치, 오류, 데이터엔지니어, airflow, Python, 데이터 엔지니어, kubernetes, 개념, 스파르타코딩클럽, 운영체제, 에러, 방법, 파이썬, 취준생, MySQL, 에어플로우,

최근글과 인기글

  • 최근글
  • 인기글

최근댓글

공지사항

페이스북 트위터 플러그인

  • Facebook
  • Twitter

Archives

Calendar

«   2025/05   »
일 월 화 수 목 금 토
1 2 3
4 5 6 7 8 9 10
11 12 13 14 15 16 17
18 19 20 21 22 23 24
25 26 27 28 29 30 31

방문자수Total

  • Today :
  • Yesterday :

Copyright © Kakao Corp. All rights reserved.

티스토리툴바