한소희 개발일지

  • 홈
  • 태그
  • 방명록

xcom_push 1

Airflow XCOM 알아보기

안녕하세요 한소희입니다. 공부를 통해 배운 내용을 작성하고 있습니다. 혹여 해당 포스팅에서 잘못된 부분이 있을 경우, 알려주시면 빠르게 수정 조치하도록 하겠습니다. 01. Airflow XCOM이란? XCOM 은, cross communcation 의 약자로 하나의 DAG 내 task간 데이터를 주고 받고 싶을 때 사용하는 Airflow 기능이다. 이는 적은 양의 데이터에 대해서만 주고받을 때 유용하며, 데이터 프레임과 같은 큰 값을 전달하는 데에 사용하는 것은 적합하지 않다는 특징이 있다. 02. Variable과 XCOM Variable과 XCOM 은 공통점과 차이점이 존재한다. Variable XCOM 공통점 key - value 형식 구성 차이점 전역적 DAG 내에서만 통신 key-value의 형..

데이터 공부/Apache Airflow 2023.07.16
이전
1
다음
프로필사진

한소희 개발일지

  • 카테고리 전체보기 (144)
    • 데이터 공부 (72)
      • 데이터베이스 & SQL (18)
      • Python (12)
      • Kubernetes (7)
      • Apache Airflow (11)
      • Kafka (2)
      • Spark (0)
      • 빅데이터 & 하둡 (15)
      • [교육] 기타교육 및 웨비나 (0)
      • [자격증] 빅데이터분석기사 (7)
    • 컴퓨터 사이언스 (CS) (25)
      • 운영체제 (7)
      • 자료구조 및 알고리즘 (10)
      • 네트워크 (2)
      • Docker & Git (6)
    • 개인(팀) 프로젝트 (23)
      • 해상물류 통합 데이터 플랫폼 프로젝트 (6)
      • 기타 프로젝트 & 활동 (10)
      • 유실유기동물 웹사이트 개발 프로젝트 (6)
      • 블록체인 (0)
    • 매일매일 발전일지 (18)

Tag

운영체제, 취준생, 개념, 데이터 엔지니어, 데이터, MySQL, 던리스트, SQL, airflow, Python, 방법, 에어플로우, kubernetes, 오류, 에러, 파이썬, 데이터엔지니어, 스파르타코딩클럽, 설치, 해결,

최근글과 인기글

  • 최근글
  • 인기글

최근댓글

공지사항

페이스북 트위터 플러그인

  • Facebook
  • Twitter

Archives

Calendar

  2025. 05  
일 월 화 수 목 금 토
1 2 3
4 5 6 7 8 9 10
11 12 13 14 15 16 17
18 19 20 21 22 23 24
25 26 27 28 29 30 31

방문자수Total

  • Today :
  • Yesterday :

Copyright © Kakao Corp. All rights reserved.

티스토리툴바

단축키

내 블로그

내 블로그 - 관리자 홈 전환
Q
Q
새 글 쓰기
W
W

블로그 게시글

글 수정 (권한 있는 경우)
E
E
댓글 영역으로 이동
C
C

모든 영역

이 페이지의 URL 복사
S
S
맨 위로 이동
T
T
티스토리 홈 이동
H
H
단축키 안내
Shift + /
⇧ + /

* 단축키는 한글/영문 대소문자로 이용 가능하며, 티스토리 기본 도메인에서만 동작합니다.