한소희 개발일지

  • 홈
  • 태그
  • 방명록

conn 1

Apache Airflow 처음부터 빌드해보기 + 4

현재까지 진행한 내용을 정리하자면, 우리는 VM 안에 새로운 가상환경을 만들어 airflow를 설치했다. 앞으로 우리는 DAG 파일을 만들거고, 가장 먼저 sqlite 에서 데이터를 출력해와 테이블을 생성할 것이다. 이 작업을 함께 진행해보자. 01. DAG 생성 간단한 DAG를 생성해보겠다. Sqlite에 새로운 Table을 주기적으로 생성하는 task을 만들어 볼 것이다! 앞선 포스팅에서 생성한 dags 폴더 안에, dag명을 딴 py 파일을 생성한 뒤, 위와 같이 작성해준다. 설명은 아래와 같다. from airflow.models import DAG - DAG import from airflow.providers.sqlite.operators.sqlite import SqliteOperator -..

데이터 공부/Apache Airflow 2021.09.24
이전
1
다음
더보기
프로필사진

한소희 개발일지

  • 카테고리 전체보기 (144)
    • 데이터 공부 (72)
      • 데이터베이스 & SQL (18)
      • Python (12)
      • Kubernetes (7)
      • Apache Airflow (11)
      • Kafka (2)
      • Spark (0)
      • 빅데이터 & 하둡 (15)
      • [교육] 기타교육 및 웨비나 (0)
      • [자격증] 빅데이터분석기사 (7)
    • 컴퓨터 사이언스 (CS) (25)
      • 운영체제 (7)
      • 자료구조 및 알고리즘 (10)
      • 네트워크 (2)
      • Docker & Git (6)
    • 개인(팀) 프로젝트 (23)
      • 해상물류 통합 데이터 플랫폼 프로젝트 (6)
      • 기타 프로젝트 & 활동 (10)
      • 유실유기동물 웹사이트 개발 프로젝트 (6)
      • 블록체인 (0)
    • 매일매일 발전일지 (18)

Tag

개념, kubernetes, 스파르타코딩클럽, 던리스트, 설치, 데이터, 해결, airflow, 파이썬, 에어플로우, 오류, 에러, Python, 취준생, 방법, MySQL, 데이터 엔지니어, 운영체제, 데이터엔지니어, SQL,

최근글과 인기글

  • 최근글
  • 인기글

최근댓글

공지사항

페이스북 트위터 플러그인

  • Facebook
  • Twitter

Archives

Calendar

«   2025/05   »
일 월 화 수 목 금 토
1 2 3
4 5 6 7 8 9 10
11 12 13 14 15 16 17
18 19 20 21 22 23 24
25 26 27 28 29 30 31

방문자수Total

  • Today :
  • Yesterday :

Copyright © Kakao Corp. All rights reserved.

티스토리툴바