한소희 개발일지

안녕하세요 한소희입니다. 공부를 통해 배운 내용을 작성하고 있습니다. 혹여 해당 포스팅에서 잘못된 부분이 있을 경우, 알려주시면 빠르게 수정 조치하도록 하겠습니다. 감사합니다. 워크플로의 관리는 배치 수집에 반드시 필요하다. 나는 현재 기업 협업 프로젝트를 하고 있는데, 이 프로젝트에서도 워크플로 관리의 필요성을 여실히 느꼈다. 따라서 '워크플로 관리'와 '데이터 플로우'에 대해 자세히 공부해보려고 한다. 목차 워크플로 관리 배치형의 데이터 플로우 스트리밍 형의 데이터 플로우 01. 워크플로 관리 워크플로란, 작업 절차를 말한다. 1-1. 워크플로 관리가 필요한 이유 우리는 정기적/반복적 배치 처리의 상황에서 워크 플로우가 존재한다. 데이터 수집은 하나의 명령으로만 생성되는 것이 아니기 때문이다. 이때,..

01. Airflow란 무엇인가? Airflow는 에어비앤비에서 개발한 워크플로우 스케줄링 및 모니터링 플랫폼이다. 이는 동작 순서 및 방식과 같은 파이프라인을 파이썬 코드를 이용해 구성하기 때문에 동적인 구성이 가능하다. 또한 분산구조와 메시 지큐를 이용해 많은 수의 워커 간 협업을 지원하고 스케일 아웃이 가능하다. 1-1. Ariflow의 아키텍처 스케줄러 - 브로커 & 메타 DB - 여러 개의 워커 1. 스케줄러: 실행 주기가 되면 작업을 생성하고, 의존 작업이 모두 성공하면 브로커에게 넘긴다. 2. 브로커: 실행 가능한 작업(워커)들이 들어가 있는 공간 3. 워커: 실제 작업을 진행하는 주체 4. DAG, Task 등이 정의되어 있다. 1-2. Airflow를 왜 사용해야 하는가? 이는 ※전일 회..

목차 1. 운영체제 정의 및 기능 2. 전통적인 컴퓨터 시스템 2-1. 폰 노이만 아키텍처 (insruction cycle) 3. 저장 시스템 4. 컴퓨터 시스템 구성 5. 운영체제의 2가지 듀얼 모드 6. 현대 컴퓨터 시스템 7. 컴퓨팅 환경 1. 운영체제 정의 및 기능 하드웨어를 운영하는 시스템 어플리케이션, 유저, 하드웨어를 연결하는 시스템 항상 running하는 시스템 kernel에서 시스템과 어플리케이션 간 인터페이스 제공 2. 전통적인 컴퓨터 시스템 CPU, Bus 로 구성되어 있음. (Bus를 통해 RAM, USB Controller, Disk Controller 등과 연결되어 있음) 1. 부트스트랩: 발을 끼워 넣으면 신발이 쏙 들어가듯, CPU로 Memory..