한소희 개발일지

현재까지 진행한 내용을 정리하자면, 우리는 VM 안에 새로운 가상환경을 만들어 airflow를 설치했다. 앞으로 우리는 DAG 파일을 만들거고, 가장 먼저 sqlite 에서 데이터를 출력해와 테이블을 생성할 것이다. 이 작업을 함께 진행해보자. 01. DAG 생성 간단한 DAG를 생성해보겠다. Sqlite에 새로운 Table을 주기적으로 생성하는 task을 만들어 볼 것이다! 앞선 포스팅에서 생성한 dags 폴더 안에, dag명을 딴 py 파일을 생성한 뒤, 위와 같이 작성해준다. 설명은 아래와 같다. from airflow.models import DAG - DAG import from airflow.providers.sqlite.operators.sqlite import SqliteOperator -..

목차 DAG 파일 생성 후 Airflow 실행 GCP(구글 클라우드 플랫폼) - Airflow 연동 01. DAG 파일 생성 후 Airflow 실행 우선적으로, docker를 연다. 이미 ※ 첫 번째 포스팅에서 컨테이너를 생성했으므로, 컨테이너를 새로 시작할 땐 시작(start)만 해주면 된다. ※ 첫 번째 포스팅 링크 docker start airflow_v1 Vim과 Procps를 설치해보자. 처음 받은 이미지에는, vi로 파일을 수정할 수 없다. 왜냐하면 위와 같은 파일이 설치가 되어있지 않기 때문이다. 또한 netstate로 네트워크 내역을 확인할 수 있도록 필요한 소프트웨어를 설치해준다. root로 접속해서 설치한다. docker exec -u root -ti airflow_v1 /bin/bas..

이번 시간에, 나는 hello 문구를 출력하는 이미지를 생성하는 방법을 공부해보았다. 목차 Docker File 만들기 Docker File을 Image로 생성하기 01. Docker File 만들기 Docker Image를 생성하기 위해서는 Image가 될 File, 즉 Docker File을 만들어 주어야 한다. 우리는 생성한 Docker File을 이미지로써 만들어 서버에 저장할 것이다. 따라서 가장 먼저, Docker File을 만드는 방법을 알아보도록 하자. Docker File 생성 순서 1. 베이스이미지를 명시해준다. 2. 추가적으로 필요한 파일을 다운받기 위한 몇가지 명령어를 명시한다. (위 1,2 두가지는 파일 스냅샷에 해당한다.) 3. 컨테이너 시작시 실행될명령어를 명시해준다. 🔥 베이..

안녕하세요 한소희입니다. 공부를 통해 배운 내용을 작성하고 있습니다. 혹여 해당 포스팅에서 잘못된 부분이 있을 경우, 알려주시면 빠르게 수정 조치하도록 하겠습니다. 감사합니다. 목차 플럼 에이전트 생성하기 카프카 기능 구현 01. 플럼 에이전트 생성하기 우선 클라우데라 매니저에서 플럼 - 구성을 클릭한 뒤 맨 아래쪽으로 쭉 내려보자. 플럼의 Agent 이름 그리고 구성파일 영역에 에이전트를 생성해볼 것이다. 에이전트의 이름은 각각 SmartCar Agent와, DriveCarInfo Agent이다. 에이전트가 두 개밖에 없으므로, 한 개의 conf 파일에 두 에이전트를 정의할 것이다. 1-1. SamartCar (배치 로그파일) 에이전트 생성 왜 spooldir 를 사용하는지 등은 수집 기능 요구사항 정..

오늘은 우리의 프로젝트 수집 요구사항을 구체적으로 정의해보고, 수집에 필요한 프로그램 중 HDFS와 주키퍼를 설치해보는 실습을 해볼 것이다. 그리고, 간단한 HDFS와 주키퍼 실행을 공부해볼 것이다. 목차 수집 요구사항 정의 HDFS와 주키퍼 설치 HDFS와 주키퍼 실행 01. 수집 요구사항 정의 앞서 포스팅한 프로젝트 개요에서도, 빅데이터 수집 요구사항을 정의했었다. 그 요구사항을 보다 더 자세히 정의해 볼 것이다. 우선 요구사항을 크게 두 가지로 정의할 수 있다. 요구사항 1: 차량의 다양한 장치로부터 발생하는 로그 파일을 수집해서 기능별 상태를 점검 요구사항 2: 운전자의 운행 정보가 담긴 로그를 실시간으로 수집해서 주행 패턴을 분석 해당 요구사항을 구체화해보겠다. 수집 요구사항 구체화 분석 및 해..