티스토리

한소희 개발일지

검색하기

블로그 홈

한소희 개발일지

eng-sohee.tistory.com/m

한소희DE 님의 블로그입니다.

구독자: 48

방명록 방문하기

주요 글 목록

데이터허브(Datahub) 구축기 - (3/3) Confluent Kafka 및 DB 연동 과정, 느낀 점 & 마무리 안녕하세요 한소희입니다. 공부를 통해 배운 내용을 작성하고 있습니다. 혹여 해당 포스팅에서 잘못된 부분이 있을 경우, 알려주시면 빠르게 수정 조치하도록 하겠습니다. 감사합니다. 데이터허브 구축기를 작성해 보고자 한다. 목차는 아래와 같으며, 포스팅이 생각보다 길어져서, 몇 개의 글로 나누어 포스팅할 예정이다. 첫 번째 포스팅에서는 데이터허브가 무엇인지 알아보았고 두 번째 포스팅에서는 데이터허브 구축 시 ElasticSearch 구축~연동 과정을 다루었다. 이번 포스팅 또한 두 번째 포스팅에 이어서, 데이터 허브 구축 과정을 포스팅할 생각이다. Confluent Kafka 연동 및 DB 연동, Datahub 구축 과정을 회고하며 포스팅을 마무리할 계획이다. 목차 01. Datahub 02. Datahub .. 공감수 6 댓글수 2 2023. 12. 11.
데이터허브(Datahub) 구축기 - (2/3) ElasticSearch 구축 및 연동 과정 안녕하세요 한소희입니다. 공부를 통해 배운 내용을 작성하고 있습니다. 혹여 해당 포스팅에서 잘못된 부분이 있을 경우, 알려주시면 빠르게 수정 조치하도록 하겠습니다. 감사합니다. 데이터허브 구축기를 작성해 보고자 한다. 목차는 아래와 같으며, 포스팅이 생각보다 길어져서, 몇 개의 글로 나누어 포스팅할 예정이다. 직전 포스팅에서는 데이터허브가 무엇인지 알아보았다면, 이번 포스팅에서는, 데이터 허브 구축 과정을 포스팅할 생각이다. 구축 개요 및 ElasticSearch 구축~연동 과정을 정리 작성하였다. 목차 01. Datahub 02. Datahub 용어 정리 03. Datahub 구축 (1/2) 04. Datahub를 구축하며 느낀 점, 마무리 03-1. Datahub 설치 - 개요 나는 Datahub를 .. 공감수 41 댓글수 45 2023. 11. 25.
데이터허브(Datahub) 구축기 - (1/3) 데이터허브란, 데이터 허브 용어 살펴보기 안녕하세요 한소희입니다. 공부를 통해 배운 내용을 작성하고 있습니다. 혹여 해당 포스팅에서 잘못된 부분이 있을 경우, 알려주시면 빠르게 수정 조치하도록 하겠습니다. 감사합니다. 데이터허브 구축기를 작성해 보고자 한다. 목차는 아래와 같으며, 포스팅이 생각보다 길어져서, 몇 개의 글로 나누어 포스팅할 예정이다. 이번 포스팅에서는, 데이터허브의 설명과 장점, 사용하는 용어를 정리하며 데이터허브가 무엇인지에 대해 작성하였다. 목차 01. Datahub 02. Datahub 용어 정리 03. Datahub 설치 04. Datahub를 구축하며 느낀 점, 마무리 01. Datahub 데이터허브란, 오픈소스 메타데이터 플랫폼이다. Linked In에서 개발되었으며, 데이터를 손쉽게 구성 및 관리할 수 있는 툴이다... 공감수 37 댓글수 48 2023. 11. 22.
Datahub - K8S Replica Set 설정 보호되어 있는 글입니다. 공감수 0 댓글수 0 2023. 11. 8.
[Bigquery 최적화] 구체화된 뷰 (MATERIALIZED VIEW) 테이블에 대하여 빅쿼리( bigquery ) 최적화 방법론을 고민하고 있다. 그러던 중, 예기치 못한 상황에서 'materialized view'에 대해서 알게 되었다. 현재는 view 테이블로 streaming 테이블을 연산하고 있는데, 이를 개선할 수 있지 않을까 싶었다. 결론적으로는, 구체화된 뷰를 결국 도입하진 않았다. 그 생각의 과정과, 도입할 수 없었던 이유 등을 간단히 작성해보려고 한다. 01. MATERIALIZED VIEW란? https://cloud.google.com/bigquery/docs/materialized-views-intro?hl=ko 구체화된 뷰 소개 | BigQuery | Google Cloud BigQuery 구체화된 뷰의 특성, 이점, 제한사항을 설명하고 캐싱, 예약된 쿼리, 표준 .. 공감수 2 댓글수 0 2023. 9. 1.
가장 실용적인 코딩 학습의 시작, 실시간 AI 튜터와 함께하는 '코드프렌즈' 소개 본 리뷰는 '롤로이'로부터 소정의 원고료를 지원받아, 솔직하게 작성한 리뷰입니다. 취미 혹은 진로 탐색을 목적으로 코딩을 처음 시작하는 사람들에게 소개하고 싶은 에듀테크 사이트가 있어서 소개를 해보고자 한다. 바로 코드프렌즈다. 코드프렌즈란, AI 튜터와 도움을 받아 홈페이지나 블로그 등을 개발하면서 코딩의 기초를 학습할 수 있는 서비스다. 01. 게이미피케이션 활용 코딩 학습 내가 이 서비스를 알게 되면서 가장 흥미롭다고 느꼈던 점 중 하나는, 프로덕트를 개발하는 과정에서 학습을 할 수 있다는 점이다. 처음 공부를 할 때, 물론 0부터 천천히 배우는 것이 기초를 탄탄히 할 수 있는 방법이라는 것은 누구나 잘 안다. 하지만, 처음부터 거대한 성벽을 마주하면 쉽사리 흥미가 떨어지기 마련이라고 생각한다. 이.. 공감수 18 댓글수 4 2023. 8. 12.
Airflow XCOM 알아보기 안녕하세요 한소희입니다. 공부를 통해 배운 내용을 작성하고 있습니다. 혹여 해당 포스팅에서 잘못된 부분이 있을 경우, 알려주시면 빠르게 수정 조치하도록 하겠습니다. 01. Airflow XCOM이란? XCOM 은, cross communcation 의 약자로 하나의 DAG 내 task간 데이터를 주고 받고 싶을 때 사용하는 Airflow 기능이다. 이는 적은 양의 데이터에 대해서만 주고받을 때 유용하며, 데이터 프레임과 같은 큰 값을 전달하는 데에 사용하는 것은 적합하지 않다는 특징이 있다. 02. Variable과 XCOM Variable과 XCOM 은 공통점과 차이점이 존재한다. Variable XCOM 공통점 key - value 형식 구성 차이점 전역적 DAG 내에서만 통신 key-value의 형.. 공감수 2 댓글수 8 2023. 7. 16.
[책리뷰] 데이터 과학자 원칙 안녕하세요 한소희입니다. 회사에 들어온 새 책이 마침 '데이터 과학자 원칙'이라고 하길래, 냉큼 빌려왔습니다. 데이터 리더 9인이 말하는 더 나은 데이터 과학자로 살아가는 원칙과 철학, 데이터 과학자 원칙에 대한 리뷰를 해보려고 합니다. 01. 책 소개 이 책은 23년 6월 1일 초판 1쇄 발행된 책으로, 데이터 리더 9인의 철학과 메시지를 담은 책이다. 각 저자가 중요하게 생각하는 내용을 챕터로 다룬 책으로, 어떤 분은 운영 지침을, 어떤 분은 팀워크의 중요성을, 어떤 분은 본질을 언급하시며 독자에게 메시지를 전달한다. 02. 리뷰 가장 인상깊은 키워드 중 하나는 "오컴의 면도날"이다. '상황을 설명하는 여러 모델 중 가장 단순한 모델이 최선이다'라는 의미를 갖고 있는 메시지인데, 결론적으로 나는 이것.. 공감수 3 댓글수 0 2023. 7. 2.
MySQL CDC to Bigquery 환경에서 Soft Delete 를 권장해야 하는 이유 안녕하세요 한소희입니다. 공부를 통해 배운 내용을 작성하고 있습니다. 혹여 해당 포스팅에서 잘못된 부분이 있을 경우, 알려주시면 빠르게 수정 조치하도록 하겠습니다. 목차 소프트 딜리트 vs 하드 딜리트 Mysql CDC CDC와 Delete DataLake DataWarehouse DataLake와 Delete Bigquery와 Delete 01. 소프트 딜리트 vs 하드 딜리트 소프트 딜리트란, UPDATE 명령어를 사용하여 삭제 여부를 알수 있는 컬럼에 데이터가 삭제되었다는 값을 넣어 표현하는 삭제 방법이다. 하드 딜리트란, DELETE 명령어를 사용하여 특정 데이터를 삭제하는 삭제 방법이다. 쿼리로 비교하면 다음과 같다. 아래와 같은, 고객 테이블(테이블명: customer)이 있다고 가정하자. i.. 공감수 1 댓글수 0 2023. 6. 22.
06. 빅데이터 분석 기반의 구축 (마지막 Chapter) 안녕하세요 한소희입니다. 공부를 통해 배운 내용을 작성하고 있습니다. 혹여 해당 포스팅에서 잘못된 부분이 있을 경우, 알려주시면 빠르게 수정 조치하도록 하겠습니다. 감사합니다. 문득, 빅데이터를 지탱하는 기술 이라는 책의 마지막 챕터 포스팅을 하지 않았다는 것을 인지했다. 따라서, 유종의 미를 거두고자(?) 마지막 챕터에 대한 느낀 점을 간단히 정리해보고자 한다. 목차 스키마리스 데이터의 애드 혹 분석 Hadoop에 의한 데이터 파이프라인 워크 플로 관리 도구에 의한 자동화 클라우드 서비스에 의한 데이터 파이프라인 01. 스키마리스 데이터의 애드 혹 분석 해당 챕터에서는, json 에 의한 스키마리스 데이터를 집계/분석하는 로직을 다룬다. 예제 위주로 설명이 되어 있는데, 예제를 직접 따라해보기 보다는 .. 공감수 1 댓글수 1 2023. 6. 18.
WEV2VEC2 튜토리얼을 활용하여, STT 이해해보기 지난 4월 12일, 휴대폰을 두고 화장실에 들어갔다가 갇힌 남성의 사연이 화제였다. 살려달라 외쳤지만 나아질 기미가 보이지 않자, 방 안 휴대폰을 떠올렸다고 한다. 그래서 그는, '하이 빅스비'를 외쳤고, 부모님께 통화연결을 해달라는 음성인식에 성공하여 화장실에서 탈출할 수 있었다. 뉴스 출처: https://www.hankyung.com/society/article/2023041213427 이 기사를 접한 뒤, 문득 궁금해졌다. 빅스비는 어떻게 음성을 인식한건지, 그리고 음성 데이터는 어떻게 수집&처리될지 알고 싶어졌다. 그래서 난, 지난 달 지인과의 대화를 통해 알게 된 STT를 떠올렸고, 해당 STT 튜토리얼을 직접 시도해 보았다. 목차 STT의 원리 STT 튜토리얼 한국어 음성인식에 대하여 01... 공감수 5 댓글수 0 2023. 4. 21.
Airflow를 helm으로 배포해보기 - (2) ** Airflow 관련 업데이트 소식 지난 4월 1일, Airflow에서 2.5.3 버전을 release 했다. 중요한 변화는 없었지만, 크고 작은 버그들이 개선됐다고 한다. 참고문서: Airflow Release Notes https://airflow.apache.org/docs/apache-airflow/stable/release_notes.html#airflow-2-5-3-2023-04-01 Release Notes — Airflow Documentation airflow.apache.org 지난 포스팅에 이어서, GKE 환경의 Airflow를 처음부터 배포해 보도록 하겠다. 01. DB 생성 Airflow 를 처리하기 위해서는 postgreSQL 서버가 필요하다. 간단한 테스트 용 postgre.. 공감수 2 댓글수 0 2023. 4. 8.
Airflow를 helm으로 배포해보기 - (1) 사이드카 패턴 오늘 포스팅에서는, 직접적인 helm 배포를 진행하기 전, 알아둬야 할 개념 중 하나인 사이드카 패턴에 대해 다뤄보고자 한다. 01. 사이드카 패턴이란 사이드카 패턴이란, 어플리케이션 컨테이너와 독립적으로 동작하는 별도의 컨테이너를 붙이는 패턴을 말한다. 사이드카를 형상화(?) 하면 이렇다. 이처럼, 메인 오토바이에 사이드카를 붙인 형태와 같은 패턴이 사이드카다. 이렇게 오토바이에 사이드카를 붙여 달릴 수도 있고 사이드카를 떼어서도 달릴 수 있는 형태처럼, 기본 컨테이너와 함께 하나의 컨테이너가 함께 실행될 수 있는 컨테이너 패턴을 짜는 것이 사이드카 패턴이다. 즉 pod 안에 두 개의 컨테이너가 띄워져 있는 형국인데, 이때 pod안의 컨테이너들은 동일한 volumn과 연결이 가능하다. 또한, 하나의 p.. 공감수 2 댓글수 0 2023. 3. 12.
‘글또'에 합류했습니다 01. 글또에 합류했다 글또('글쓰는 또라이가 세상을 바꾼다'라는 슬로건을 가진 글 쓰는 개발자 모임, 링크) 8기 모집 소식을 보고, 재빠르게 지원을 했다. 이전에 다른 데이터 엔지니어 분을 통해 이 모임을 알게 됐는데, 그 이후로 글또에 조인하고 싶어서 운영자님 인스타그램을 팔로우하며 모집 공고가 뜨길 기다려왔다. 내가 왜 글또를 하고 싶었냐면, '유사한 직군에 종사하시는 분들과 ‘글’로써 인사이트를 서로 공유하는 모임, 그리고 그것을 통해 개개인의 통찰을 들여다보는 장' 같아 보였기 때문이다. 나는 그리 대외적인 활동을 하지도 않거니와 나름 내성적이기 때문에, (같은 회사 동료 분들을 제외한) 데이터 엔지니어분들과 소통할 기회가 많이 없었다. 같은 직군의 분들과 양방향적 소통을 해보고 싶다는 니즈가.. 공감수 7 댓글수 0 2023. 2. 12.
파이썬 클린코드 3 - 좋은 코드의 일반적인 특징 (1/2) 요즘 파이썬 클린코드(마리아노 아나야 지음)라는 책을 읽고 있다. 한 챕터씩, 책을 읽으며 내가 기억에 남는 점 등에 대한 정리를 해보도록 하겠다. 목차 1. 계약에 의한 디자인 2. 방어적 프로그래밍 3. 관심사의 분리 좋은 코드의 특징 중 3가지를 이번 포스팅에서 정리를 해보고자 한다. 1. 계약에 의한 디자인 계약이란, 소프트웨어 컴포넌트 간 통신 중 지켜야 할 규칙들을 말한다. 여기서 계약에 의한 디자인이란, 계약을 기반으로 코드를 디자인해야 하는 것을 말한다. 이는 런타임 오류 발생 시 코드의 어떤 부분이 계약 파손 됐는지 명확히 알 수 있도록 돕는다. 이외 장단점을 정리하면 아래와 같다. 계약에 의한 디자인의 장점 사전조건 검증, 사후조건 검증에서 실패하는 오류 발생 시 오류를 쉽게 찾음 책임.. 공감수 0 댓글수 0 2023. 1. 31.
개발자 선물로 추천, 도커(Docker) 컨테이너 각티슈 케이스 감사하게도 인카토스 측으로부터 도커 컨테이너 각티슈 케이스 협찬을 받게 됐다. 결론부터 말하자면, 실물을 본 주위 개발자 친구들이 다 탐냈다. 컨테이너 판넬을 조립하면 이와 같이 도커 컨테이너 모양으로 완성이 된다. 우선 제품을 다 조립했을 때 처음 느낀 장점은 아래와 같이, 크게 세가지였다. 탄탄하다, 내구성이 좋아보인다. 프린팅이 선명하고, 프린팅 퀄리티가 괜찮다. 깔끔한 디자인이어서 책상 인테리어로도 좋다. 1. 탄탄하다, 내구성이 좋아보인다. 이 각티슈 케이스는, 판넬을 하나씩 조립하는 구조다. 그래서인지, 조립하고 나면 탄탄한 느낌이다. 2. 프린팅이 선명하고 프린팅 퀄리티가 괜찮다. 전반적으로 프린팅이 깔끔하고 선명하다. 특히 놀랐던 건, 측면의 프린팅조차 디테일이 있다. 3. 깔끔한 디자인이.. 공감수 0 댓글수 0 2023. 1. 28.
파이썬 클린 코드 (2) - 파이썬스러운 코드 (1/2) 요즘 파이썬 클린코드(마리아노 아나야 지음) 라는 책을 읽고 있다. 한 챕터씩, 책을 읽으며 내가 이해한 대로 요약 및 정리를 해보도록 하겠다. 목차 1. '파이썬' 스러운 코드란? 2. 파이썬스러운 코드 1 - 인덱스와 슬라이스 2-1. 슬라이스(slice)의 동작 원리 2-2. 자체 시퀀스를 생성하는 방법 3. 파이썬스러운 코드 2 - 컨텍스트 관리자 3-1. 파이썬 스러운 방법으로 컨텍스트 관리자 구현 방법 (1) with 3-2. 파이썬 스러운 방법으로 컨텍스트 관리자 구현 방법 (2) __enter__, __exit__ 매직 메소드 구현 3-3. 파이썬 스러운 방법으로 컨텍스트 관리자 구현 방법 (3) decorator 활용 1.' 파이썬'스러운 코드란? 모든 언어는 해당 언어로 작업을 처리하는.. 공감수 0 댓글수 0 2023. 1. 26.
파이썬 클린코드 (1) - 코드 포매팅과 도구 요즘 파이썬 클린코드(마리아노 아나야 지음) 라는 책을 읽고 있다. 한 챕터씩, 책을 읽으며 내가 이해한 대로 요약 및 정리를 해보도록 하겠다. 목차 1. 클린코드란? 1-1. 클린코드의 중요성 1-2. 클린코드를 위한 코드 포맷팅 2. 클린 코드를 위한 방법 - 문서화 2-1. Docstring 2-2. Annotation 3. Annotation은 Docstring을 대체하는 것일까? 4. 클린 코드를 위한 방법 - 도구 설정 5. 1장 요약 1. 클린코드란? 코딩 표준, 포맷팅, 린팅 도구나 다른 검사 도구를 사용한 코드 레이아웃 설정과 같은 것 그 이상을 의미한다. 즉, 품질 좋은 소프트웨어를 개발하기 위해 견고하고 유지보수가 쉬운 시스템을 만들기 위한 요소다. 1-1. 클린코드의 중요성 소프트웨.. 공감수 1 댓글수 0 2023. 1. 25.
제 5회 빅데이터분석기사 실기 시험 후기 입사 전, 빅데이터분석기사 필기 시험을 합격해뒀었다. 곧이어 입사를 했고, 실기 시험을 잠시 잊고 살았다. 그러던 중, 이번 실기 시험이 필기 유효기간이 만료되기 전 마지막 시험이어서, 시험을 준비하게 됐다. 시험 정보 시험은 아래와 같이 세 가지 유형으로 출제됐다. 1. 단답형 2. 작업유형 1 - 3문제 3. 작업유형 2 - 1문제 준비물은 수험표와 신분증을 지참해야 했는데, 수험표가 없어도 시험을 볼 수 있었다. 1-1. 단답형 한번쯤 들어본 개념이 출제됨 이전 대비 통계 기반 계산 문제가 더 늘었다. 단답형의 경우, 와이즈인컴퍼니에서 출판한 '공개적 빅데이터분석기사 실기' 책을 참고했다. 절반 이상은 해당 책에서 소개한 단답형에서 출제된 것 같다. 그리고, 평소 중요하다고 생각했던 개념들을 블로그.. 공감수 2 댓글수 0 2022. 12. 4.
빅데이터분석기사 실기 단답형 대비 공부를 통해 배운 내용을 작성하고 있습니다. 혹여 해당 포스팅에서 잘못된 부분이 있을 경우, 알려주시면 빠르게 수정하도록 하겠습니다. 현재 빅데이터분석기사 실기를 준비하고 있다. 작업형은 그럭저럭 예상이 가긴 하는데, 단답형이 어떤 것이 나올지 감이 안와서 정리를 하고 있다. 누군가에게 도움이 되길 바라며 공유를 해본다 ..! 나는 이것을 gsheet 로 옮겨서, 퀴즐렛처럼 만들어 활용했다. 최초의 인공신경망 입력층과 출력층으로만 구성되어 있고, XOR 문제 해결은 불가능함 퍼셉트론 출력층에서 계산한 값을 입력층으로 역으로 전달하며 가중치와 편향을 계산하는 알고리즘 역전파 알고리즘 대뇌피질 시각피질의 학습 과정을 모델화한 인공신경망 자율 학습을 통한 클러스터링이 가능 자기조직화지도 앙상블 기법의 일종, .. 공감수 1 댓글수 0 2022. 12. 1.
MySQL Role 권한 설정 MySQL 8 버전에서 지원하는 role 기능에 대해서 소개해보고자 한다. 1. MySQL Role 이란? 2. MySQL Role 기본 쿼리 3. 조건 별 Role 권한 할당 1. MySQL Role 이란? 말 그대로 역할을 의미한다. 더 풀어서 설명하자면, 권한을 모아 둔 역할이다. 마치 '학생은 다른 학생들의 개인 정보를 볼 수 없다.', '선생님은 본인 반에 한하여 학생 정보를 볼 수 있다.'와 같이, 각자의 role에 맞는 역할이 있는 것과 같다. 이를 통해 집합에 대한 권한을 한번에 설정 및 관리할 수 있으므로, 사용자에 대한 권한 관리 및 운영이 더욱 수월해지게 된다는 장점이 있다. 1-1. Role 생성 순서 및 구조 즉, role 을 생성하고 & role에 권한을 할당하고 & 이로써 특정.. 공감수 0 댓글수 0 2022. 10. 30.
Airflow Helm 배포 - 설치하기 공부를 통해 배운 내용을 작성하고 있습니다. 혹여 해당 포스팅에서 잘못된 부분이 있을 경우, 알려주시면 빠르게 수정 조치하도록 하겠습니다. 이전 포스팅을 통해 Helm 에 대해서 알아보았다면, 이제 직접 실습을 해 보겠다. (이전 포스팅 링크: https://eng-sohee.tistory.com/161) Airflow Helm 배포 - Helm 과 Chart 를 알아보기 Kubernetes 환경에서 Airflow를 운영할 때, 일반적으로 Helm 차트를 이용하여 배포 및 운영을 한다. 이유는, Airflow 에서 제공하는 공식 Helm 차트를 제공하기 때문이며, 이를 통해 특정 클라우드 제공 업 eng-sohee.tistory.com 목차 1. Helm 설치 2. Helm 레포지토리 추가 3. valu.. 공감수 1 댓글수 0 2022. 10. 22.
Airflow Helm 배포 - Helm 과 Chart 를 알아보기 공부를 통해 배운 내용을 작성하고 있습니다. 혹여 해당 포스팅에서 잘못된 부분이 있을 경우, 알려주시면 빠르게 수정 조치하도록 하겠습니다. Kubernetes 환경에서 Airflow를 운영할 때, 일반적으로 Helm 차트를 이용하여 배포 및 운영을 한다. 이유는, Airflow 에서 제공하는 공식 Helm 차트를 제공하기 때문이며, 이를 통해 특정 클라우드 제공 업체에 얽매이지 않고 Airflow를 운영할 수 있다. Helm 의 장점 Helm 을 사용하면, 복잡한 쿠버네티스 기반의 애플리케이션을 쉽게 설치 가능하다. 설치뿐만 아니라, 업데이트도 간결하다. helm 차트로 하나로 묶여 있다 보니, 여러 리소스가 묶인 복잡한 소프트웨어를 동시에 관리하기 수월하여 관리가 쉽다. Helm의 단점 하지만 Helm.. 공감수 0 댓글수 0 2022. 10. 22.
Python 클린 코드(Clean Code) 작성 방법 정리 및 고찰 (1) 더 나은 파이썬 코드를 작성하기 위한 11가지 팁과 요령이라는 유튜브를 시청했다. 시청한 내용에 대해서 정리를 해보고자 한다. 1. range(len(x)) 를 enumerate 로 변경하자. 만약 idx와 item 으로 모두 추적할 경우, enumerate 를 사용하는 것이 간결하고 좋다. range를 쓰면 len 함수를 추가로 불러와야 하고, 각 원소의 자료구조의 인덱스로 직접 접근해야 한다. 하지만 enumerate는 인덱스와 item을 하나의 튜플 단위로 묶어 출력하기 때문에, 훨씬 pythonic 하다. 변경 전 코드 data = [1,2,3,4] for i in range(len(data)): if data[i] 공감수 0 댓글수 1 2022. 9. 6.
스트리밍 데이터 기반 AI 모델 처리에 대한 고민 (1) 람다 아키텍처 활용 공부를 통해 배운 내용을 작성하고 있습니다. 혹여 해당 포스팅에서 잘못된 부분이 있을 경우, 알려주시면 빠르게 수정 조치하도록 하겠습니다. 데이터의 변경사항이 있을 때마다, 머신러닝 알고리즘을 돌리면 어떻게 될까? 매우 비효율적일 것이다. 그렇다고 1일 1회 정기 배치 업데이트를 하자니, 데이터의 변경 사항이 반영되지 않은 머신러닝 알고리즘을 쓸 수없는 환경일 수 있다. 이를 해결하기 위한 방법으로, 람다 아키텍처를 활용해보면 어떨까 하는 생각이 들었다. 요즘 개발하고 있는 머신러닝 모델은, 텍스트 벡터라이즈와 시밀러리티 연산이 필요하다. 따라서 만약 기존에 training 되지 않은 스트림 데이터가 카프카 컨슈머(Kafka Consumer)를 통해 인입되면, 머신러닝 알고리즘을 다시 돌려서 벡터라이즈하.. 공감수 0 댓글수 0 2022. 9. 4.
MySQL 의 UPSERT 쿼리 공부를 통해 배운 내용을 작성하고 있습니다. 혹여 해당 포스팅에서 잘못된 부분이 있을 경우, 알려주시면 빠르게 수정 조치하도록 하겠습니다. MySQL 쿼리는 UPSERT 명령어가 별도로 존재하지 않는다. 하지만 INSERT ... ON DUPLICATE KEY UPDATE 문을 통해 UPSERT 문을 구현할 수 있다. 나처럼 UPSERT 쿼리에 대해 익숙하지 않은 분들을 위해, 구현하면서 배운 몇 가지 사항을 정리해보려고 한다. 목차 MySQL 의 UPSERT 문 UNIQUE KEY vs PRIMARY KEY CREATE DATE, UPDATE DATE 컬럼 설정 01. MySQL 의 UPSERT 문 UPSERT 란, UNIQUE 인덱스 또는 PRIMARY KEY 와 동일한 값이 있는 데이터가 기존에 .. 공감수 0 댓글수 0 2022. 9. 1.
쿠버네티스 서비스 1. 서비스란? 변하지 않는 IP 주소와 포트를 제공하는 리소스다. Pod가 죽어버리는 경우, 새 IP가 할당되며 진입점이 변경되는데, 이럴 때도 서비스를 이용해 해당 IP및 port 로 원하는 Pod 중 하나로 접근이 가능하도록 사용하는 리소스를 의미한다. 2. 명령어 (이후 나오는 명령어의 출처는 https://collabnix.github.io/kubelabs/Services101/#deploying--a-kubernetes-service 에서 주요 명령어 위주로 스크랩하였다.) 배포하는 방법은 아래와 같다. kubectl apply -f nginx-svc.yaml 서비스 정보 확인 (service 의 약어: svc) 하는 방법이다. kubectl get svc my-nginx 서비스 세부정보 확인.. 공감수 0 댓글수 0 2022. 7. 26.
제 45회 SQLD (국가공인 SQL 개발자 자격증) 합격 후기 지난 5월, 제 45회 SQLD 자격증 시험을 봤다. 한 달이 지난 6월 말, 자격증 결과가 나왔고, 합격을 했다. 오늘은 SQLD 자격증에 대한 후기를 작성해보려고 한다. SQLD란?데이터베이스와 데이터 모델링에 대한 지식을 바탕으로 응용 소프트웨어를 개발하면서 데이터를 조작하고 추출하는데 있어서 정확하고 최적의 성능을 발휘하는 SQL을 작성할 수 있는 개발자를 검증하는 시험을 의미한다. (출처: 데이터자격시험 사이트) 관련 자격증으로는 SQLD, SQLP 라는 두 가지 자격증이 존재하며, SQLD는 SQLP 보다는 난이도가 낮지만, 최근에는 점차 난이도가 올라가는 추세라고 한다(취득하고자 하는 사람들이 많아져서 그런 것 같다고 추측된다). 자격 요건 및 커트라인 SQLP 자격증은 응시 자격이 있는 반.. 공감수 2 댓글수 0 2022. 7. 3.
Mac M1에서 빌드한 이미지 - exec format error 해결 방법 배경 및 이슈 Logstash에 대한 도커 이미지를 빌드한 뒤, 쿠버네티스를 통해 deploy하려고 하였다. 이미지 빌드/푸시 시 에러가 뜨지 않았기 때문에 문제가 없을 것이라고 생각했는데, pod 가 제대로 실행되지 않아 로그를 살펴보니 아래와 같은 에러가 발생했다. standard_init_linux.go:228: exec user process caused: exec format error 원인 구글링 결과 이 원인은 매우 간단했다. 바로 m1 의 docker build image 기본 설정이 arm64이기 때문에, 포맷이 맞지 않아 발생한 것. 실제로 내가 빌드했던 이미지의 아키텍처 설정이 arm64인지 확인하기 위해서는 docker inspect 로 알 수 있다. docker inspect 그 .. 공감수 1 댓글수 0 2022. 6. 14.
ECK error 원인 및 해결 방법 - elasticsearch status 가 unknown, kibana status 가 red & pod running 0/1 일 경우 ECK 를 이용하여, ELK 프로세스를 쿠버네티스 환경으로 옮겨주는 과정에서 에러 몇 가지가 발생했다. 그중, 아래 에러에 대한 해결 과정을 포스팅한다. 상태 ECK elasticsearch 의 status는 unknown ECK kibana 의 status 가 red, pod 의 running 상태가 0/1 kibana에서 해당 에러 발생 Readiness probe failed: net/http: request canceled while waiting for connection (Client.Timeout exceeded while awaiting headers). Readiness probe failed: HTTP probe failed with statuscode: 503 01. 개요 ECK 를 .. 공감수 0 댓글수 0 2022. 6. 13.

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.