한소희 개발일지

에러 살펴보기 ERROR: value too long for type character varying(76) Call getNextException to see other errors in the batch. 프로젝트 도중 csv 파일을 데이터베이스에 넣어야 했는데, 이때 위와 같은 오류로 데이터가 들어가지 않는다는 이야기를 듣고, 함께 해결에 나섰다! 처음 에러를 봤을 때는, 초기 설정한 스키마의 글자 수 등의 제한에 걸려서 저장이 안되는 줄 알았는데, 전반적으로 TRUNCATE 가 필요한 상황이라는 것을 알았다. 여기서 잠깐! TRUNCATE란? 데이터 테이블은 그대로 남겨놓되, 그 안에 알맹이(인덱스, 스키마, 데이터 등)들을 모두 초기화하는 sql 명령 중 하나다. 그렇다면, TRUNCATE 설정..

목차 Selenium으로 인식되지 않는 text를 print 하는 방법 동적 테이블 값을 Selenium + BeautifulSoup4 로 출력하는 방법 01. Selenium으로 인식되지 않는 text를 print 하는 방법 나는 이전동안, Selenium을 이용한 동적 사이트 테이블을 크롤링하는 작업을 수행했다. 수행 기록은 아래와 같다. https://eng-sohee.tistory.com/78 07. Selenium - 동적 사이트 테이블 Crawling 목차 크롤링 사용 목적 Selenium 구현 과정 01. 크롤링 사용 목적 우리는 동적 페이지 내 데이터를 실시간 수집을 해와야 한다. 대시보드에 실시간으로 데이터를 띄워주어야 하기 때문이다. 따라서 eng-sohee.tistory.com 그런데..

안녕하세요 한소희입니다. 공부를 통해 배운 내용을 작성하고 있습니다. 혹여 해당 포스팅에서 잘못된 부분이 있을 경우, 알려주시면 빠르게 수정 조치하도록 하겠습니다. 감사합니다. 멘토님으로부터 PSST 기반 사업계획서가 무엇인지 공부해 오라는 과제를 받았다. 유튜브 영상을 기반으로 PSST 사업계획서가 무엇인지 공부해보았고, 해당 게시물에 정리를 해보았다! 목차 PSST란? PSST 사업계획서의 구성 01. PSST란? 1-1. PSST 란? 창업기업들이 성장할 수 있는 아이템을 개발/개선할 수 있는 방법이다. Problem, Solution, Scale-Up, Team의 구조 작성을 원칙으로 한다는 것이 특징이어, 앞 글자를 따와 PSST라고 불린다. Problem: 창업기업이 아이템을 개발하는데 고객기..

목차 크롤링 사용 목적 Selenium 구현 과정 01. 크롤링 사용 목적 우리는 동적 페이지 내 데이터를 실시간 수집을 해와야 한다. 대시보드에 실시간으로 데이터를 띄워주어야 하기 때문이다. 따라서 데이터 크롤링 작업이 필요하다. 동적 페이지란? 같은 URL에 접속해도 정보가 조금씩 달라지는 페이지를 말한다. 대부분의 페이지는 동적 페이지며, 백과사전과 같이 데이터가 수정이 잘 되지 않는 페이지가 정적 페이지다. 1-1. Selenium을 사용한 이유 이때, Selenium과 BeautifulSoup4 중 Selenium을 사용하기로 했다. 왜냐하면, 우리가 크롤링해야 하는 사이트인 Port-Mis는 URL로만 데이터 접근이 어려운 사이트기 때문이다. = 즉, 같은 URL로 접속해도, 입력장치에 의한 ..

나는 해당 프로젝트에서 데이터 엔지니어링을 맡았다. 내가 할 역할은 아래 WBS 중에서도 Data Processing 파트다. (데이터 엔지니어 꿈나무 🙋🏻‍♀️🙋🏻‍♀️) ⬇ 우리 팀의 WBS 링크 https://eng-sohee.tistory.com/50 따라서 오늘, 나는 가장 첫 작업인, 데이터 수집 요구사항 정의를 해보려 한다. 목차 수집 요구사항 수집 파이프라인 01. 수집 요구사항 요구사항 1: 정박 대기시간 예측 모델 요구사항 2: 실시간 선박 위치 좌표+대시보드화 (선박 검색) 요구사항 3: 해양 기상데이터 시각화 요구사항 4: 정박지 예약 현황 공유 요구사항 5: 위의 요구사항을 조금 더 자세히 구체화하여 작성해보았다. 매우 간단한 인터페이스 정의서라고 볼 수 있겠다. 요구사항 수집 구..

안녕하세요 한소희입니다. 공부를 통해 배운 내용을 작성하고 있습니다. 혹여 해당 포스팅에서 잘못된 부분이 있을 경우, 알려주시면 빠르게 수정 조치하도록 하겠습니다. 감사합니다. 00. 프로젝트 투입 나는 지난 3월부터 해상물류 ICT 멘토링에서 수행하는, 해상물류 데이터 대시보드 플랫폼 제작 프로젝트에 투입되어 진행 중이다. 여기서 잠깐 ! 해상물류 ICT 멘토링이란? 기업 현직자 멘토님께서 프로젝트 주제를 지정하여 공고를 내면, 멘티를 희망하는 사람들이 자기소개서를 제출 & 각자의 면접 프로세스를 거쳐 팀원으로 선발되어 연구를 수행. 3월에 팀을 만들어 프로젝트 수행 후, 11월 최종 시상을 진행하며 종료되는 9개월 간 프로젝트. 구체적인 설명은 아래 유튜브 링크를 참고! https://www.yout..