한소희 개발일지

목차 데이터셋 설명 분석 코드 01. 데이터셋 설명 데이터는 캐글에서 제공하는 고객 구매 데이터를 사용했다. 링크는 아래와 같다. https://www.kaggle.com/vjchoudhary7/customer-segmentation-tutorial-in-python Mall Customer Segmentation Data Market Basket Analysis www.kaggle.com 해당 데이터의 경우, 고객이 특정 몰에서 구매한 데이터 200 raw로 구성돼 있다. 각 칼럼값은 총 4개이며, 컬럼은 아래와 같다. CustomerID (고객ID) Age (나이) Annual Income (k$) (연간 수입) Spending Score (1-100) (지출 지수) 02. 분석 코드 2-1. dat..

우리는 EC2 등 서버에 웹을 올렸을 때, 해당 링크에 접속하기 위해서는 퍼블릭 ip 주소 뒤에 반드시 port 번호를 설정해야 한다. 이는 누구에게는 번거로움이 될 수 있다. 따라서 이를 해결하는 방법에 대해 조금 더 자세히 설명해보려 한다. (이전에 관련 내용을 간략히 설명한 적 있는데, 궁금하면 아래 포스팅을 참고하면 된다.) Django 웹사이트에 AWS RDS (PostgreSQL) 연결 방법 현재 프로젝트를 진행하며 데이터베이스를 PostgreSQL로 지정하기로 결정했다. RDB를 선택한 이유는 아래와 같다. 사용자 데이터 등 데이터 간 관계 정의 open api data의 경우, 고정된 스키마로 스키마 eng-sohee.tistory.com 1. iptables 설정 초기화 우선 이전에 설정..

AWS에 EC2 서버 배포하고 잘 Postgresql 생성도 했는데 왜 인스턴스를 찾을 수 없다고 나오는지 답답했었다 ... 구글링을 해보니, 다른 사람이 내 인스턴스를 사용했을 수도 있다(?)고 하길래 순간 머리로 망치를 한 대 맞은 것 같았지만, 해결 방법은 생각보다 간단했다. https://aws.amazon.com/ko/premiumsupport/knowledge-center/find-ec2-instance/ 특정 EC2 인스턴스 찾기 Amazon Elastic Compute Cloud(Amazon EC2) 인스턴스를 시작했는데 Amazon EC2 콘솔에서 해당 인스턴스를 확인할 수 없습니다. 이 인스턴스는 어디에 있습니까? 다음은 콘솔에서 EC2 인스턴스를 확인하지 못하 aws.amazon.co..

에러 살펴보기 ERROR: value too long for type character varying(76) Call getNextException to see other errors in the batch. 프로젝트 도중 csv 파일을 데이터베이스에 넣어야 했는데, 이때 위와 같은 오류로 데이터가 들어가지 않는다는 이야기를 듣고, 함께 해결에 나섰다! 처음 에러를 봤을 때는, 초기 설정한 스키마의 글자 수 등의 제한에 걸려서 저장이 안되는 줄 알았는데, 전반적으로 TRUNCATE 가 필요한 상황이라는 것을 알았다. 여기서 잠깐! TRUNCATE란? 데이터 테이블은 그대로 남겨놓되, 그 안에 알맹이(인덱스, 스키마, 데이터 등)들을 모두 초기화하는 sql 명령 중 하나다. 그렇다면, TRUNCATE 설정..

Flask 앱의 편리함 때문에, 초기 개발은 Flask 로 수행했지만 (사실 이때까지 배운게 Flask뿐이었음) Django가 더 유동적으로 개발할 수 있다는 장점이 있어, 프로젝트 개선작업은 Django로 하기로 했다. 즉... 그냥 모두 뜯어 고쳐야 한다. 원래도, 초기 개발당시에는, 다소 모르는 내용이 있더라도 완전히 이해하지 않고 프로젝트를 구동시키는 데에 목적이 컸으므로, 완벽하게 이해하며 프로젝트를 수행할 수 있도록 새로 프로젝트를 시작하는 것도 나쁘지 않을 것 같았다. 따라서 나는 Pycharm 을 이용해 Django 프로젝트를 개설했다. 그런데 프로젝트를 한참 수행하던 중, 위와 같은 문제를 맞닥뜨렸다. ❓❗ 에러 살펴보기 ValueError: Field 'found_count' expec..

GCP Bigquery에서 해당 코드를 실행하는 데 아래와 같은 에러가 발생했다. 에러 코드 SELECT count(*) as count, date(_PARTITIONTIME) as partition_date FROM `데이터 보관 경로` WHERE DATE(_PARTITIONTIME) in (SELECT distinct DATE(_PARTITIONTIME) as partitiontime FROM `goodmorning-4f4f0.diff_datalist.diff_currentStreak` order by partitiontime desc limit 7) AND result = 'false' GROUP BY date(_PARTITIONTIME) ORDER BY partition_date ❓❗ 에러 살펴보..

나는 오늘, 하둡을 활용한 스마트카 파일럿 프로젝트를 수행하기 위해 필요한 VM을 생성할 것이다. 앞서, 어떤 데이터셋을 활용해 어떤 레이어를 구축할 지 간단하게 정리한 포스팅이 있는데, 이를 읽어본다면 오늘 포스팅의 내용을 더 수월히 이해할 수 있을 것이다. ⬇ 이전 포스팅 참고 링크 01. 하둡(Hadoop) 활용한 스마트카 파일럿 프로젝트_개요 오늘부터는 대망의, 데이터 엔지니어링 파일럿 프로젝트를 진행 할 것이다! 이번 스마트카 파일럿 프로젝트에 대해 간단히 설명하겠다. 이번 프로젝트는 인프런의 강의를 참고하여, 데이터 수 eng-sohee.tistory.com 그럼 오늘의 포스팅을 시작하도록 하겠다! 목차 VM 통합환경 구성 개요 필요한 설치 프로그램 설명 리눅스 가상머신 설정 01. VM 통합..

목차 Map Map 에러발생 01. Map Map은 파이썬의 내장함수로, 리스트의 요소를 지정된 함수로 처리해주는 함수다. 이는 매우 자주 사용되며, 예시는 아래와 같다. 그런데, 사실 내가 map을 설명하는 이유는 아래 에러설명을 위해서다. (내가 자주 까먹기 때문에...!)예시(아래)와 같이 코드를 작성하면 TypeError가 발생한다. 02. Map 에러발생 ⚠️ TypeError: map() must have at least two arguments. 2-1. 에러발생코드 def solution(num): num_square = list(map(lambda x: x*x, num) ) print(num_square) answer=[] for i in num_square: if i % 2 == 0: ..