한소희 개발일지

목차 데이터셋 설명 분석 코드 01. 데이터셋 설명 데이터는 캐글에서 제공하는 고객 구매 데이터를 사용했다. 링크는 아래와 같다. https://www.kaggle.com/vjchoudhary7/customer-segmentation-tutorial-in-python Mall Customer Segmentation Data Market Basket Analysis www.kaggle.com 해당 데이터의 경우, 고객이 특정 몰에서 구매한 데이터 200 raw로 구성돼 있다. 각 칼럼값은 총 4개이며, 컬럼은 아래와 같다. CustomerID (고객ID) Age (나이) Annual Income (k$) (연간 수입) Spending Score (1-100) (지출 지수) 02. 분석 코드 2-1. dat..

목차 네트워크란? 네트워크의 분류 네트워크의 통신 방식 01. 네트워크란? 노드들이 데이터를 공유할 수 있게 하는 디지털 전기통신망의 하나. 즉, 연결되어있는 통신망이라 이 안에서 데이터를 주고 받는다. 인터넷이란? 문서, 그림, 영상 등을 주고받게 해주게 전 세계를 연결하는 가장 큰 네트워크. www는 인터넷인가? 아니다. www는 인터넷이라는 네트워크를 통해서 웹과 관련된 데이터를 통신 망 내 사람들과 공유하는 공간이다. 02. 네트워크의 분류 2-1. 크기에 따른 분류 LAN(Local Area Network) : 근거리 연결 통신망 WAN(Wide Area Network) : 장거리 연결 통신망 즉, WAN은 가까운 지역끼리 묶인 LAN과 LAN을 다시 하나로 크게 묶은 것이다. 같은 네트워크 대..

목차 프로세스란? 프로그램과 프로세스 프로세스의 상태 프로세스 제어 블록(PDB) 스레드 01. 프로세스란? 프로그램이 메모리 상태에 올라가 동적인 상태인 것이 프로세스다. 1-1. 프로세스 구조 코드영역, 데이터영역, 스택영역으로 분리된다. 코드영역 프로그램 본문 기술. 요리책과 같음. 데이터영역 사용해야 하는 데이터. 요리의 재료와 같음. 스택영역 프로세스를 운영할 때 필요한 데이터. 조리도구와 같음. 예를 들면, 프로세스에서 함수 실행시키면 함수 실행 후 다시 돌아 올 위치 등을 저장함. 이는 사용자에게 보이지 않음. 1-2. 시분할 방식 시분할 방식이란, CPU가 시간을 쪼개 프로세스에게 각각 할당하여 프로세스를 처리할 수 있는 방법이다. 이는 CPU의 효율을 높이기 위한 방법 중 하나다. 음식점..

Git의 보안 이슈 때문에, 레포지토리 접근 시 인증 방법이 8월 13일 이후로 변경됐다. 어쩐지 원래였으면 username과 password만 쓰면 잘 pull & clone 되던 것들이 실행되지 않았다. 아래처럼 에러가 떠서, 안내해준 github docs로 접근해보았다. 공식 레퍼런스 링크 Set up Git - GitHub Docs To use Git on the command line, you'll need to download, install, and configure Git on your computer. You can also install GitHub CLI to use GitHub from the command line. For more information on GitHub CLI, ..

Airflow를 사용해본 경험은 꽤 되지만, 이는 누군가가 Docker로 사용하기 좋게 build해놓은 것을 썼기 때문에 온전히 내 것이라는 느낌이 들지 않았다. 따라서 이번 프로젝트를 진행하면서 Airflow를 처음부터 직접 설치하며 실행해보고 기초를 완전히 다져보고자 Udemy 수업을 수강하고 구글링을 하는 등 공부를 해보았다. 오늘은 지난 주 배운 내용을 온전히 내 것으로 만들기 위해 복습을 해보았다. 1. airflow란 무엇인가 https://eng-sohee.tistory.com/80 01. Airflow 개념 + Docker를 통한 Airflow 설치 01. Airflow란 무엇인가? Airflow는 에어비앤비에서 개발한 워크플로우 스케줄링 및 모니터링 플랫폼이다. 이는 동작 순서 및 방식과..

로컬에서 잘 연동되어 돌아갔지만 EC2 서버 위에서 돌아갈 땐 S3 내 데이터를 불러 오는 것 및 S3에 데이터를 저장하는 것 모두 서버 에러 500 오류가 난다. 에러 살펴보기 "POST / HTTP/1.1" 500 14 오류 원인 및 해결방법 찾아보기 * IAM 권한 설정 * 서버 트래픽 현재 오류 해결을 진행 중이다... 흑흑... 우선 차주 해야 할 일들이 있으니 우선순위대로 순차적으로 끝내둔 뒤, 해당 오류를 해결해야겠다. 잊지 않도록 메모!!!!

[오늘은 늦었으니 ㅠㅠ S3 원리 및 추가 상세 설명은 추후에 포스팅 하겠다..! 우선 핵심 코드만 블로깅...!!! ] 1. S3 버킷 생성 2. 버킷 정책 설정 { "Version": "2012-10-17", "Statement": [ { "Sid": "StatementSid1", "Effect": "Allow", "Principal": { "AWS": "arn:aws:iam::번호:user/버킷이름" }, "Action": [ "s3:GetObject", "s3:PutObject", "s3:DeleteObject" ], "Resource": "arn:aws:s3:::버킷이름/*" }, { "Sid": "StatementSid2", "Effect": "Allow", "Principal": "*", "..

우리는 EC2 등 서버에 웹을 올렸을 때, 해당 링크에 접속하기 위해서는 퍼블릭 ip 주소 뒤에 반드시 port 번호를 설정해야 한다. 이는 누구에게는 번거로움이 될 수 있다. 따라서 이를 해결하는 방법에 대해 조금 더 자세히 설명해보려 한다. (이전에 관련 내용을 간략히 설명한 적 있는데, 궁금하면 아래 포스팅을 참고하면 된다.) Django 웹사이트에 AWS RDS (PostgreSQL) 연결 방법 현재 프로젝트를 진행하며 데이터베이스를 PostgreSQL로 지정하기로 결정했다. RDB를 선택한 이유는 아래와 같다. 사용자 데이터 등 데이터 간 관계 정의 open api data의 경우, 고정된 스키마로 스키마 eng-sohee.tistory.com 1. iptables 설정 초기화 우선 이전에 설정..

AWS EC2 UBUNTU 서버에서, 배포하고자 clone 한 폴더를 삭제하면 자연스럽게 nohub으로 띄워놓은 파일도 삭제되니까 nohup 설정한 파일의 연결이 끊길 줄 알았는데, 그렇지 않았다... 그리고 파일이 삭제돼서 원래 내가 알고 있던 스크립트 파일명 종료 명령을 실행할 수 없었다. ❓❗ 여기서 잠깐! 파일 명으로 nohup 삭제 명령 ps -ef | grep -i 'file.py runserver' 여기서 file.py는 임시 명칭이므로, 본인의 파일명으로 바꿔주면 된다. 따라서 이때는 어떻게 해결할 지 찾아봤는데, pid 번호로 종료해주면 쉽게 해결된다. 방법은 아래와 같다. 1. pid 번호 찾기 ps -ef 2-1. pid 번호로 nohup 삭제 - pid번호 식별 후 삭제 kill -..

AWS에 EC2 서버 배포하고 잘 Postgresql 생성도 했는데 왜 인스턴스를 찾을 수 없다고 나오는지 답답했었다 ... 구글링을 해보니, 다른 사람이 내 인스턴스를 사용했을 수도 있다(?)고 하길래 순간 머리로 망치를 한 대 맞은 것 같았지만, 해결 방법은 생각보다 간단했다. https://aws.amazon.com/ko/premiumsupport/knowledge-center/find-ec2-instance/ 특정 EC2 인스턴스 찾기 Amazon Elastic Compute Cloud(Amazon EC2) 인스턴스를 시작했는데 Amazon EC2 콘솔에서 해당 인스턴스를 확인할 수 없습니다. 이 인스턴스는 어디에 있습니까? 다음은 콘솔에서 EC2 인스턴스를 확인하지 못하 aws.amazon.co..