데이터분석 3

02. 빅데이터의 탐색

안녕하세요 한소희입니다. 공부를 통해 배운 내용을 작성하고 있습니다. 혹여 해당 포스팅에서 잘못된 부분이 있을 경우, 알려주시면 빠르게 수정 조치하도록 하겠습니다. 감사합니다. ⬇ 첫 번째 포스팅 링크 01. 빅데이터의 기초 지식 나는 데이터엔지니어를 희망한다. 데이터엔지니어가 몹!시! 되고 싶은 사람으로서, '빅데이터를 지탱하는 기술'을 수차례 읽었던 것 같다. 머릿속에 있는 정보를 작성해 온전히 내 것으로 정보 eng-sohee.tistory.com 앞선 첫 번째 포스팅에 이어, 오늘은 빅데이터의 탐색 과정에 대해 정리해보고자 한다. (첫 번째 포스팅을 참고하실 분들은 위 링크를 접속하여 참고해주시기 바랍니다.) 목차 크로스 집계의 기본 열 지향 스토리지에 의한 고속화 애드 혹 분석과 시각화 도구 데..

03. 데이터 셋 병합 (Concat, Merge)

안녕하세요 한소희입니다. 공부를 통해 배운 내용을 작성하고 있습니다. 혹여 해당 포스팅에서 잘못된 부분이 있을 경우, 알려주시면 빠르게 수정 조치하도록 하겠습니다. 감사합니다. 데이터 분석을 할 때면, 데이터 셋을 병합해야 하는 일이 종종 생긴다. 왜냐하면 대부분의 데이터셋은 예쁘게 한 개의 세트 형태로 제공되지 않기 때문이다. 물론, 캐글이나 데이콘 같은 곳에서 제공하는 데이터는 예쁘게 잘 정제되어 있지만, 실제 현업에서 마주하는 데이터는 그렇지 않다. (어쩌다 알게 되었냐고요? 저도 알고 싶지 않았습니다.. 따흑. 데이터 처리 스킬이 부족한 시절, 실습생 때 데이터 셋을 병합할 때 꽤나 골머리를 앓았던 것으로 기억한다. 데이터의 무결성 이슈 때문에..) 여튼, pandas에서는 이 데이터들을 병합하는..

01. Pandas 기본사용법 / Ipynb 파일 -> HTML 파일 변환 방법

안녕하세요 한소희입니다. 공부를 통해 배운 내용을 작성하고 있습니다. 혹여 해당 포스팅에서 잘못된 부분이 있을 경우, 알려주시면 빠르게 수정 조치하도록 하겠습니다. 감사합니다. Pandas 를 쓰다보면, 종종 자주 쓰이는 문법인데도 헷갈리거나 까먹을 떄가 존재한다. 그럴 때 이 포스팅을 참고하면 좋을 것 같아서 기초적인 Pandas 문법을 정리해보았다. 활용한 데이터 핸들링 방법 중, 기초 of 기초이자 자주 사용하는 것들이며, 이 포스팅을 보는 분들께도 도움이 되었으면 하는 바람이다. 🔥 여기서 잠깐 ! Ipynb 파일을 HTML 로 변환하는 방법? 아래 ipynb 파일을 어떻게 html 로 변환해 저장했는지 궁금해하실 분들을 위해 작성! 구글링을 해보니 생각보다 매우 간단했다. anaconda CLI..