한소희 개발일지

이전 포스팅에서는 데이터베이스의 기본 개념과, 데이터베이스 관리 시스템이 무엇인지 알아보았다. 이번 시간에는 데이터베이스 시스템이 무엇인지 공부해보았고, 이를 정리해보았다. ⬇ 이전 포스팅 링크 01. 데이터베이스 기본 개념 데이터베이스 공부에 앞서 - 데이터베이스 과목은, 학부 수업 때도 제일 흥미있게 들었던 과목이다. 물론 시간이 많이 지나 구체적 내용까지는 기억이 가물가물하지만, 다시한 번 전공 서적을 eng-sohee.tistory.com 02. 데이터베이스 관리 시스템 오늘은 데이터베이스 관리 시스템에 대해 공부하고 정리해보았다. 앞서, 데이터 베이스의 기본 개념에 대한 직전 포스팅은 아래 링크를 참고해두었다. ⬇ 이전 포스팅 링크 01. 데이터베이스 기 eng-sohee.tistory.com ..

안녕하세요 한소희입니다. 공부를 통해 배운 내용을 작성하고 있습니다. 혹여 해당 포스팅에서 잘못된 부분이 있을 경우, 알려주시면 빠르게 수정 조치하도록 하겠습니다. 감사합니다. ⬇ 첫 번째 포스팅 링크 01. 빅데이터의 기초 지식 나는 데이터엔지니어를 희망한다. 데이터엔지니어가 몹!시! 되고 싶은 사람으로서, '빅데이터를 지탱하는 기술'을 수차례 읽었던 것 같다. 머릿속에 있는 정보를 작성해 온전히 내 것으로 정보 eng-sohee.tistory.com 앞선 첫 번째 포스팅에 이어, 오늘은 빅데이터의 탐색 과정에 대해 정리해보고자 한다. (첫 번째 포스팅을 참고하실 분들은 위 링크를 접속하여 참고해주시기 바랍니다.) 목차 크로스 집계의 기본 열 지향 스토리지에 의한 고속화 애드 혹 분석과 시각화 도구 데..

빅데이터 분석기사 필기 요약정리 포스팅이 마무리됐고, 전반적인 후기 및 꿀팁 그리고 이 시험을 준비하면서 얻은 느낀 점 등을 포스팅으로 정리해보고자 한다. 이전 포스팅을 참고하고 싶다면 아래를 클릭! 01. 빅데이터 분석기사 필기 - 1 / 빅분기 취득을 결심한 이유 나는 빅데이터분석기사를 작년 12월 1차 시험 신청을 했지만, 코로나바이러스로 인해 1차 시험이 취소되었다. 그래서 어쩔 수 없이 2차 시험을 준비해야만 했다. 따라서 올해 4월, 빅데이터분석기 eng-sohee.tistory.com 02. 빅데이터 분석기사 필기 - 2 앞서, 빅데이터분석기사 통계관련 필기 자료를 정리해서 업로드했는데, 이어서 통계관련 분석 개념에 대해 정리했던 내용을 포스팅해보려고 한다. (혹시 내용 상 오류가 있는 경우..

빅데이터 분석기사 필기 정리의 마지막이다. 물론, 내가 세 차례에 거쳐 정리한 내용이 빅데이터 분석기사 범위의 전부는 결코 아니다. 내 기준에서 헷갈리기 쉬운 부분, 그리고 다소 중요하다고 생각되는 부분만 정리해 둔 자료이므로, 공부를 다 한 뒤 검토의 목적으로 이 포스팅을 활용하면 더욱 좋을 것으로 생각된다. 앞선 포스팅을 보지 않은 분들은, 이전 포스팅을 참고하면 도움이 더 될 것 같다고 생각한다. 포스팅 링크는 아래와 같다. ⬇ 이전 포스팅 링크 (1) 01. 빅데이터 분석기사 필기 - 1 / 빅분기 취득을 결심한 이유 나는 빅데이터분석기사를 작년 12월 1차 시험 신청을 했지만, 코로나바이러스로 인해 1차 시험이 취소되었다. 그래서 어쩔 수 없이 2차 시험을 준비해야만 했다. 따라서 올해 4월, ..

앞서, 빅데이터분석기사 통계관련 필기 자료를 정리해서 업로드했는데, 이어서 통계관련 분석 개념에 대해 정리했던 내용을 포스팅해보려고 한다. (혹시 내용 상 오류가 있는 경우 e-mail(eng.sohee@gmail.com) or 댓글 달아주시면 빠르게 정정하겠습니다.) 이전 포스팅을 보지 못한 분들은 아래 링크를 참고해서 보면 더욱 도움이 될 것이다. ⬇ 이전 포스팅 링크 01. 빅데이터 분석기사 필기 - 1 / 빅분기 취득을 결심한 이유 나는 빅데이터분석기사를 작년 12월 1차 시험 신청을 했지만, 코로나바이러스로 인해 1차 시험이 취소되었다. 그래서 어쩔 수 없이 2차 시험을 준비해야만 했다. 따라서 올해 4월, 빅데이터분석기 eng-sohee.tistory.com 목차 평가지표 교차검증 검정 방법 ..

나는 빅데이터분석기사를 작년 12월 1차 시험 신청을 했지만, 코로나바이러스로 인해 1차 시험이 취소되었다. 그래서 어쩔 수 없이 2차 시험을 준비해야만 했다. 따라서 올해 4월, 빅데이터분석기사 2차 필기 시험을 치뤘고, 합격했다. 🔥 데이터 엔지니어를 희망하는데, 빅데이터 분석기사를 취득한 이유? 연관부서와의 원활한 커뮤니케이션을 위해서라고 할 수 있다. 데이터 엔지니어는, 데이터 사이언스팀과의 협업이 필요할 수 있다고 한다. 이때 그분들이 원하는 데이터를 수집하여 원활한 소통으르 통해 분석을 지원할 수 있으려면, 데이터 사이언스팀이 취급하는 데이터와 프로젝트 산출물&산출 과정에 대한 대략적 이해가 필요할 수 있겠다는 생각이 들었다. 실제로, 작년 학부생 시절 회사를 경험했을 때도 데이터 분석가분들께..

안녕하세요 한소희입니다. 공부를 통해 배운 내용을 작성하고 있습니다. 혹여 해당 포스팅에서 잘못된 부분이 있을 경우, 알려주시면 빠르게 수정 조치하도록 하겠습니다. 감사합니다. 데이터 분석을 할 때면, 데이터 셋을 병합해야 하는 일이 종종 생긴다. 왜냐하면 대부분의 데이터셋은 예쁘게 한 개의 세트 형태로 제공되지 않기 때문이다. 물론, 캐글이나 데이콘 같은 곳에서 제공하는 데이터는 예쁘게 잘 정제되어 있지만, 실제 현업에서 마주하는 데이터는 그렇지 않다. (어쩌다 알게 되었냐고요? 저도 알고 싶지 않았습니다.. 따흑. 데이터 처리 스킬이 부족한 시절, 실습생 때 데이터 셋을 병합할 때 꽤나 골머리를 앓았던 것으로 기억한다. 데이터의 무결성 이슈 때문에..) 여튼, pandas에서는 이 데이터들을 병합하는..

안녕하세요 한소희입니다. 공부를 통해 배운 내용을 작성하고 있습니다. 혹여 해당 포스팅에서 잘못된 부분이 있을 경우, 알려주시면 빠르게 수정 조치하도록 하겠습니다. 감사합니다. 지난 포스팅에 이어, 기초 of 기초인 데이터 로드와 라이러리 임포트 관련 포스팅이다. 라이브러리란 무엇인가? 파이썬 내부에 있는 만들어진 일종의 문법서. 독서실에서 책을 뽑아 와 읽듯, 우리는 이 라이브러리를 import하여 만들어진 함수로 다양한 업무를 수행할 수 있다. 앞선 포스팅에서의 pandas 가 이의 예시다. 이번 포스팅에서는 필요한 라이브러리를 import 해서, 재무회계 데이터를 load 해볼 것이다. 그 후, Data의 demension도 확인해보고, 재무회계 통계 데이터의 결측치를 간단하게 zerofill 해보..

안녕하세요 한소희입니다. 공부를 통해 배운 내용을 작성하고 있습니다. 혹여 해당 포스팅에서 잘못된 부분이 있을 경우, 알려주시면 빠르게 수정 조치하도록 하겠습니다. 감사합니다. Pandas 를 쓰다보면, 종종 자주 쓰이는 문법인데도 헷갈리거나 까먹을 떄가 존재한다. 그럴 때 이 포스팅을 참고하면 좋을 것 같아서 기초적인 Pandas 문법을 정리해보았다. 활용한 데이터 핸들링 방법 중, 기초 of 기초이자 자주 사용하는 것들이며, 이 포스팅을 보는 분들께도 도움이 되었으면 하는 바람이다. 🔥 여기서 잠깐 ! Ipynb 파일을 HTML 로 변환하는 방법? 아래 ipynb 파일을 어떻게 html 로 변환해 저장했는지 궁금해하실 분들을 위해 작성! 구글링을 해보니 생각보다 매우 간단했다. anaconda CLI..

안녕하세요 한소희입니다. 공부를 통해 배운 내용을 작성하고 있습니다. 혹여 해당 포스팅에서 잘못된 부분이 있을 경우, 알려주시면 빠르게 수정 조치하도록 하겠습니다. 감사합니다. 오늘은 데이터베이스 관리 시스템에 대해 공부하고 정리해보았다. 앞서, 데이터 베이스의 기본 개념에 대한 직전 포스팅은 아래 링크를 참고해두었다. ⬇ 이전 포스팅 링크 01. 데이터베이스 기본 개념 데이터베이스 공부에 앞서 - 데이터베이스 과목은, 학부 수업 때도 제일 흥미있게 들었던 과목이다. 물론 시간이 많이 지나 구체적 내용까지는 기억이 가물가물하지만, 다시한 번 전공 서적을 eng-sohee.tistory.com 목차 1. 데이터 베이스 관리 시스템의 등장 배경 2. 데이터 베이스 관리 시스템의 정의 3. 데이터 베이스 관리..