한소희 개발일지

목차 가상 머신에 JDK 설치하는 방법 가상 머신 내 JDK 환경변수 설정 방법 01. 가상 머신에 JDK를 설치하는 방법 이전 포스팅에서 가상 머신에 CentOS를 설치를 수행했으니, 이번엔 JAVA를 설치하자. 나는 가상 머신(VM)은 버추얼박스를 사용했다. Spark를 설치하는 데에 JAVA를 선 설치해야 하는 이유? Spark를 구동하려면 JAVA 언어가 필요하기 때문! JAVA를 설치하는 방법은 매우 쉽다. yum install java-1.8.0-openjdk yum install java-1.8.0-openjdk-devel 위와 같은 명령어를 CentOS 내 터미널에 기입하면 되기 때문이다. 1-1. superuser 에러 하지만... 여기서 문제가 발생할 때가 있다. ❓❗ 에러 살펴보기 t..

아래 에러(Error) 해결 방법을 다룬 포스팅이다. ! boot with apic=debug and send a report. Then try booting with the'noapic' option. 버츄얼 박스 설치를 하던 중, VM에 CentOS가 제대로 설치되지 않았다. 나는 당연히 부팅이 되고 있는 줄 알고 기다렸는데 ㅋㅋ너무 오래 걸려서 읽어보니 에러였던 것! 그래서 01에서 다루기에는 너무 글 양이 많아질 것 같아서, 01-1로 빼 정리해보려고 한다. 에러 사진은 아래와 같다. ❓❗ 에러(Error) ! boot with apic=debug and send a report. Then try booting with the'noapic' option. 에러를 해결하기 위해 찾아보니, 두 가지 ..

목차 아파치 스파크란 스파크 실행 01. 아파치 스파크란 데이터 읽기부터 SQL 처리, 머신러닝 그리고 스트림처리에 이르기까지 다양한 데이터 분석 작업을 일관성있는 API로 수행할 수 있도록 설계한 빅데이터 처리 시스템 왜 하둡이 아닌 스파크를 쓰는 걸까? 스파크는 애초에 하둡을 보완하기 위해(혹은 함께 사용하기 위해) 개발되어 하둡을 대신한다고 보긴 어렵다. 하지만 하둡에서 맵리듀스를 대체할 수는 있다. ⬇ 참고: 이전 포스팅 링크 https://eng-sohee.tistory.com/34 03. 빅데이터의 분산 처리 이번에는 시각화에 적합한 데이터 마트를 구축하는 것을 목적으로, 분산 시스템에 의한 데이터 처리의 기본적 흐름에 관해 설명해보겠다. 새로운 개념이 화수분처럼 쏟아지고, 유사한 개념이 en..

나는 오늘, 하둡을 활용한 스마트카 파일럿 프로젝트를 수행하기 위해 필요한 VM을 생성할 것이다. 앞서, 어떤 데이터셋을 활용해 어떤 레이어를 구축할 지 간단하게 정리한 포스팅이 있는데, 이를 읽어본다면 오늘 포스팅의 내용을 더 수월히 이해할 수 있을 것이다. ⬇ 이전 포스팅 참고 링크 01. 하둡(Hadoop) 활용한 스마트카 파일럿 프로젝트_개요 오늘부터는 대망의, 데이터 엔지니어링 파일럿 프로젝트를 진행 할 것이다! 이번 스마트카 파일럿 프로젝트에 대해 간단히 설명하겠다. 이번 프로젝트는 인프런의 강의를 참고하여, 데이터 수 eng-sohee.tistory.com 그럼 오늘의 포스팅을 시작하도록 하겠다! 목차 VM 통합환경 구성 개요 필요한 설치 프로그램 설명 리눅스 가상머신 설정 01. VM 통합..

String Manipulation이란, 문자열 데이터 형태 및 타입 등을 변환하는 것 오늘은 파이썬을 활용해 String Manipulation을 수행해 볼 것이다. 이는 데이터 분석 수행에서 필수적으로 행하는 것 중 하나다. String 데이터를 처리할 때는, 웬만해선 데이터 통일화 작업이 요해지기 때문이다. 그 중에서도 SM에 가장 많이 쓰이는 함수(Replace, Apply, Split)를 이용해 문자열 데이터의 형태 & 타입을 변환하는 예시를 학습/정리할 예정이다. 목차 특정 데이터타입의 컬럼값만 추출하여, 데이터 형태 및 타입 변경 describe를 통한 summary statistics In [ ]: # 필요한 라이브러리를 import 합니다. import pandas as pd import..

파이썬이랑 알고리즘, 자료구조는 생산을 위한 도구라고 보면 된다. 자료구조와 알고리즘 챕터에서는, 무엇보다 복잡한 문제를 작은 문제로 분할하면서 해결한다라는 아이디어를 갖고 있어야 한다. 문제를 보았을 때, 문제가 어떤 패턴을 갖고 있는지 생각해본 뒤, 작은 문제로 분할해 문제를 풀어보는 과정을 반복해 수행한다고 보면 된다. 자료구조란, 우리가 데이터를 사용함에 있어서, 어떻게 데이터를 저장하고 사용할 지 정의하는 과정이다. 이는 데이터의 효율적인 접근을 목적으로 한다. 데이터를 쉽게 찾기 위해서는 특정 구조로 데이터를 저장해주어야 한다. 알고리즘이란, 문제를 해결하기 위한 단계적 절차를 정의한 것이다. 따라서, 우리는 문제해결능력과 컴퓨팅 사고능력(수학 개념을 컴퓨터로 잘 옮겨내는 능력)을 키워 자료구..

목차 Map Map 에러발생 01. Map Map은 파이썬의 내장함수로, 리스트의 요소를 지정된 함수로 처리해주는 함수다. 이는 매우 자주 사용되며, 예시는 아래와 같다. 그런데, 사실 내가 map을 설명하는 이유는 아래 에러설명을 위해서다. (내가 자주 까먹기 때문에...!)예시(아래)와 같이 코드를 작성하면 TypeError가 발생한다. 02. Map 에러발생 ⚠️ TypeError: map() must have at least two arguments. 2-1. 에러발생코드 def solution(num): num_square = list(map(lambda x: x*x, num) ) print(num_square) answer=[] for i in num_square: if i % 2 == 0: ..