구찌의 나도한번 해블로그

인구분석 실습 인구 분석 데이터를 가져와, Kibana까지 이어지는 흐름을 한번 만들어 보자. 데이터의 위치는 다음과 같다. (인프런 강의 내용) https://github.com/minsuk-heo/BigData/blob/master/ch06/populationbycountry19802010millions.csv minsuk-heo/BigData Contribute to minsuk-heo/BigData development by creating an account on GitHub. github.com 위 데이터는 1980년부터 2010년까지 이어진 나라별 인구분포를 모아둔 데이터이다. 일단 LogStash를 실행하기전에 ElasticSearch와 Kibana가 정상적으로 구동중인지 먼저 확인하자. ..

LogStash LogStash 정의부터 알아보자. LogStash는 오픈 소스 서버의 데이터 처리 파이프라인이며, 다양한 소스에서 동시에 데이터를 수집하여 변환한 후 자주 사용하는 스태쉬(Stash)-보관소(저장소)로 전달한다. LogStash 구조 LogStash의 구조는 크게 3가지, 입력 / 필터 / 출력으로 되어 있으며, 형식이나 복잡성과 관계 없이 데이터를 동적으로 수집, 전환, 전송한다. grok을 통해 비구조적 데이터에서 구조를 도출하여 IP주소에서 위치 정보 좌표를 해독하고, 민감한 필드를 익명화하거나 제외시키며, 전반적인 처리를 손쉽게 도와준다. 입력 데이터는 여러 시스템에 다양한 형태로 보관된다. 모든 소스, 사이즈, 형태의 데이터 수집을 진행하기 위해, 다양한 입력 Plugin 지원..

Kibana Kibana는 이전 포스팅에도 말했지만, Elastic Search 데이터를 시각화하고, Elastic Stack을 탐색하여 쿼리 부하 추적부터 앱을 통해 요청이 흐르는 방식 등을 진행할 수 있도록 만들어진, 데이터 시각화 플랫폼이다. 바로 설치부터 시작해보도록 하자. 가장 쉽게 설치하는 방법은 DEB 파일을 받아서, 설치하는 것이다. (Ubuntu 기준이며, 운영체제에 따라 차이가 있을 수 있다) https://www.elastic.co/kr/downloads/kibana Download Kibana Free | Get Started Now | Elastic | Elastic Want it hosted? Deploy on Elastic Cloud. Get Started » www.elast..

Aggregation The aggregations framework helps provide aggregated data based on a search query. It is based on simple building blocks called aggregations, that can be composed in order to build complex summaries of the data. 집계 프레임 워크는 검색 쿼리를 기반으로 집계 된 데이터를 제공합니다. 이는 복잡한 데이터 요약을 작성하기 위해 구성 할 수있는 집계라는 간단한 빌딩 블록을 기반으로합니다. Elastic Search의 Aggregation이라는 컨셉에 대한 내용이며, 정리하여 Elastic Search의 Document안에서 조..

구조 알아보기 앞선 포스팅에서 API 문서를 보려고 했더니, Shard, Node라는 단어들이 나왔다. 이번 포스팅은 이러한 단어까지 하나씩 알아가 보도록 할 것이다. 첫 포스팅에서 간단히 Elastic Search가 무엇인지 알아 보았는데, 좀더 세부적으로 알아가자. Elastic Search 특징 Elastic Search의 내부에는 루씬(Lucene) 이라는 핵심 모듈이 들어있다. 루씬은 안정적이고 무료로 사용할 수 있는 오픈 소스 프로젝트로 만들어진 고성능 정보 검색(IR, Information retrieval) 라이브러리다. IR (Information Retrieval) 문서를 검색하거나, 문서의 내용을 검색하거나, 문서와 연관된 메타 정보를 검색해 가는 과정. 루씬은 자바로 구현되었으며, ..

Mapping 이란 Mapping은 RDB에서 Schema와 비슷한 역할을 한다. 그러나, 항상 Mapping이 필요한가를 묻는다면, 앞선 포스트에서 진행했듯, 딱히 신경쓰지 않아도 Document 생성/삭제/수정 등이 자유롭다. 그러나, Mapping이 정확하지 않으면 우리가 원하는 데이터의 정합성이 떨어지게 된다. (숫자가 String 으로 저장되는 등) 따라서, Kibana를 이용한다는 등 분석 및 Visualize를 해야할 때 제대로 사용하기 위해서는 꼭 넣어주는 것이 좋다. { "class" : { "properties" : { "title" : { "type" : "text" }, "professor" : { "type" : "text" }, "major" : { "type" : "text" ..

GET 부터 검색 시작 앞선 포스트에서, 우리는 다음과 같은 테이블을 보았다. ElasticSearch RDB GET Select PUT Update POST Insert DELETE Delete 따라서, GET으로 검색을 해보도록 하자. curl -XGET http://localhost:9200/classes curl -XGET http://localhost:9200/classes?pretty 위 명령어를 통해, 우리는 curl을 사용하여 GET을 해오고 있다는 것을 볼 수 있다. 향후, 모든 Method활용에서 동일하겠지만, classes라는 index에 대해 요청하는 내용이며, pretty라는 파라미터를 통해 이를 이쁘게 보여줄 수 있다. { "error" : { "root_cause" : [ { ..

Elastic Stack이란? 통계 서버를 구축하면서, Elastic Stack으로 통계/분석을 진행해야할 프로젝트가 생겼다. 이에 따라, 한가지씩 공부하면서 실무에 적용해보고자 한다. 그렇다면 먼저 내가 알아야할 부분을 하나씩 작성해 보도록 하자. Elastic Stack이란 무엇일까? 흔히, Elastic Stack이라 함은, ElasticSearch, Kibana, Beats, Logstash (ELK Stack)을 말한다. 이 중, 나의 경우는 ElasticSearch와 Logstash를 가장 중점적으로 공부할 것이고, Kibana는 고려 사항, Beats는 선택 사항으로 남겨둘 것이다. 각각, 개별적인 정의를 적어보면, 다음과 같다. ElasticSearch JSON기반의 분산형 검색 및 분석 ..

※ 개인적으로 받았던 Kubernetes 교육을 정리한 내용입니다. 1편 > Kubernetes 아주 조금만 알아보자 - Kubernetes란? : https://koocci-dev.tistory.com/3 2편 > Kubernetes 아주 조금만 알아보자 - Kubernetes의 흐름 : https://koocci-dev.tistory.com/5 3편 > Kubernetes 아주 조금만 알아보자 - 마스터, 노드 : https://koocci-dev.tistory.com/6 4편 > Kubernetes 아주 조금만 알아보자 - Model, Declared State, Pod : https://koocci-dev.tistory.com/10 5편 > Kubernetes 아주 조금만 알아보자 - Replic..

※ 개인적으로 받았던 Kubernetes 교육을 정리한 내용입니다. 1편 > Kubernetes 아주 조금만 알아보자 - Kubernetes란? : https://koocci-dev.tistory.com/3 2편 > Kubernetes 아주 조금만 알아보자 - Kubernetes의 흐름 : https://koocci-dev.tistory.com/5 3편 > Kubernetes 아주 조금만 알아보자 - 마스터, 노드 : https://koocci-dev.tistory.com/6 4편 > Kubernetes 아주 조금만 알아보자 - Model, Declared State, Pod : https://koocci-dev.tistory.com/10 5편 > Kubernetes 아주 조금만 알아보자 - Replic..