내용

글번호 864
작성자 heojk
작성일 2018-04-23 17:48:47
제목 빅데이터가 뭐죠? 빅데이터 분석에서 가장 중요한 것이 뭐죠?
내용 빅데이터가 뭐죠? 일반적인 데이터베이스에서 관리/분석 할 수 있는 범위를 초과하는 규모의 데이터 + 처리/분석의 난이도가 높은 데이터 -> 우리 시스템에서 가용할 수 있는 범위를 넘어선 데이터 -> 현업에서는 정말정말 큰 데이터 + 분석의 난이도가 높은 데이터 빅데이터 분석에서 가장 중요한 것이 무엇인가? -> 인사이트를 발견하는 것입니다. -> 이것은 무엇을 분석해야할 지 모르는 상황, 그러나 어떻게 분석해야 하는지 아는 상황 -> 무엇을 분석해야 하는지 알고, 방법도 알고 있다면 최적화가 가장 중요합니다. -> 무엇을 분석해야 하는지 알지만, 방법을 모르면 솔루션을 선택하는 것이 중요합니다. 하둡 에코시스템 웹 데이터 수집 -> Nutch -> 데이터 저장은 어디에 -> NDFS -> 수집한 데이터를 분석 -> 분석프레임워크 MapReduce -> Hadoop(HDFS, MapReduce) -> 데이터 수집(비정형: flume, 정형 : sqoop) -> MapReduce로 분석하려면 자바를 배워야 함 -> Pig, Hive, Spark, Impala, Tajo 분석 도구 -> 시각화(설득) -> ML R, Mahout -> 배치처리 도구 Oozie -> Ganglia, Nagios, Hue 모니터 도구 및 관리도구 -> 고가용성(HA) 제공 Zookeeper -> OLTP 를 위해 HBase