DATA SCIENCE6 HBase ? HBase? Apache Hbase는 확장(Scale-out) 가능하며, 분산될 수 있는 대용량 Database. 랜덤 액세스 및 실시간 읽기/쓰기를 지원하는 비관계형 데이터베이스임. Hadoop Ecosystem의 일부로 HDFS에서 동작. 읽기/쓰기에 일관성 보장 HBase 테이블의 구조 HBase의 Table은 Row, Column, Column Family, Column Qualifier, Cell, Timestamp로 이루어져 있다. Table: Row의 집합 Row: Row Key + Columns, Row Key 기준 알파벳순으로 정렬됨 (연관된 Row끼리 가깝게 배치하려면 Row Key 설계 중요) Column: Column Family + Column Qualifier Column Fam.. 2021. 8. 23. Hadoop 이란? Hadoop 여러대의 컴퓨터에서 병렬 분산처리 할 수 있는 오픈소스 프레임워크 Scale-out 방식 ( 서버 수를 늘림 서버 용량을 늘림 (scale-up 방식) ) Hadoop 특징 서버 추가 -> 선형적 성능 향상 -> 비용 절감 대용량 데이터(PB 이상) 저장 저장된 데이터 수정 불가(DELETE, INSERT만 가능) -> 데이터 일관성 무결성 보장 빠른 장애 복구 및 대응 -> 데이터 유실 방지 이중화(High Availability) (namenode, datanode) Namenode 메타 데이터, 블록 관리 (어떤 블록이 어디에 있는지) datanode를 모니터링 백업을 위한 file 저장 Datanode 데이터가 실제로 저장되어 있는 장소 hadoop job ( MapReduce ) 수.. 2021. 8. 22. 이전 1 2 다음