-
[빅데이터 분석 기반의 구축] 클라우드 서비스책/빅데이터를 지탱하는 기술 2022. 4. 5. 15:54반응형
이 글은 빅데이터를 지탱하는 기술을 읽고 정리한 글입니다.
1. 아마존 웹 서비스
- Amazon S3: 객체 스토리지
- Amazon DynamoDB: NoSQL 데이터베이스
- Amazon EMR: Hadoop & Spark
- Amazon Athena: 쿼리 엔진(Presto)
- Amazon Elasticsearch: 검색 엔진
- Amazon Kinesis: 메시지 브로커
- Amazon Kinesis Streams: 스트림 처리
- Amazon Redshift: MPP 데이터베이스
- Amazon QuickSight: BI 도구
2. 구글 클라우드 플랫폼
- Google Cloud Storage: 객체 스토리지
- Google Cloud Datastore: NoSQL 데이터베이스
- Google Cloud Dataproc: Hadoop & Spark
- Google Cloud Dataflow: 데이터 플로우(배치, 스트리밍)
- Google Cloud Pub/Sub: 메시지 브로커(Pub/Sub 서비스)
- Google BigQuery: 쿼리 엔진
- Google Data Studio: BI 도구
3. 트레주어 데이터
- Data Collection: 스트리밍/벌크 데이터 수집
- Data Set Management: 분산 스토리지, 구조화 데이터
- Data Processing: 쿼리 엔진(Hive, Presto)
- Data Delivery and Activation: ETL 프로세스
- Treasure Workflow: 워크플로 관리
- Treasure Reporting: BI 도구
반응형'책 > 빅데이터를 지탱하는 기술' 카테고리의 다른 글
[빅데이터를 지탱하는 기술] 목차 (0) 2022.04.05 [빅데이터의 파이프라인] 3. 스트리밍 형의 데이터 플로우 (0) 2022.04.05 [빅데이터의 파이프라인] 2. 배치 형의 데이터 플로우 (0) 2022.04.05 [빅데이터의 파이프라인] 1. 워크플로 관리 (0) 2022.04.04 [빅데이터의 축적] 4. 비구조화 데이터의 분산 스토리지 (0) 2022.04.02