AWS 로그분석 솔루션에 대한 정보 기술

AWS 로그분석 솔루션에 대한 정보 기술 관련 교육을 받으면서 간단하게 정리 해봅니다.

지속적인 클러스터 확장이 가능하며 joson형식으로 자유롭게 저장할 수 있습니다.

noSQL 부하방지를 위해서 캐시 시스템을 버퍼로 사용 가능합니다.

단점은 복잡한 질의 처리가 어려움이 있습니다.

 

유용한 kibana 툴제안

https://aws.amazon.com/ko/blogs/developer/tag/kibana/

ElasticSearch와 Kibana는 데이터를 분석하고 시각화하기위한 가장 유명한 무료 오픈 소스 솔루션이라고 합니다.

수집역할 : ElasticSearch

분석역할 : Kibana

 

AWS 데이터 분석 제품 리스트

서비스	제품 유형	설명
Amazon Athena	서버를 사용하지 않는 쿼리 서비스	표준 SQL을 사용하여 손쉽게 Amazon S3 데이터를 분석. 실행한 쿼리에 대해서만 비용을 지불합니다.
Amazon EMR	하둡	대량의 데이터를 신속하고 비용 효율적으로 처리할 수 있도록 관리형 하둡 프레임워크를 제공합니다. Apache Spark, HBase, Presto 및 Flink와 같은 오픈 소스 프레임워크를 실행합니다.
Amazon Elasticsearch Service	Elasticsearch	AWS에서 Elasticsearch를 손쉽게 배포, 운영 및 확장할 수 있게 해줍니다.
Amazon Kinesis	스트리밍 데이터	AWS에서 스트리밍 데이터를 사용하는 가장 쉬운 방법.
Amazon QuickSight	비즈니스 분석	기존 BI 솔루션 대비 1/10 비용으로 제공되는 매우 빠르고 사용이 간편한 클라우드 기반의 비즈니스 인텔리전스.
Amazon Redshift	데이터 웨어하우스	속도가 빠른 페타바이트 규모의 완전관리형 데이터 웨어하우스로, 간편하고 비용 효율적으로 모든 데이터를 기존 비즈니스 인텔리전스 도구를 사용하여 분석할 수 있게 해줍니다.
AWS Glue	ETL	데이터를 준비하여 데이터 스토어에 데이터를 로드합니다.
AWS Data Pipeline	데이터 워크플로 오케스트레이션	여러 AWS 컴퓨팅 및 스토리지 서비스뿐만 아니라 온프레미스 데이터 소스 간에도 지정된 간격에 따라 데이터를 안정적으로 처리하고 이동할 수 있도록 지원합니다.