AWS 로그 교육에서 무료 오픈 소스 솔루션 ElasticSearch와 Kibana 관련 정보 정리를 해봅니다.
아래의 내용은 AWS다큐멘터리를 보고 정리 합니다.
ElasticSearch와 Kibana는 데이터를 분석하고 시각화하기위한 가장 유명한 무료 오픈 소스 솔루션입니다.
Lucene 검색 엔진을 기반으로하는 ElasticSearch를 사용하면 스키마가 필요없는 데이터 처리 및 쿼리가 가능합니다. 데이터 집계 및 기간 계산과 같은 기본 데이터 분석 쿼리 및 필터를 제공합니다. Kibana는 ElasticSearch 데이터를 일반 사용자에게 공개하는 시각화 및 검색 UI입니다.
이 솔루션은
내가 만든 파이썬 응용 프로그램 ELK로 AWS 계정에서 AWS 구성 데이터를 가져 오는 프로세스를 자동화합니다. 즉, AWS Config가 서비스가 활성화 된 각 지역에서 스냅 샷을 생성하도록 요청합니다. 스냅 샷이 구성된 Amazon S3 버킷에 업로드 될 때까지 대기합니다. S3 버킷에서 스냅 샷을 복사합니다.
스냅 샷 (그냥 거대한 JSON 블롭)을 파싱합니다. JSON 배열 요소를 ELK로 가져옵니다.
스크립트 실행
이 응용 프로그램을 실행할 때 몇 가지 옵션이있다. 다음과 같이 -r과 region 이름을 포함하여 내보내고로드 할 영역을 지정할 수 있습니다.
./esingest.py –d localhost:9200 –r us-east-1
또는 단순히 목적지 (필수)를 포함시킬 수 있습니다. 앱이 모든 지역에서 반복됩니다. 다음 출력은 영역을 지정하지 않으면 표시되는 내용의 예입니다.
./esingest.py –d localhost:9200
키바 작업
이 ElasticSearch에 데이터를 섭취했는지 지금, 당신은 인덱스에 데이터를 키바를 사용해야합니다. 당신이 키바을 처음 열면은 설정 페이지가 표시됩니다. 이 페이지를 사용하여 검색 가능한 색인을 구성하십시오. 단순화하기 위해, 아래 인덱스 이름 또는 패턴 을 입력 * 및 위해 시간 필드 이름 , snapshotTimeIso을 선택합니다.resourceCreationTime과 같은 드롭 다운 목록의 모든 날짜 필드를 사용할 수 있습니다.
그러면 모든 ElasticSearch 색인이 색인화되고 snapshotTimeIso가 시계열 필드로 사용됩니다. 실행할 경우 중복이있을 것이다 esingest현재 ELK 인덱스를 삭제하지 않고,하지만 당신은 시간 기반 결과를 얻을 수있는 검색 쿼리 스냅 샷 시간을 포함 할 수 있습니다.
이제 Kibana의 데이터를 인덱싱 했으므로 검색을 해보 죠. 선택 저가 탭과 오른쪽 위 모서리에있는 텍스트를 클릭하여 시간 필터를 변경 :
지금은 선택 최근 5 년 후 최소 시간 필터 절을 참조하십시오.
우리의 첫 번째 검색 들어, resourceType: "aws::ec2::instance"텍스트 필드에 입력하십시오. 검색 결과에 모든 EC2 인스턴스가 표시됩니다. 시간 그래프는 ElasticSearch에 추가 된 시간을 보여줍니다. 내가 실행하기 때문에 esingest단 한 번,이로드 하나의 구성 스냅 샷, 그리고 단 하나의 타임 스탬프가 표시됩니다.
사용할 수있는 다른 많은 검색어가 있습니다. 키바는 루씬 쿼리 구문을 지원하므로이 참조 튜토리얼 예제와 아이디어를.
보시다시피 시간 필터는 데이터가 ElasticSearch에 수집되었을 때를 보여줍니다. 여기서 중복이있을 수 있습니다, 그래서 당신은 인스턴스 ID와 정확한 스냅 샷 시간을 지정할 수 있습니다 (입력 :resourceType: "*Instance*" AND "sg-a6f641c0*")
키바 시각화 기능은
검색 기능에 더하여, 키바는 검색 결과를 시각적으로 검색 슬라이스를 만드는 방법을 제공한다. 고객과 대화하는 동안 발생한 실제 사용 사례를 살펴 보겠습니다. 클릭 시각화 , 탭을 선택 원형 차트를 , 탐험 시작!
가용 영역 간의 EC2 배포는 무엇입니까?
입력:resourceType: "aws::ec2::Instance"
하위 집계를 만들고 해당 EC2 인스턴스에 할당 된 태그를 추가해 보겠습니다.
입력: resourceType: "aws::ec2::Instance"
EC2 인스턴스를 생성하는 데 사용 된 AMI와 생성 된 AMI는 언제입니까?
입력:*
몇 개의 인스턴스가 사용자가 설정 한 보안 그룹을 사용합니까?
입력:"sg-a6f641c0*"
결론 : AWS 구성은 AWS 계정에서 실행중인 것을 이해하기위한 유용한 도구입니다. ELK와 AWS Config를 함께 사용하면 AWS 관리자에게 많은 가치가 있는 이점을 제공 할 수 있습니다.
글
0 댓글