The Boxer

elasticsearch 오픈소스 풀텍스트 검색 및 분석 엔진 방대한 양의 데이터를 거의 실시간으로 저장, 검색, 분석할 수 있도록 지원하는 검색 엔진 복잡한 검색 기능이 포함되어야 하는 어플리케이션에 사용 사용 예시 자동완성 검색 초성검색 부분일치 한영 변환 오타 검색어 제안 역인덱스 elasticsearch는 저장, 검색, 분석에 특화된 저장소로 볼 수 있다. 특히 방대한 양의 데이터에 대해서 거의 실시간으로 검색이 가능한데 이걸 가능하게 하는게 역인덱스(inverted index) 구조이다. 역인덱스: 단어나 숫자 같은 정보에 대한 정보를 분할하여 매핑 정보를 저장하는 구조 매핑정보를 통해 해쉬 테이블 방식으로 저장되어 검색하는데 O(1)의 시간이 소요된다. elasticsearch는 예시의 문장을..

cloudwatch log에 대한 대화식 검색 기능 쿼리문을 통해 cloudwatch 내 log를 조회한다 알아둘 점 최대 20개 그룹의 로그 조회 가능 timeout: 15 min 쿼리 결과는 7일동안 유효함 쿼리되는 데이터 양에 따라 요금이 부과된다 상세 사항 지원하는 로그 필드 cloudwatch로 전송된 모든 로그에 대해 log insight는 다음 5개 필드를 자동으로 생성하여 관리한다. @message: 로그 메세지 원본 @timestamp: 로그가 찍힌 timestamp @ingestionTime: cloudwatch가 로그를 수신한 시간 @logStream: 로그 이벤트가 추가된 로그 스트림 명 @log: 로그 그룹 식별자 log insight가 생성하는 모든 로그에는 @ 어노테이션이 붙는..

scan에 대한 성능 데이터 조회시 전체 테이블이나 보조 인덱스를 스캔하는 방식 전체 테이블 데이터를 조회하여 필터 조건을 걸어 결과 추출 요청한 값을 찾기 위해 항상 전체 테이블을 조회하기 때문에 매우 비효율적 때문에 웬만한 경우에는 scan이 아닌 query를 통해 원하는 값을 조회하도록 해야 한다. 급격한 read 요청 증가 strongly consistent read은 2개의 RCU를 소비한다. scan은 기본적으로 eventually consistent read방식으로 데이터를 조회하며, 최대 1MB 용량(페이지)의 데이터 조회 가능 따라서 최대 (1MB / 4KB) / 2 = 128개의 RCU를 소비하게 되며 strongly consistent read의 경우 256개의 RCU 소비 이렇게 큰..

해당 포스팅은 https://docs.aws.amazon.com/lambda/latest/dg/gettingstarted-concepts.html#gettingstarted-concepts-function 를 읽고 정리한 내용입니다. AWS lambda 서버리스 컴퓨팅 서비스 클라우드상의 컴퓨팅 인프라에서 코드를 실행하고, 서버에 대한 유지, 관리, 용량 프로비저닝, 보안 패치, 모니터링, 로깅 등의 운영 관련 작업은 lambda가 수행한다. aws는 역할별로 리소스가 나눠져 있다. 기본 개념 function lambda에서 코드 실행을 위해 호출하는 리소스 function에 lambda에서 실행할 코드를 배포하며, 요청이 들어올 때 마다 function에 올린 코드를 실행 혹은 aws 다른 서비스가 f..

cloudwatch: aws의 인프라 및 어플리케이션에 대한 관제 서비스 알림 기능: cloudwatch에서 제공하는 기능으로 지정한 메트릭 값을 지속적으로 측정하여 설정한 기준값을 넘어가는 경우 지정한 채널로 알림 발송 기본적으로 알아야 할 개념 metric: 알림을 보내는데 측정하는 데이터. 메트릭 값이 지정한 조건을 벗어난 경우 알림 전송 alarm state OK: 모든 메트릭 값이 정의한 threshold 이내인 상황 ALARM: 모든 메트릭 값이 정의한 threshold를 벗어난 상황 INSUFFICIENT_DATA: 메트릭이 비정상적이거나 충분하지 않은 데이터가 쌓인 경우 topic: 알림이 전송될 경우 메세지를 수신하며, 해당 topic을 구독하는 클라이언트에 메세지 전송 amazon sn..