본문 바로가기
728x90
반응형

전체 글329

mysql 에서 데이터를 엑셀 파일로 저장 기존 쿼리에서 추가를 하면된다. INTO OUTFILE '/var/lib/mysql-files/test.csv' -- csv 파일을 출력하고자 하는 경로 CHARACTER SET utf8 -- 언어 타입 설정 FIELDS TERMINATED BY '|' OPTIONALLY ENCLOSED BY '"' -- '|'로 구분하고 구분지운 문자열 타입들을 ""로 감싼다 ESCAPED BY '\\' -- '\\'일 경우 끝 LINES TERMINATED BY '\n' -- 줄바꿈은 "\n"으로 표시 하지만 이렇게 했는데 다음 에러가 나올 경우가 있다. The MySQL server is running with the --secure-file-priv option so it cannot execute this st.. 2022. 9. 25.
Assertions.assertThat 비교 하기 이전 포스팅에서 테스트를 할 경우에는 Junit Test를 사용하기 위해 다룬 글이 있다. 아래 참고 포스팅을 확인해보자. 만약에 service에서 두 객체나 변수 등을 비교 하기 위해서는 다양한 방법이 있지만 결국 확인을 하기 위해서는 System.out.println 으로 보게 될것이다. 일반 코드도 그렇고 테스트 코드에서도 이렇게 작성을 한다면 직접 콘솔을 뒤져가면서 눈으로 확인을 해야한다. 이럴 경우에 비교를 하는 대상을 테스트 코드에 한줄만 추가해두면 된다. Assertions.assertThat("A").isEqualTo("Ad"); 이렇게 해두면 테스트 코드를 돌릴때 두개의 변수 혹은 객체 등 같으면 정상 success가 뜨고 다르다면 빨간색으로 fail이 날것이다. 위에 예제는 A랑 Ad는.. 2022. 9. 24.
ELK 란? ELK( Elasticsearch / Logstatsh / Kibana ) 스택 ELK는 위 그림과 같이, 분석 및 저장 기능을 담당하는 ElasticSearch, 수집 기능을 하는 Logstash, 이를 시각화하는 도구인 Kibana의 앞글자만 딴 단어이고 접근성과 용이성이 좋아 최근 가장 핫한 Log 및 데이터 분석 도구이다. 각 기능에 대한 설명은 아래 참고 포스팅을 확인해보면 된다. 간단한 설명으로는 Logstash 다양한 소스(DB, csv파일 등)의 로그 또는 트랜잭션 데이터를 수집, 집계, 파싱하여 Elasticsearch 로 전달 Elasticsearch Logstatsh로 부터 받은 데이터를 검색 및 집계를 하여 필요한 관심 있는 정보를 획득 Kibana Elasticsearch의 빠른 .. 2022. 9. 23.
kibana 란? kibana는 Elastic Stack 기반으로 구축된 오픈소스 프론트엔드 애플리케이션으로 Elasticsearch에서 색인된 데이터를 검색해서 분석 및 시각화 하는 기능 플랫폼이다. 히스토그램부터 geo맵까지 다양한 시각화 도구를 이용하여 사용자 지정 대시보드와 결합하여 데이터에 생명력을 부여하는 역할을 한다. 고급 데이터 분석을 쉽게 수행하고 다양한 차트, 테이블 및 맵에서 데이터를 시각화 기능을 한다. 사용 용도는 다음과같다. 로깅과 로그 분석 인프라 매트릭과 컨테이너 모니터링 애플리케이션 성능 모니터링 위치기반 정보 데이터 분석과 시각화 보안 분석 및 비지니스 분석 웹 인터페이스를 통해서 elastic Stack 인스턴스를 모니터링 하며 관리하고 보호 주요 기능은 다음 그림과 같다. 2022. 9. 22.
Logstash 란? Logstash란 로그 스테이시는 실시간 파이프라인 기능을 가진 데이터 수집 엔진 오픈소스이다. 로그 스테이시는 서로 다른 소스의 데이터를 동적으로 통합하고 원하는 대상으로 데이터를 정규화 할 수 있는 능력을 가진다. 로그스테이시는 원래 로그 수집의 혁신을 주도했지만, 그 가능성은 실제 사용 사례를 통해 훨씬 더 열렸다. 다양한 입력과 필터 및 출력 플러그인을 통해, 모든 유형의 이벤트를 보강하고 변환할 수 있으며, 많은 기본 코텍이 처리 과정을 단순화한다. 따라서 로그 스테이시는 더 많은 양과 다양한 데이터를 활용하여 통찰력 있게 보는 것을 가능하게 해 준다. 💡Logstash 공식 문서 : www.elastic.co/guide/en/logstash/7.6/introduction.html Logstas.. 2022. 9. 21.
ElasticSearch 란? Elasticsearch는 Apache Lucene(아파치 루씬) 기반의 java 오픈소스 분산 검색 엔진이다. 데이터베이스로 알려져 있기는 하지만 "데이터 저장소"가 아니라서 우리가 아는 MySQL 같은 데이터베이스를 대체할 수 없다. 방대한 양의 데이터를 신속하고 거의 실시간으로 저장,검색,분석할 수 있는것이 장점이다. Elasticsearch는 검색을 위해 단독으로 사용되기도 하며, ELK( Elasticsearch / Logstatsh / Kibana )스택으로 사용되기도 한다. 이 부분에 대해서는 추후에 다시 다뤄볼 것이다. 그럼 과연 RDBMS 랑은 어떤 차이가 있는걸까? Elasticsearch와 관계형 DB (RDBMS)의 비교 RDBMS Elasticsearch schema mapping.. 2022. 9. 20.
정규 표현식 정리(Regex) 정규표현식은 사용을 할때마다 검색하는것 같아서 이참에 직접 정리를 해보려고 포스팅을 작성해본다. 정규표현식에서 사용되는 기호를 Meta 문자라고 하는데 표현식에서 내부적으로 특정 의미를 갖는 문자를 말하며 아래와 같다. 표현식 의미 ^x 문자열의 시작을 표현하며 x 문자로 시작됨을 의미한다. x$ 문자열의 종료를 표현하며 x 문자로 종료됨을 의미한다. .x 임의의 한 문자의 자리수를 표현하며 문자열이 x 로 끝난다는 것을 의미한다. x+ 반복을 표현하며 x 문자가 한번 이상 반복됨을 의미한다. x? 존재여부를 표현하며 x 문자가 존재할 수도, 존재하지 않을 수도 있음을 의미한다. x* 반복여부를 표현하며 x 문자가 0번 또는 그 이상 반복됨을 의미한다. x|y or 를 표현하며 x 또는 y 문자가 존재함.. 2022. 9. 19.
mysql 접속 에러 [public key retrieval is not allowed] mysql 을 dbeaver 접속시 다음 에러가 나왔다. public key retrieval is not allowed mysql 8.0 이후로는 allowPublicKeyRetrieval=true 설정을 해줘야 했다. jdbc 주소는 다음과 같이 jdbc:mysql://localhost:3306/databasename?allowPublicKeyRetrieval=true 로 하고 dbeaver 설정은 아래에서 설정한다. 2022. 9. 18.
enum 이란 자바를 사용하다보면 interface나 class 등은 많이 사용하는데 이 enum 이라는 친구는 생소할수도 있다. 열거형이라고도 하는데 이 enum 이라는것을 오늘 다뤄볼 것이다. 아시는 분들은 아시겠지만 상수 정의하는 방법이다. 기존 클래스에서는 상수를 static final String name = "A"; 이런식으로 정의를 했다면 enum에서는 좀 다르다. 코드를 직접 한번 보면 이해할수 있을것이다. public class EnumExample { public static final String MALE = "MALE"; public static final String FEMALE = "FEMALE"; public static void main(String[] args) { String gende.. 2022. 9. 17.
728x90
반응형