본문 바로가기
반응형

전체 글1072

Logstash 란? Logstash란 로그 스테이시는 실시간 파이프라인 기능을 가진 데이터 수집 엔진 오픈소스이다. 로그 스테이시는 서로 다른 소스의 데이터를 동적으로 통합하고 원하는 대상으로 데이터를 정규화 할 수 있는 능력을 가진다. 로그스테이시는 원래 로그 수집의 혁신을 주도했지만, 그 가능성은 실제 사용 사례를 통해 훨씬 더 열렸다. 다양한 입력과 필터 및 출력 플러그인을 통해, 모든 유형의 이벤트를 보강하고 변환할 수 있으며, 많은 기본 코텍이 처리 과정을 단순화한다. 따라서 로그 스테이시는 더 많은 양과 다양한 데이터를 활용하여 통찰력 있게 보는 것을 가능하게 해 준다. 💡Logstash 공식 문서 : www.elastic.co/guide/en/logstash/7.6/introduction.html Logstas.. 2022. 9. 21.
ElasticSearch 란? Elasticsearch는 Apache Lucene(아파치 루씬) 기반의 java 오픈소스 분산 검색 엔진이다. 데이터베이스로 알려져 있기는 하지만 "데이터 저장소"가 아니라서 우리가 아는 MySQL 같은 데이터베이스를 대체할 수 없다. 방대한 양의 데이터를 신속하고 거의 실시간으로 저장,검색,분석할 수 있는것이 장점이다. Elasticsearch는 검색을 위해 단독으로 사용되기도 하며, ELK( Elasticsearch / Logstatsh / Kibana )스택으로 사용되기도 한다. 이 부분에 대해서는 추후에 다시 다뤄볼 것이다. 그럼 과연 RDBMS 랑은 어떤 차이가 있는걸까? Elasticsearch와 관계형 DB (RDBMS)의 비교 RDBMS Elasticsearch schema mapping.. 2022. 9. 20.
정규 표현식 정리(Regex) 정규표현식은 사용을 할때마다 검색하는것 같아서 이참에 직접 정리를 해보려고 포스팅을 작성해본다.  정규표현식에서 사용되는 기호를 Meta 문자라고 하는데 표현식에서 내부적으로 특정 의미를 갖는 문자를 말하며 아래와 같다. 표현식의미  ^x 문자열의 시작을 표현하며 x 문자로 시작됨을 의미한다.x$ 문자열의 종료를 표현하며 x 문자로 종료됨을 의미한다. .x 임의의 한 문자의 자리수를 표현하며 문자열이 x 로 끝난다는 것을 의미한다. x+ 반복을 표현하며 x 문자가 한번 이상 반복됨을 의미한다. x? 존재여부를 표현하며 x 문자가 존재할 수도, 존재하지 않을 수도 있음을 의미한다. x* 반복여부를 표현하며 x 문자가 0.. 2022. 9. 19.
mysql 접속 에러 [public key retrieval is not allowed] mysql 을 dbeaver 접속시 다음 에러가 나왔다. public key retrieval is not allowed mysql 8.0 이후로는 allowPublicKeyRetrieval=true 설정을 해줘야 했다. jdbc 주소는 다음과 같이 jdbc:mysql://localhost:3306/databasename?allowPublicKeyRetrieval=true 로 하고 dbeaver 설정은 아래에서 설정한다. 2022. 9. 18.
enum 이란 자바를 사용하다보면 interface나 class 등은 많이 사용하는데 이 enum 이라는 친구는 생소할수도 있다. 열거형이라고도 하는데 이 enum 이라는것을 오늘 다뤄볼 것이다. 아시는 분들은 아시겠지만 상수 정의하는 방법이다. 기존 클래스에서는 상수를 static final String name = "A"; 이런식으로 정의를 했다면 enum에서는 좀 다르다. 코드를 직접 한번 보면 이해할수 있을것이다. public class EnumExample { public static final String MALE = "MALE"; public static final String FEMALE = "FEMALE"; public static void main(String[] args) { String gende.. 2022. 9. 17.
[Mysql] error : You are using safe update mode mysql 에서 테이블을 만들고 임의 값을 넣은 후 delete 를 사용하니 다음과 같은 에러가 나오면서 삭제가 이루어 지지 않았다. Error Code : 1175: You are using safe update mode and you tried to update a table without a Where that uses a Key column. 해결 방법은 다음과 같다. set sql_safe_updates=0; sql 안전모드를 해제 해주는것이다. 어디까지나 로컬 피시에서만 작업하길 권장하고 실 운영중인 서버라면 안전모드를 혹시모를 상황에 대비하여 해제하지 않는것이 좋을것이다. 2022. 9. 16.
python library 설치방법(pip, tar, wheel) 파이선을 사용하다보면 다양한 라이브러리를 설치 해야한다. 아마 기본적인 명령어인 pip 는 다들 아실듯 하지만 그밖에 명령어들이나 방법을 소개하고자 포스팅을 작성한다. 명령어는 tensorflow 라이브러리 기준으로 작성을 해볼것이다. 명령어 단 pip 명령어가 있지만 이밖에도 비슷한 기능의 명령어가 몇가지 더 존재한다. pip install tensorflow python3 -m pip install tensorflow (python3 일 경우) python3 -m easy_install tensorflow 설치 파일 단 위와 같은 명령어는 설정해둔 저장소(아마 pypiorg) 에서 직접 다운을 받아오는 경우이고, 만약 피시가 오프라인 환경이라면 설치하는 법이 존재하는데, 외부에서 이동식 저장매체에 t.. 2022. 9. 15.
CORS 란? 한가지 극단적인 예를 들어본다면,만약 어떤 악성 프로그램이 당신의 컴퓨터에 설치가 되고 해당 프로그램을 통해서 브라우저에서 특정 명령을 수행한다면 어떻게 될까?로그인이 세션으로 잡혀있지 않다면 로그인 작업때문에 문제가 되지 않겠지만,세션에 로그인 정보를 저장해두었다면 로그인 정보를 가지고 특정 사이트에서 특정 명령을 수행하게 될 것이고 문제가 발생할것이다. 그래서 브라우저에서는 허용된 주소만을 받기 위해서 이 CORS를 사용할것이다. 설명을 이어서 한다면브라우져에서는 보안적인 이유로 cross-origin HTTP 요청들을 제한한다.그래서 cross-origin 요청을 하려면 서버의 동의가 필요하고 만약 서버가 동의한다면 브라우저에서는 요청을 허락하고, 동의하지 않는다면 브라우저에서 거절하게 된다.이렇게.. 2022. 9. 14.
python 에서의 stack 사용 python 에서 stack를 사용하려고 보니 자바에서처럼 따로 기능이 존재하지 않았다. 그래서 알아본 결과 리스트를 사용해서 스택처럼 사용하면 되는것이었다. 스택에 대한 개념은 아래 참고 포스팅을 활용하는것을 추천하고, 해당 포스팅에서는 리스트를 스택처럼 사용하는 법을 작성해보려고 한다. 일단 파이썬에서 스택으로 사용할 빈 리스트를 하나 만들어준다. stack = [] 스택에 원소를 집어넣은것은 push라고 하며 파이썬에서 push는 다음처럼 하면 된다. stack = [1,2] stack.append(3) stack #[1,2,3] 스택에서 원소를 꺼내는것을 pop이라고 하며 파이썬에서 pop은 다음과 같이 하면 된다. stack = [1,2,3] top = stack.pop() print(top) .. 2022. 9. 13.
반응형

티스토리툴바