반응형 sort4 [uniq, sort, awk] 중복되는 행 제거하기 리눅스에서 txt파일 등 텍스트 파일들에 대해 중복 제거하는 명령어이다. 먼저 아래와 같이 파일이 있다고 보면. #test.txt aaa aaa bbb bbb ccc ccc aaa bbb ccc uniq 명령어를 사용 uniq [-옵션] test.txt #결과 aaa bbb ccc aaa bbb ccc 연속된 중복들 된 값에만 대해 제거가 되기에 이렇게 나온다. 옵션은 아래 참고 바란다. 옵션 설명 -c 같은 라인이 몇번 나오는지를 표시 -d 중복되어 나오는 라인 중 한 라인만 표시 -D 중복되는 모든 라인을 보여준다 -N 필터링은 무시할 라인을 정한다. 시작 라인부터 N번째 라인까지는 검사하지 않는다. -i 중복 라인을 한라인으로 생각하고 출력한다. -u 중복 라인이 없는 것만 보여준다. -w N번째 .. 2024. 4. 10. GROUP BY 절 SORT 제거 방법(no_use_hash_aggregation)/hash group by 이전 포스팅에서 sort 튜닝이 일어나는 케이스에 대해 다룬 글이 있다. 자세한 내용은 아래 참고 포스팅을 참고 바란다. 케이스 중 하나가 Group By 절이 들어갈 경우 sort 연산이 발생한다. Oracle 10g 부터는 Group By 절에서 sort 튜닝이 발생하지 않게 할수 있다고 한다. 바로 힌트를 사용하면 된다. Hash Group by는 기존의 정렬을 사용하는 Sort Group By보다 성능이 뛰어난 대신에 Hash 함수를 사용하기 때문에 결과 집합에 대해 정렬된 순서를 보장하지 않는다. 참고 포스팅 https://thenicesj.tistory.com/798 소트 튜닝 (sort 오퍼레이션) SQL 수행 중 Sort 가 필요한 경우 dbms는 정해진 메모리 공간에 sort area 를.. 2024. 2. 5. 소트 튜닝 (sort 오퍼레이션) SQL 수행 중 Sort 가 필요한 경우 dbms는 정해진 메모리 공간에 sort area 를 할당하고 정렬을 수행하곤 한다. Oracle은 PGA(Private Global Area) 에 Sqlserver 는 버퍼캐시에 저장을 하곤 한다. 소트를 발생시키는 오퍼레이션은 아래와 같다. Sort Aggregate : 전체 로우를 대상으로 집계를 수행할 때 나타나며, 아래와 같이 Oracle 실행계획에 ‘sort’라는 표현이 사용됐지만 실제 소트가 발생하진 않는다. SQL Server 실행계획엔 ‘Stream Aggregate’라고 표시된다. Sort Order By : 정렬된 결과집합을 얻고자 할 때 나타난다. Sort Group By : Sorting 알고리즘을 사용해 그룹별 집계를 수행할 때 나타난다... 2024. 1. 1. Arrays 클래스 자바에서 기본 클래스 중 하나인 Arrays 클래스에 대해 자주 사용되는 함수들 몇가지 정리 하는 포스팅을 작성한다. Arrays는 set 이나 ArrayList와 같이 java.util 내에 존재한다. 지금 일단 작성 하고 추후에 추가적으로 설명하거나 하는것들이 있다면 계속해서 추가하는 포스팅이 될 예정이다. 함수명 사용법 결과 설명 sort String[] ab= {"A","C","B"}; for(String a : ab) System.out.println(a); System.out.println("+++++"); Arrays.sort(ab); for(String a : ab) System.out.println(a); A C B +++++ A B C 배열을 정렬 해준다. 역정렬은 Arrays.sort.. 2023. 8. 2. 이전 1 다음 반응형