[Linux] 정렬과 중복 처리 (sort, uniq)

sort

값들을 정렬 해준다.

 

[옵션 설명]

 

    -k : key를 기준으로 정렬

    -t : 필드 구분자로 데이터 컬럼을 나누어준다 ( 기본값은 공백) 

    -f : 대소문자 무시

    -n : 숫자 정렬-

    -u : 정렬 후 행이 같을 경우 중복 제거

    -r : 내림차순 정렬

    -g : 일반 숫자 정렬

 

 

[사용 예시] 

 

세미콜론(;)을 기준으로 컬럼을 나눠 3번째 컬럼(나이)을 기준으로 정렬하였는데 문자열 정렬 옵션으로 동작

 

sort -t ";" -k 3 sort.txt

sort -t ";"-k 3 sort.txt
afa9061f-cc05-4470-bc28-e77b9a58b517;James;10
1ac46560-3642-42bb-81af-ab0d882a7563;Joseph;11
e3f8a602-b62e-4115-bbd6-0702cdb88afc;Thomas;11
23493703-dfa7-433f-abd3-dda0b8ded865;David;13
27c50484-850d-4477-9893-1678b993c1b8;William;14
9878141a-7dbb-42ce-a198-1a60b97a5fee;Richard;16
e794eda6-b5c6-4ea8-8f2a-7cb877d4d5d6;Michael;17
122edbb8-bcc0-46d8-8f0c-3fa7b54369e9;Robert;7
c10c3715-ee97-42e8-b906-6d50558378f4;Charles;7
1a72c571-994f-4e2d-bfc0-26927aaa3164;John;9

 

 

위의 예제에 -n 옵션을 추가하여 나이를 정렬하는데 숫자 정렬이 된 것을 확인

sort -t ";" -k 3 -n sort.txt

 

> sort -t ";"-k 3 -n sort.txt
122edbb8-bcc0-46d8-8f0c-3fa7b54369e9;Robert;7
c10c3715-ee97-42e8-b906-6d50558378f4;Charles;7
1a72c571-994f-4e2d-bfc0-26927aaa3164;John;9
afa9061f-cc05-4470-bc28-e77b9a58b517;James;10
1ac46560-3642-42bb-81af-ab0d882a7563;Joseph;11
e3f8a602-b62e-4115-bbd6-0702cdb88afc;Thomas;11
23493703-dfa7-433f-abd3-dda0b8ded865;David;13
27c50484-850d-4477-9893-1678b993c1b8;William;14
9878141a-7dbb-42ce-a198-1a60b97a5fee;Richard;16
e794eda6-b5c6-4ea8-8f2a-7cb877d4d5d6;Michael;17

 

-k 2,2 는 2번째 컬럼에서 2번째 컬럼까지만 비교하라는 뜻

 

sort -t ";" -k 2,2 ort.txt

 

-k 옵션을 여러 개 사용하여 정렬 우선순위를 지정할 수 있다.

밑의 예시는 나이(문자열)로 정렬한 뒤, 나이가 같으면 이름으로 정렬한다. 

 

sort -t ";" -k 3,3 -k 2,2 sort.txt

 

uniq

중복되는 단어를 제거, 표시 해준다.

 

[옵션 설명]

 

-u : 유일한 라인만 표시 중복된 라인은 제거해서 보여준다.

-d :  -u 와는 반대로 중복되는 라인만 표시하며 아래 예제는 중복되는 line인 bat 만 표시한다

-c :  라인별 중복 횟수를 계산해서 표시한다

 -i : 대소문자 무시

 

[사용 예시] 

 

중복되는 단어인 bat은 한번만 표시됨 ( 중복 제거 )

$ sortinput.txt |uniq
abc
Abc
ABc
apple
BALL
bat

유일한 라인만 표시, bat은 표시되지 않음

$ sortinput.txt |uniq-u
abc
Abc
ABc
apple
BALL

중복되는 라인만 표시

$ sortinput.txt |uniq-d
bat

중복 횟수 세기

$ sortinput.txt |uniq-c
1     abc
1     Abc
1     ABc
1     apple
1     BALL
2     bat