[uniq] 중복제거

$ cat aaa.dat

bbb

aaa

bbb

aaa

ccc

 

@aaa.dat 파일 중복 제거

$ cat aaa.dat | sort | uniq

aaa

bbb

ccc

........................................

1. 파일의 중복 되는 라인 보기

아래에서 숫자가 1보다 큰 값을 가지는 라인은 중복되는 라인이다.

 

@데이터 중복라인 카운트

$ sort -n aaa.dat | uniq -c

2 aaa

2 bbb

1 ccc

 

@중복되지 않는 라인

$ sort -n aaa.dat | uniq -u

cc

 

@중복된 라인

$ sort -n aaa.dat | uniq -d

aaa

bbb

 

#uniq #sort