중복 제거
간단히 폴더내 다수 텍스트 파일의 중복을 제거한 – 유일한 텍스트 라인 들 만 갖도록 하는 스크립트
$ for FILE in *.log; do sort $FILE | uniq >> $FILE.uniq; done
폴더내 *.log 파일을 $FILE 로 do 하위로전달 하게됨
sort 해주어야 중복 (uniq) 명령어로 검출 가능
uniq 옵션이 없을경우 유일한 값만 출력 >> 스트림으로 새이름({name}.uniq)으로 출력
(uniq 옵션으로도 출력가능)
중복만 남기기
$ for FILE in *.log; do sort $FILE | uniq -d >> $FILE.duplicate; done
폴더내 *.log 파일을 $FILE 로 do 하위로전달 하게됨
sort 해주어야 중복 (uniq) 명령어로 검출 가능
uniq 옵션 -d 중복 값만 출력 >> 스트림으로 새이름({name}.duplicate)로 출력
검증
$ wc filename.ext -l
각 파일의 라인수를 비교
원본 / uniq / duplicate
파일의 라인수를 비교 해
원본 = uniq / duplicate
댓글 남기기