이름에 공백이있는 파일을 반복합니까? [중복]

이 질문에 이미 답변이 있습니다. :

이 항목이 중복된다는 데 동의하지 않습니다. 허용되는 대답은 공백으로 파일 이름을 반복하는 방법에 대한 답변입니다. " Find '의 출력 잘못된 관행을 반복하는 이유 ". 다음과 같이 공백이있는 파일 이름을 반복해야하기 때문에이 질문 (다른 질문이 아님)을 찾았습니다. for file in $ LIST_OF_FILES; do … 여기서 $ LIST_OF_FILES는 find의 출력이 아닙니다. ' 파일 이름 목록 (줄 바꿈으로 구분)입니다.
@CarloWood-파일 이름에 줄 바꿈이 포함될 수 있으므로 질문이 다소 고유합니다. 공백은 포함 할 수 있지만 개행은 포함하지 않는 파일 이름 목록입니다. ' '에서 중단이 발생 함을 나타 내기 위해 IFS 기술을 사용해야한다고 생각합니다. \ n '
@ Diagon- woah, 파일 이름에 줄 바꿈을 포함 할 수 있다는 사실을 결코 깨닫지 못했습니다. 나는 주로 (오직) linux / UNIX를 사용하며 심지어 공백도 거의 없다. 나는 평생 동안 개행 문자가 사용되는 것을 결코 보지 못했습니다. 그들은 그 imho를 금지 할 수도 있습니다.
@CarloWood-파일 이름은 null로 끝납니다 (' \ 0 ' , ' '와 동일). 다른 모든 것은 허용됩니다.
@CarloWood 사람들이 먼저 투표하고 두 번째로 읽는 것을 기억해야합니다 …

답변

짧은 답변 (답변에 가장 가깝지만 공백 처리)

OIFS="$IFS" IFS=$"\n" for file in `find . -type f -name "*.csv"` do echo "file = $file" diff "$file" "/some/other/path/$file" read line done IFS="$OIFS"

더 나은 답변 (파일 이름의 와일드 카드 및 줄 바꿈도 처리)

find . -type f -name "*.csv" -print0 | while IFS= read -r -d "" file; do echo "file = $file" diff "$file" "/some/other/path/$file" read line </dev/tty done

우수 답변 ( Gilles 기준 ” 답변 )

find . -type f -name "*.csv" -exec sh -c " file="$0" echo "$file" diff "$file" "/some/other/path/$file" read line </dev/tty " exec-sh {} ";"

또는 더 나은 방법은 파일 당 :

find . -type f -name "*.csv" -exec sh -c " for file do echo "$file" diff "$file" "/some/other/path/$file" read line </dev/tty done " exec-sh {} +

긴 답변

다음과 같은 세 가지 문제가 있습니다.

기본적으로 셸은 명령 출력을 공백, 탭 및 줄 바꿈으로 분할합니다.
파일 이름에는 다음과 같은 와일드 카드 문자가 포함될 수 있습니다. 확장 될 수 있습니다.
이름이 *.csv로 끝나는 디렉토리가 있으면 어떻게 되나요?

1. 줄 바꿈에서만 분할

file를 무엇으로 설정해야하는지 파악하려면 쉘이 출력을 가져와야합니다. find의 전체 결과물이됩니다. 그렇지 않으면 file가 find의 전체 출력이됩니다. .

셸은 기본적으로 <space><tab><newline>로 설정된 IFS 변수를 읽습니다.

그런 다음 find의 출력에서 각 문자를 확인합니다. IFS에있는 문자를 보면 파일 이름의 끝을 표시한다고 생각하여 file를 설정합니다. 지금까지 본 어떤 문자로든 루프를 실행합니다. 그런 다음 다음 파일 이름을 얻기 위해 중단 된 지점부터 시작하여 출력 끝에 도달 할 때까지 다음 루프 등을 실행합니다.

따라서 이것은 효과적으로 다음을 수행합니다.

for file in "zquery" "-" "abc" ...

입력을 줄 바꿈으로 만 분할하도록 지시하려면 다음을 수행해야합니다.

IFS=$"\n"

for ... find 명령 전에.

IFS를 하나의 줄 바꿈이므로 공백과 탭이 아닌 줄 바꿈으로 만 분할됩니다.

sh 또는 dash ksh93, bash 또는 zsh 대신 IFS=$"\n" 대신 다음과 같이하십시오.

IFS=" "

아마 충분합니다. 스크립트가 작동하도록하려면 다른 코너 케이스를 제대로 처리하려면 다음을 읽어보세요.

2. 와일드 카드없이 $file 확장

실행하는 루프 내부

diff $file /some/other/path/$file

셸은 $file를 확장하려고합니다 (다시!).

공백을 포함 할 수 있지만 이미

위의 경우 문제가되지 않습니다.

그러나 * 또는 ?와 같은 와일드 카드 문자를 포함 할 수도있어 예상치 못한 동작이 발생할 수 있습니다. (이 점을 지적 해준 Gilles에게 감사드립니다.)

셸에 와일드 카드 문자를 확장하지 않도록 지시하려면 변수를 큰 따옴표 안에 넣으십시오. 예 :

diff "$file" "/some/other/path/$file"

같은 문제가 우리를 물릴 수도 있습니다

for file in `find . -name "*.csv"`

예를 들어,이 세 파일이 있다면

file1.csv file2.csv *.csv

(가능성은 낮지 만 여전히 가능함)

실행 한 것처럼 보입니다.

for file in file1.csv file2.csv *.csv

확장 될

for file in file1.csv file2.csv *.csv file1.csv file2.csv

file1.csv 및 file2.csv 두 번 처리됩니다.

대신

find . -name "*.csv" -print | while IFS= read -r file; do echo "file = $file" diff "$file" "/some/other/path/$file" read line </dev/tty done

read 표준 입력에서 줄을 읽고 IFS에 따라 줄을 단어로 분할 한 다음 지정한 변수 이름에 저장합니다.

여기에서 우리는 그것을 말합니다. 줄을 단어로 나누지 않고 줄을 $file에 저장합니다.

또한 가 read line </dev/tty로 변경되었습니다.

루프 내부에서 표준 입력이 find 파이프 라인을 통해.

만약 read를 수행했다면 파일 이름의 일부 또는 전부를 사용하고 일부 파일을 건너 뛸 수 있습니다. .

/dev/tty는 사용자가 스크립트를 실행하는 터미널입니다. 크론을 통해 스크립트를 실행하면 오류가 발생하지만이 경우에는 중요하지 않다고 가정합니다.

그런 다음 파일 이름에 줄 바꿈이 포함되면 어떻게됩니까?

-print를 -print0로 변경하고 마지막에 read -d ""를 사용하여이를 처리 할 수 있습니다. 파이프 라인 :

find . -name "*.csv" -print0 | while IFS= read -r -d "" file; do echo "file = $file" diff "$file" "/some/other/path/$file" read char </dev/tty done

이렇게하면 find가 각 파일 이름 끝에 널 바이트를 넣습니다. Null 바이트는 파일 이름에 허용되지 않는 유일한 문자이므로 이상하더라도 가능한 모든 파일 이름을 처리해야합니다.

다른 쪽에서 파일 이름을 얻으려면 .

위에서 read를 사용한 곳에서는 줄 바꿈의 기본 줄 구분자를 사용했지만 지금은 find는 줄 구분 기호로 null을 사용합니다. bash에서는 인수의 NUL 문자를 명령 (내장 된 문자 포함)에 전달할 수 없지만 bash는 -d ""는 NUL로 구분 을 의미합니다. 따라서 -d ""를 사용하여 read find와 같은 줄 구분 기호를 사용합니다. -d $"\0"도 마찬가지로 작동합니다. bash NUL 바이트를 지원하지 않으면 빈 문자열로 처리됩니다.

올바르게하기 위해 백 슬래시를 처리하지 않는다는 -r도 추가합니다. 특별히 파일 이름. 예를 들어 -r가 없으면 \<newline>가 제거되고 \n가

bash 또는 또는 null 바이트에 대한 위의 모든 규칙 기억 (Gilles 덕분에) :

find . -name "*.csv" -exec sh -c " file="$0" echo "$file" diff "$file" "/some/other/path/$file" read char </dev/tty " exec-sh {} ";"

* 3. .csv

find . -name "*.csv"

로 끝나는 이름은 something.csv.

이를 방지하려면 -type f를 find 명령에 추가하십시오.

find . -type f -name "*.csv" -exec sh -c " file="$0" echo "$file" diff "$file" "/some/other/path/$file" read line </dev/tty " exec-sh {} ";"

glenn jackman 이 지적했듯이이 두 예에서 각 파일에 대해 실행할 명령은 다음과 같습니다. 서브 쉘에서 실행되므로 루프 내에서 변수를 변경하면 잊혀집니다.

변수를 설정해야하고 여전히 설정해야하는 경우 루프의 끝에서 다음과 같은 프로세스 대체를 사용하도록 다시 작성할 수 있습니다.

i=0 while IFS= read -r -d "" file; do echo "file = $file" diff "$file" "/some/other/path/$file" read line </dev/tty i=$((i+1)) done < <(find . -type f -name "*.csv" -print0) echo "$i files processed"

명령 줄에 복사하여 붙여 넣으려고하면 , read line는 echo "$i files processed"를 소비하므로 명령이 실행되지 않습니다.

이를 방지하려면 read line </dev/tty를 제거하고 결과를 less와 같은 호출기로 보낼 수 있습니다.

참고

내부의 세미콜론 (;)을 제거했습니다. 고리. 원하는 경우 다시 넣을 수 있지만 필요하지 않습니다.

요즘에는 $(command)가 `command`. 이는 `command1 \`command2\``보다 “$(command1 $(command2)) 작성이 더 쉽기 때문입니다.

read char는 실제로 문자를 읽지 않습니다.전체 줄을 읽어서 read line로 변경했습니다.

코멘트

는 생성 된 하위 셸에 문제를 생성 할 수 있습니다 (예 : 명령이 완료된 후에는 루프 블록의 변수가 표시되지 않음). bash에서는 입력 리디렉션 및 프로세스 대체를 사용합니다. while read -r -d $'\0' file; do ...; done < <(find ... -print0)
물론, 또는 heredoc 사용 : while read; do; done <<EOF "$(find)" EOF . 하지만 읽기가 그렇게 쉽지는 않습니다.
@glenn jackman : 방금 설명을 더 추가하려고했습니다. 내가 더 좋거나 나쁘게 만들었습니까?
' IFS, -print0, while 및 아래 내 솔루션에서 볼 수 있듯이 find를 완전히 처리하는 경우
첫 번째 솔루션은 개행 문자를 제외한 모든 문자를 처리합니다. set -f로 글 로빙을 해제하는 경우

Answer

파일 이름에 공백 또는 쉘 글 로빙 문자가 포함 된 경우이 스크립트는 실패합니다. \[?*. find 명령은 한 줄에 하나의 파일 이름을 출력합니다. 그런 다음 명령 대체 `find …`는 다음과 같이 쉘에 의해 평가됩니다.

find 명령을 실행합니다. 출력을 가져옵니다.
find 출력을 별도의 단어로 분할합니다. 공백 문자는 단어 구분 기호입니다.
각 단어에 대해 글 로빙 패턴 인 경우 일치하는 파일 목록으로 확장합니다.

예 : 현재 디렉토리에 `foo* bar.csv, foo 1.txt 및 foo 2.txt라는 세 개의 파일이 있다고 가정합니다.

find 명령은 ./foo* bar.csv를 반환합니다.
쉘은이 문자열을 분할합니다. 공간에서 ./foo* 및 bar.csv라는 두 단어를 생성합니다.
./foo*에는 globbing 메타 문자가 포함되어 있으며 “./foo 1.txt 및 ./foo 2.txt와 같은 일치하는 파일 목록으로 확장됩니다.
따라서 for 루프는 ./foo 1.txt, ./foo 2.txt 및

이 단계에서 단어 분할을 줄여서 대부분의 문제를 피할 수 있습니다. 글 로빙을 제거합니다. 단어 분할을 어둡게하려면 IFS 변수를 단일 개행 문자로 설정하십시오. 이렇게하면 find의 출력이 줄 바꿈으로 만 분할되고 공백이 유지됩니다. 글 로빙을 끄려면 set -f를 실행하세요. 그러면 파일 이름에 개행 문자가 포함되지 않는 한 코드의이 부분이 작동합니다.

IFS=" " set -f for file in $(find . -name "*.csv"); do …

(이것은 문제의 일부가 아니지만 저는 `…`보다 $(…)를 사용하는 것이 좋습니다. 의미는 같지만 역 따옴표 버전에는 이상한 인용 규칙이 있습니다.)

아래에 또 다른 문제가 있습니다. diff $file /some/other/path/$file는

diff "$file" "/some/other/path/$file"

그렇지 않으면 $file는 단어로 분할되고 단어는 위의 substitutio 명령과 같이 glob 패턴으로 처리됩니다. 쉘 프로그래밍에 대해 한 가지 기억해야하는 경우 다음을 기억하십시오. 변수 확장 ($foo) 및 명령 대체 ( $(bar)) (분할 의사를 모르는 경우). (위에서 우리는 find 출력을 여러 줄로 나누기를 원했습니다.)

find는 찾은 각 파일에 대해 명령을 실행하도록 지시합니다.

find . -name "*.csv" -exec sh -c " echo "$0" diff "$0" "/some/other/path/$0" " {} ";"

이 경우 또 다른 접근 방식은 두 디렉토리를 비교하는 것입니다. 모든 “지루한”파일을 명시 적으로 제외합니다.

diff -r -x "*.txt" -x "*.ods" -x "*.pdf" … . /some/other/path

I ' d 올바르게 인용해야하는 또 다른 이유로 와일드 카드를 잊어 버렸습니다. 감사! 🙂
find -exec sh -c 'cmd 1; cmd 2' ";" 대신 find -exec cmd 1 {} ";" -exec cmd 2 {} ";"를 사용해야합니다. 셸이 매개 변수를 마스킹해야하기 때문입니다. 하지만 ' 찾을 수 없습니다. 특별한 경우에 echo " $ 0 "는 ' 스크립트의 일부인 경우 ';' 뒤에 -print를 추가하면됩니다. 진행할 질문을 ' 포함하지 않았지만 아래에 제시된 것처럼 find를 통해 수행 할 수 있습니다. 😉
@userunknown : find -exec에서 매개 변수의 하위 문자열로 {}를 사용하는 것은 이식 할 수 없습니다. 이것이 ' 쉘이 필요한 이유입니다.저는 ' “셸이 매개 변수를 마스킹해야합니다”라는 의미를 이해하지 못합니다. 인용에 관한 것이 '이면 내 솔루션이 올바르게 인용 된 것입니다. ' echo 부분이 -print에 의해 수행 될 수 있다는 것이 맞습니다. -okdir는 상당히 최근의 GNU 찾기 확장이며 ' 모든 곳에서 사용할 수 없습니다. 저는 ' 진행 대기 시간을 포함하지 않았습니다. UI가 매우 열악하고 질문자가 다음과 같은 경우 쉘 스 니펫에 read를 쉽게 넣을 수 있기 때문입니다. 그는 원합니다.
인용은 마스킹의 한 형태입니다. ' 그렇습니까? ' 휴대용과 그렇지 않은 것에 대한 귀하의 의견을 이해하지 못합니다. 귀하의 예제 (아래에서 두 번째)는 -exec를 사용하여 sh를 호출하고 {}를 사용합니다. 따라서 내 예제 (-okdir 옆)는 어디에 있습니까? 가지고 다닐 수 있는? find . -name "*.csv" -exec diff {} /some/other/path/{} ";" -print
마스킹은 ' 쉘 문헌에서 일반적인 용어가 아니므로 ' 이해하려면 의미를 설명해야합니다. 내 예에서는 {}를 한 번만 별도의 인수로 사용합니다. 다른 경우 (두 번 또는 하위 문자열로 사용됨)는 이식 할 수 없습니다. “휴대용”이란 ' 모든 유닉스 시스템에서 작동 함을 의미합니다. 좋은 지침은 POSIX / Single Unix 사양 입니다.

Answer

readarray가 언급되지 않은 것에 놀랐습니다. <<< 연산자 :

$ touch oneword "two words" $ readarray -t files <<<"$(ls)" $ for file in "${files[@]}"; do echo "|$file|"; done |oneword| |two words|

<<<"$expansion" 구문을 사용하면 줄 바꿈이 포함 된 변수를 다음과 같이 배열로 분할 할 수도 있습니다. :

$ string=$(dmesg) $ readarray -t lines <<<"$string" $ echo "${lines[0]}" [ 0.000000] Initializing cgroup subsys cpuset

readarray은 (는) 몇 년 동안 Bash에 있었으므로 이것이 표준 방법 일 것입니다. Bash에 있습니다.

Answer

Afaik find는 필요한 모든 기능을 제공합니다.

find . -okdir diff {} /some/other/path/{} ";"

find는 프로그램 호출을 스스로 처리합니다. -okdir은 diff 전에 프롬프트를 표시합니다 (확실합니까 / 아니오).

쉘이 필요하지 않습니다. pi, pa, po.

참고 : find를 for / while / do / xargs와 결합하면 대부분의 경우 y 당신은 그것을 잘못하고 있습니다. 🙂

답변 해 주셔서 감사합니다. find와 for / while / do / xargs를 결합하면 왜 잘못하고 있습니까?
Find는 이미 파일 하위 집합을 반복합니다. 질문과 함께 나타나는 대부분의 사람들은 "; 또는 + (나중에 병렬 호출의 경우). 이렇게하는 주된 이유는 ' 파일 매개 변수를 조작하여 셸을 위해 마스킹 할 필요가 없기 때문입니다. 그다지 중요하지 않습니다. 항상 새로운 프로세스를 ' 필요로하지 않고 메모리를 줄이고 더 빠른 속도를 필요로합니다. 더 짧은 프로그램.
당신의 정신을 무너 뜨리기 위해 여기에있는 것이 아니라 time find -type f -exec cat "{}" \;와 time find -type f -print0 | xargs -0 -I stuff cat stuff를 비교하세요. xargs 버전은 10000 개의 빈 파일을 처리 할 때 11 초 더 빨랐습니다. 대부분의 경우 find를 다른 유틸리티와 결합하는 것이 잘못되었다고 주장 할 때주의하십시오. -print0 및 -0는 공백이 아닌 항목 구분자로 0 바이트를 사용하여 파일 이름의 공백을 처리합니다.
@JonathanKomar : 귀하의 find / exec 특공대는 내 시스템에서 10.000 개의 파일로 11.7 초, xargs 버전 9.7 초, time find -type f -exec cat {} +가 이전 의견에서 제안한대로 0.1 초 걸렸습니다. 에스. " 잘못되었습니다 "와 " 당신 ' 특히 smilie로 장식 할 때 " 잘못하고 있습니다. 예를 들어, 당신이 잘못 했습니까? 😉 BTW, 파일 이름의 공백은 위의 명령에 문제가 없으며 일반적으로 찾습니다. 화물 컬트 프로그래머? 그런데 find와 다른 도구를 결합하는 것은 괜찮습니다. xargs는 대부분의 경우 superflous입니다.
@userunknown 저는 제 코드가 후세를위한 공간 (미래 시청자 교육)을 어떻게 처리하는지 설명했습니다. 귀하의 코드가 그렇지 않다는 것을 의미하지는 않습니다. 언급했듯이 병렬 호출을위한 +는 매우 빠릅니다. 이러한 방식으로 xargs를 사용하는이 기능은 여러 경우에 유용하기 때문에화물 컬트 프로그래머라고 말하지 않겠습니다. 나는 유닉스 철학에 더 동의한다 : 한 가지 일을하고 잘한다 (일을 완수하기 위해 프로그램을 따로 또는 조합하여 사용). find는 그곳에서가는 선을 걷고 있습니다.

답변

모든 파일 ( 모든 특수 문자 포함)을 완전히 안전한 찾기 (문서 링크 참조) :

exec 9< <( find "$absolute_dir_path" -type f -print0 ) while IFS= read -r -d "" -u 9 do file_path="$(readlink -fn -- "$REPLY"; echo x)" file_path="${file_path%x}" echo "START${file_path}END" done

-d ''를 언급 해 주셔서 감사합니다. ' $'\0'가 ''와 동일하다는 사실을 인식하지 못했지만 있다. 좋은 솔루션입니다.
나는 find와 while의 분리를 좋아합니다.

Answer

아직 아무도 명백한 zsh 솔루션을 언급하지 않은 것에 놀랐습니다.

for file (**/*.csv(ND.)) { do-something-with $file }

((D)는 숨겨진 파일도 포함하고, (N)는 일치 항목이없는 경우 오류를 방지합니다. (.)를 사용하여 일반 파일로 제한합니다.)

bash4.3 이상은 이제 부분적으로도 지원합니다.

shopt -s globstar nullglob dotglob for file in **/*.csv; do [ -f "$file" ] || continue [ -L "$file" ] && continue do-something-with "$file" done

Answer

공백이있는 파일 이름은 명령 줄에서 여러 이름처럼 보입니다. ” 파일 이름이 “Hello World.txt”인 경우 diff 줄은 다음과 같이 확장됩니다.

diff Hello World.txt /some/other/path/Hello World.txt

4 개의 파일 이름처럼 보입니다. 인수 주위에 따옴표 :

diff "$file" "/some/other/path/$file"

도움이되지만 그렇지 않습니다. ' 내 문제를 해결할 수 없습니다. 여전히 파일이 여러 토큰으로 분할되는 경우가 있습니다.
이 답변은 잘못된 것입니다. 문제는 for file in `find . -name "*.csv"` 명령입니다. Hello World.csv라는 파일이있는 경우 file는 ./Hello로 설정되고 World.csv. $file를 인용하면 ' 도움이되지 않았습니다.

답변

이중 따옴표는 친구입니다.

diff "$file" "/some/other/path/$file"

그렇지 않으면 변수의 내용이 단어 분할됩니다.

오해의 소지가 있습니다. 문제는 for file in `find . -name "*.csv"` 명령입니다.

, file는 ./Hello로 설정되고 World.csv. 인용 $file이 ' 도움이되지 않았습니다.

답변

bash4에서는 내장 맵 파일 함수를 사용하여 각 줄을 포함하는 배열을 설정하고이 배열을 반복 할 수도 있습니다.

$ tree . ├── a │ ├── a 1 │ └── a 2 ├── b │ ├── b 1 │ └── b 2 └── c ├── c 1 └── c 2 3 directories, 6 files $ mapfile -t files < <(find -type f) $ for file in "${files[@]}"; do > echo "file: $file" > done file: ./a/a 2 file: ./a/a 1 file: ./b/b 2 file: ./b/b 1 file: ./c/c 2 file: ./c/c 1

답변

값의 공백은 간단한 for 루프 구성으로 피할 수 있습니다.

for CHECK_STR in `ls -l /root/somedir` do echo "CHECKSTR $CHECK_STR" done

ls -l root / somedir c 내 파일을 공백으로 유지

공백이있는 내 파일 위의 출력

이 출력을 피하기위한 간단한 솔루션 (큰 따옴표에주의)

for CHECK_STR in "`ls -l /root/somedir`" do echo "CHECKSTR $CHECK_STR" done

공백이있는 내 파일 출력

bash에서 시도

“파일 반복 ”– 그것이 질문이 말하는 것입니다. 솔루션은 전체 ls -l 출력을 한 번에 출력합니다. echo "CHECKSTR `ls -l /root/somedir`"와 실질적으로 동일합니다.

답글 남기기 답글 취소하기