Nu am nicio sursă autorizată, dar explicația mea de bun simț este că cuvântul este derivat din sintagma verbală to pass by something. Deoarece sufixul de construcție a substantivului a fost atașat la partea verbală pass, făcându-l passer, este logic să înlănțuiți sufixul plural -s după primul sufix. Partea by este mai mult o particulă suplimentară pentru cuvânt, cred că este chiar acceptabil să scrieți passers-by cu o liniuță.
Un punct slab din această explicație este că alte substantive derivate din verbele compuse nu „construiesc un plural la mijloc (comparați turnout, makeover). Dar cei care nu folosesc un sufix pentru a crea substantivul, deci nu poate apărea o înlănțuire a substantivului.
Comentarii