Um alle Dateien eines Ordners mit aktiviertem Directory Listing rekursiv herunterzuladen, kann man einfach auf wget zurückgreifen:
wget -c -N -np -R "index.html*"
Erklärung:
-c : continue
Führt einen abgebrochenen Download beim erneuten Aufruf fort
-N : timestamping
Lädt Dateien nur herunter, wenn sie auf dem Server neuer sind, als die die schon heruntergeladen wurden
-np : no parent
Verhindert das übergeordnete Verzeichnisse geladen werden (Link auf ..)
-R : reject
Verwirft nach dem Herunterladen die Index Dateien