ホストのファイル数が多い場合に、ホスト側がファイルリストを用意するのに時間がかかり、ファイルリストの転送開始に時間がかかることがあります。この場合は、ファイルをフォルダに分類して1つのフォルダにあるファイルの数を少なくするようにしてください。あるいは、ホストの設定の高度な設定で、ファイルリスト取得コマンドを「取得しない」に設定して、ファイルリストを取得しないようにすることもできます。
ネットワークが混雑している場合、ファイルリストの取得や転送開始に時間がかかることがあります。
ホストの設定の高度な設定のPASVモードのチェックを切り替えてみてください。