ホストのファイル数が多い場合に、ホスト側がファイルリストを用意するのに時間がかかり、ファイルリストの転送開始に時間がかかることがあります。この場合は、ファイルをフォルダに分類して1つのフォルダにあるファイルの数を少なくするようにしてください。あるいは、ホストの設定の高度な設定で、ファイルリスト取得コマンドを「取得しない」に設定して、ファイルリストを取得しないようにすることもできます。
ネットワークが混雑している場合、ファイルリストの取得や転送開始に時間がかかることがあります。
ホストの設定の高度な設定のPASVモードのチェックを切り替えてみてください。
SSL暗号化を行って接続している場合、証明書の問題などでSSLのコネクションに時間がかかる場合があります。気になる場合は、ホストの設定の高度な設定で、データ接続を暗号化するのチェックを外すことで、すぐにファイルリストの取得が始まるようになります。このチェックを外すと、ファイルリストとファイルの送受信の内容は暗号化されなくなりますが、パスワードの送信に使用するコントロール接続は暗号化されたままです。アップロードするのがホームページ用のファイルの場合、一般に公開されるのが前提のファイルですので、暗号化されなくても支障はないかと思いますが、自らの判断でこのチェックを外すようにしてください。