> バージョンアップのためインストールしたのですが、ダウンロード時にあやまって「このプログラムをディスクに保存」を選択して実行してしまいました。
> デスクトップに保存されたプログラムを実行してバージョンアップはできたのですが、ダウンロードしたプログラムがデスクトップに存在したままの状態になってます。
> どのようにして削除したらよいのでしょうか？このまま置いておいても良いものなのでしょうか？

ダウンロードしたファイルはインストールが終われば不要です。
削除してしまっても構いません。