IntelliJですでにプロジェクトを開いている状態で、新しいプロジェクトを作成したり別のプロジェクトを開いた場合、マルチウィンドウにするか今のプロジェクトを閉じて開くかの確認ダイアログ(下のやつ)が基本毎回表示されます。
このダイアログを表示するか非表示にするかの設定は、Settings->Generalから行えるようです。
実は設定固定化したあとに、やっぱり設定変更したいってなったんだけどダイアログを再度表示する方法がわからずかなりはまってた。困ったときはヘルプを見ないとダメってことを今回改めて感じたよ。
おわり。