ということでググッてみるとこんなんでました
my weblog : データの CSV 形式でのダウンロードと WIndows IE by aotake - あおたけめも置場 - aotake memo
やりたいことはいっしょっだたので試したところGoodできました

これを追加するのね

header("Cache-Control: public");
header("Pragma: public");