實際工作中,我們經常導出報表的需求,當導出數據量過大的時候,經常會遇到超時和內存溢出的問題。
解決方案一
超時可用: set_time_limit(0) 解決。
內存溢出可用: ini_set('memory_limit', '自定義內存')。
解決方案二
優化程序,利用數據庫或文件來緩存中間結果。
解決方案三
利用Ajax分多次請求,寫入文件,下載文件,效果如上圖。
(方案三)為大家提供一個Demo
設計思路
我們將其拆成100次請求,請求成功,進度條前進1%。
每次請求都需要寫入文件,然後對文件進行追加寫入。
當文件寫入完畢後,顯示下載按鈕 ,點擊下載即可。
功能點
兩種進度條樣式。
Jquery Ajax。
數據寫入CSV。
下載文件。
頁麵樣式:Bootstrap。
代碼如下
/**
* 導出CSV文件
* @param array $data 數據
* @param array $header_data 首行數據
* @param string $file_name 文件名稱
* @param int $type 類別
* @return string
*/
function _export_csv($data = [], $header_data = [], $file_name = '', $type = 0)
{
$fp = fopen($file_name, 'a+');
if (($type != 1) && !empty($header_data)) {
foreach ($header_data as $key => $value) {
$header_data[$key] = iconv('utf-8', 'gbk', $value);
}
fputcsv($fp, $header_data);
}
$num = 0;
//每隔$limit行,刷新一下輸出buffer,不要太大,也不要太小
$limit = 100000;
//逐行取出數據,不浪費內存
$count = count($data);
if ($count > 0) {
for ($i = 0; $i < $count; $i++) {
$num++;
//刷新一下輸出buffer,防止由於數據過多造成問題
if ($limit == $num) {
ob_flush();
flush();
$num = 0;
}
$row = $data[$i];
foreach ($row as $key => $value) {
$row[$key] = iconv('utf-8', 'gbk', $value);
}
fputcsv($fp, $row);
}
}
fclose($fp);
}
/**
* 下載文件
* @param string $file_url 文件地址
* @return string
*/
function _download_file ($file_url = '')
{
if (!isset($file_url) || trim($file_url)=='') {
die('File URL is empty.');
}
if (!file_exists($file_url)) {
die('File does not exist.');
}
$file_name = 'down_'.date('YmdHis', time());
$file_type = fopen($file_url,'r'); //打開文件
//輸入文件標簽
header("Content-type: application/octet-stream");
header("Accept-Ranges: bytes");
header("Accept-Length: ".filesize($file_url));
header("Content-Disposition: attachment; filename=".$file_name);
//輸出文件內容
echo fread($file_type, filesize($file_url));
fclose($file_type);
}
//以後是邏輯代碼,大家可以根據自己的需求進行編寫。
$path = '文件的絕對地址'; //path 是存放文件的絕對地址。
if (isset($_POST['start'])) {
//每一個單獨的請求,要保證文件名是唯一的,因為後麵要繼續進行追加。
$file_name = 'demo.csv';
//獲取數據,根據自己的業務邏輯,去數據庫獲取數據。
$data = [];
$header_data = ['執行時間', '隨機數']; //首行數據,表頭
//模擬數據如下:
for ($i=0; $i<=100; $i++) {
$data[$i]['time'] = date('Y-m-d H:i:s', time());
$data[$i]['num'] = mt_rand(1000,9999);
}
$type = ($_POST['start'] != '0') ? 1 : 0 ;
//開始將數據寫入到文件中
_export_csv($data, $header_data, $path.$file_name, $type);
//假設第100次 寫入完畢,那麼就可以進行下載文件啦。
//可以先獲取需要導出的總量,然後根據實際情況進行拆分數據,每次獲取成功,進度條會顯示進度。
if ($_POST['start'] == 100) {
die(json_encode(['code' => 'ok', 'file_path' => '/index.php?op=down&f='.$file_name]));
} else {
die(json_encode(['code' => 'no']));
}
}
//簡單的導出邏輯,可根據實際情況,進行開發。
if (($_GET['op'] == 'down') && !empty($_GET['f'])) {
_download_file($path.$_GET['f']);
exit;
}
?>
Demo
60%
$(document).ready(function () {
//導出CSV文件
$("#export_file").click(function(){
_get_data(0);
});
//獲取數據的方法
function _get_data(start)
{
$.ajax({
type: "POST",
url : 'index.php',
data: {
'start' : start
},
async: true,
dataType: "json",
beforeSend: function () {
$("#download_file").css('display', 'none');
$("#process_one").show();
$("#process_two").show();
},
success: function (result) {
if (result.code == 'ok') {
$("#download_file").show();
$("#download_file").attr("href", result.file_path);
$("#process_one").css('display', 'none');
$("#process_two").css('display', 'none');
} else {
start ++;
_get_data(start);
$("#progress-bar-one").css("width", start+'%');
$("#progress-bar-two").css("width", start+'%');
$("#progress-bar-two").html(start+'%');
}
},
error: function() {
alert("Server Error~");
}
});
}
});