解决PHP里大量数据循环时内存耗尽问题的方法

解决PHP里大量数据循环时内存耗尽问题的方法

相关学习推荐:php编程(视频)

最近在开发一个PHP程序时遇到了下面的错误:

错误信息显示允许的最大内存已经耗尽。遇到这样的错误起初让我很诧异,但转眼一想,也不奇怪,因为我正在开发的这个程序是要用一个foreach循环语句在一个有4万条记录的表里全表搜索具有特定特征的数据,也就是说,一次要把4万条数据取出,然后逐条检查每天数据。可想而知,4万条数据全部加载到内存中,内存不爆才怪。

毕竟编程这么多年,我隐约记得PHP里提供有非一次全部加载数据的API,是像处理流媒体那样,随用随取随丢、数据并不会积累在内存的查询方法。经过简单的搜索,果然在官方网站上找到的正确的用法。

这个问题在PHP的官方网站上叫缓冲查询和非缓冲查询(Buffered and Unbuffered queries)。PHP的查询缺省模式是缓冲模式。也就是说,查询数据结果会一次全部提取到内存里供PHP程序处理。这样给了PHP程序额外的功能,比如说,计算行数,将指针指向某一行等。更重要的是程序可以对数据集反复进行二次查询和过滤等操作。但这种缓冲查询模式的缺陷就是消耗内存,也就是用空间换速度。

相对的,另外一种PHP查询模式是非缓冲查询,数据库服务器会一条一条的返回数据,而不是一次全部返回,这样的结果就是PHP程序消耗较少的内存,但却增加了数据库服务器的压力,因为数据库会一直等待PHP来取数据,一直到数据全部取完。

很显然,缓冲查询模式适用于小数据量查询,而非缓冲查询适应于大数据量查询。

对于PHP的缓冲模式查询大家都知道,下面列举的例子是如何执行非缓冲查询API。

非缓冲查询方法一: mysqli

<?php
$mysqli  = new mysqli("localhost", "my_user", "my_password", "world");
$uresult = $mysqli->query("SELECT Name FROM City", MYSQLI_USE_RESULT);

if ($uresult) {
   while ($row = $uresult->fetch_assoc()) {
       echo $row['Name'] . PHP_EOL;
   }
}
$uresult->close();
?>

非缓冲查询方法二: pdo_mysql

<?php
$pdo = new PDO("mysql:host=localhost;dbname=world", 'my_user', 'my_pass');
$pdo->setAttribute(PDO::MYSQL_ATTR_USE_BUFFERED_QUERY, false);

$uresult = $pdo->query("SELECT Name FROM City");
if ($uresult) {
   while ($row = $uresult->fetch(PDO::FETCH_ASSOC)) {
       echo $row['Name'] . PHP_EOL;
   }
}
?>

非缓冲查询方法三: mysql

<?php
$conn = mysql_connect("localhost", "my_user", "my_pass");
$db   = mysql_select_db("world");

$uresult = mysql_unbuffered_query("SELECT Name FROM City");
if ($uresult) {
   while ($row = mysql_fetch_assoc($uresult)) {
       echo $row['Name'] . PHP_EOL;
   }
}
?>

php中文网网友吐槽:

PHP中文网网友小陈给出了一个正确的方式

<?php

if (!function_exists('getYieldBigData')) {
    /**
     * 使用生成器返回生成器对象
     * @param array $data
     * @return Generator
     */
    function getYieldBigData($data = [])
    {
        foreach ($data as $tmp_data) {
            yield $tmp_data;
        }
        unset($tmp_data);
    }
}


if (!function_exists('foreachBigData')) {
    /**
     * 循环大量数据使用生成器来制造值
     * @param array $data
     * @return array|false
     */
    function foreachBigData($data = [])
    {
        if (0 == count($data)) {
            return false;
        }
        $tmp = [];
        foreach (getYieldBigData($data) as $v) {
            $tmp[] = $v;
        }
        unset($v);
        return $tmp;
    }
}

//调用方法
/**
 * @var $data array
 */
$data = [];
/**
 * @var $ret array
 */
$ret = foreachBigData($data);

return $ret;

小白也能看得懂哈!

0.png

如上,此种方式可以达到100万/次!

本文来自php中文网php图文教程频道,原作者: 战神悟空 ,php中文网二次编辑。

关于解决PHP里大量数据循环时内存耗尽问题的方法的文章就分享到这,如果对你有帮助欢迎继续关注我们哦

本文来自投稿,不代表重蔚自留地立场,如若转载,请注明出处https://www.cwhello.com/40960.html

如有侵犯您的合法权益请发邮件951076433@qq.com联系删除

(0)
php学习php学习订阅用户
上一篇 2022年6月18日 23:56
下一篇 2022年6月18日 23:56

相关推荐

  • PHP中如何进行分布式事务处理?

    随着互联网应用的不断发展,分布式系统已经越来越普遍。在分布式系统中,一个事务可能会涉及多个组件或服务,这就带来了分布式事务处理的问题。PHP作为一门常用的服务器端编程语言,也需要解决分布式事务处理问题。…

    2023年5月17日
    05
  • php会话技术的基本介绍

    所谓的会话,指的是客户端 和 服务器进行交互的行为 由于客户端 请求 服务器的时候,采用的是http协议,http协议是无状态的协议 我们每次请求服务器,服务器回应之后,该次请求就会消失 举个例子: 张三是服务器,…

    2018年9月13日 PHP自学教程
    0256
  • 如何在PHP-MVC框架中使用RESTful风格的API。

    随着互联网应用的迅猛发展,越来越多的应用需要提供RESTful风格的API接口。而PHP-MVC框架也成为了现在Web开发中最常用的框架之一。那么,如何在PHP-MVC框架中使用RESTful风格的API呢?一、什么是RESTful API?首先…

    2023年6月3日
    05
  • php分页的具体实现操作

    3(1)先创建一个分页导航条,可以点击 (2)动态创建分页导航条,直接采用面向对象思想实现成员属性:保存数据的,保存将来可能会变化的数据创建多少页,将来会变化,所以我们将其保存到属性上总的页数 == 查询的…

    2018年9月19日 PHP案例操作
    0312
  • 如何使用PHP进行Excel文件处理?

    随着Excel文件在商业领域和日常生活中的不断普及和应用,我们经常需要使用PHP处理Excel文件,例如数据的导入导出,数据的筛选和排序等。因此,本文将介绍如何使用PHP进行Excel文件处理。安装PHPExcel库PHPExcel是一…

    2023年5月17日
    02
  • PHP与MongoDB性能监控。

    随着互联网和移动互联网的飞速发展,Web应用越来越重要,而PHP语言因其易学易用的特点,成为了Web应用开发的一个主流语言。而在数据存储方面,MongoDB因其高性能和可扩展性被越来越多的开发者选择。然而,PHP与Mong…

    2023年5月21日
    01
  • PHP入门指南:PHP和Haskell。

    PHP和Haskell是两种非常不同的编程语言,它们的设计思路和用途都不同。在本文中,我们将会介绍PHP和Haskell,以及它们各自的优缺点。同时,我们还将分别介绍如何入门这两种编程语言,并给出一些学习的建议。PHP是一…

    2023年5月22日
    00
  • 关于php preg_replace_callback回调函数传参问题

    preg_replace_callback这个函数的作用是执行一个正则表达式搜索并且使用一个回调进行替换preg_replace_callback ( mixed $pattern , callable $callback , mixed $subject [, int $limit = -1 [, int &$count ]…

    2022年6月25日
    0129

联系我们

QQ:951076433

在线咨询:点击这里给我发消息邮件:951076433@qq.com工作时间:周一至周五,9:30-18:30,节假日休息