MYSQL

用php更新大量数据，pdo默认会缓存数据，也就是说把数据全部读入内存后再fetch。当数据量很大的时候，会导致内存溢出。

所以这种情况下，我们需要用下面的语句来禁止缓存

$dbh->setAttribute(PDO::MYSQL_ATTR_USE_BUFFERED_QUERY, false); 

但是今天发现，禁止缓存后执行update就会失败，没有找到官方文档。

这种情况下，我想了一个办法，使用2个连接，一个用于无缓存读数据，一个用于有缓存写数据，这样解决了大数据更新的问题，在这里分享一下。

<?php $dbh = new PDO( "mysql:dbname=media;host=192.168.100.28", "xxx", "xxx", array(PDO::MYSQL_ATTR_INIT_COMMAND => "SET NAMES 'utf8'") ); $dbh2 = new PDO( "mysql:dbname=media;host=192.168.100.28", "xxx", "xxx", array(PDO::MYSQL_ATTR_INIT_COMMAND => "SET NAMES 'utf8'") ); $dbh->setAttribute(PDO::MYSQL_ATTR_USE_BUFFERED_QUERY, false); $sql = <<<EOF SELECT ID,URL FROM mm_detail EOF; $sql2 = <<<EOF UPDATE mm_detail SET SEARCH_UNIQUE_URL=:SEARCH_UNIQUE_URL WHERE ID=:ID EOF; $sth = $dbh->prepare($sql, array(PDO::ATTR_CURSOR => PDO::CURSOR_FWDONLY)); $sth2 = $dbh2->prepare($sql2, array(PDO::ATTR_CURSOR => PDO::CURSOR_FWDONLY)); $sth->execute(); while( $row = $sth->fetch(PDO::FETCH_OBJ) ){ $unique_url = get_unique_url($row->URL); echo $unique_url."\n"; $rt=$sth2->execute(array(':ID' => $row->ID,':SEARCH_UNIQUE_URL' => $unique_url)); echo "----$rt-----------"; }

注意：不要设置连接持久化PDO::ATTR_PERSISTENT => true，否则2个连接实际上是共享一个连接，设置第一连接为无缓存会在第二个连接里面也生效，导致update失败。