我的脚本出现问题,该脚本从csv文件导入条目并将其作为wordpress自定义帖子插入(每行都是一个帖子)…
最初,我在自己的类中设置了导入功能,这几乎没有用…从我收集的内容来看,问题是全局变量未缓存,并且每次我调用实例时,都会消耗更多内存,直到该过程为止内存不足并崩溃了…所以我删除了该类并按照下面的代码所述设置了导入功能.
有了这个设置,我到了可以处理多达17k个帖子的地步,但是,如果我尝试导入的帖子超过该数量,它就会退出而不会出现任何错误(我的php错误日志或wordpress debug.log文件)
该脚本成功插入了17k个帖子,打印出回声信息,直到回声信息在“剩余XXX个项目”处过早停止为止,并完成了该页面的加载,此时不再输出任何内容……它永远不会返回到最终回声“完成” ！“;声明…
在localhost开发环境和托管开发服务器上都会发生这种情况.
我一直关注着内存使用情况,在我的本地主机上它从未超过60％(开始时为〜50％),而且我看不到逐步出现的内存上升指示内存泄漏的情况…
我也曾尝试使用ini_set(‘memory_limit’,’64M’);和set_time_limit(0);
从我阅读过的与此类似的其他一些问题来看,
>对于SQL 20k条目应该没什么大不了的
>如果服务器是服务器,wordpress也应该能够处理此问题
足够强大
我可以对下面的代码进行什么样的优化/改进,以使此脚本在这种规模下工作？
或跳过fancypants here提到的内置功能的wordpress并使用LOAD DATA INFILE处理所有内容
我希望通过提供的wordpress功能处理数据.
csv文件约为1mb …
编码：
这些函数驻留在自己的文件中-import.php
function fileupload_process() {
ini_set('memory_limit', '64M');
set_time_limit(0);
$uploadfiles = $_FILES['uploadfiles'];
if (is_array($uploadfiles)) {
foreach ($uploadfiles['name'] as $key => $value) {
// look only for uploaded files
if ($uploadfiles['error'][$key] == 0) {
$filetmp = $uploadfiles['tmp_name'][$key];
if (($handle = fopen($filetmp, "r")) !== FALSE) {
$flag = true;
$songs = explode("\n",file_get_contents($filetmp));
$count = count( $songs );
unset($songs);
echo "Total item count: " . $count . "<BR />";
// typical entry: If You Have To Ask,Red Hot Chili Peppers,0:03:37, Rock & Alternative,1991,on
// using a generous 1000 length - will lowering this actually impact performance in terms of memory allocation?
while (($data = fgetcsv($handle, 1000, ",")) !== FALSE) {
// Skip the first entry in the csv containing colmn info
if($flag) {
$flag = false;
echo "<BR />";
$count--;
continue;
}
// insert the current post and relevant info into the database
$currently_processed = process_custom_post($data, $count);
$count--;
}
echo "Done!";
fclose($handle);
}
unlink($filetmp); // delete the temp csv file
}
}
}
} // END: file_upload_process()
function process_custom_post($song, $count) {
$track = (array_key_exists(0, $song) && $song[0] != "" ? $song[0] : 'N/A');
$artist = (array_key_exists(1, $song) && $song[1] != "" ? $song[1] : 'N/A');
$length = (array_key_exists(2, $song) && $song[2] != "" ? $song[2] : 'N/A');
$genre = (array_key_exists(3, $song) && $song[3] != "" ? $song[3] : 'N/A');
$year = (array_key_exists(4, $song) && $song[4] != "" ? $song[4] : 'N/A');
$month = (array_key_exists(5, $song) && $song[5] != "" ? $song[5] : 'N/A');
$playlist = (array_key_exists(6, $song) && $song[6] != "" ? $song[6] : '');
$custom_post = array();
$custom_post['post_type'] = 'songs';
$custom_post['post_status'] = 'publish';
$custom_post['post_title'] = $track;
echo "Importing " . $artist . " - " . $track . " <i> (" . $count ." items remaining)...</i><BR />";
$post_id = wp_insert_post( $custom_post );
$updated = update_post_meta($post_id, 'artist_name', $artist);
$updated = update_post_meta($post_id, 'song_length', $length);
$updated = update_post_meta($post_id, 'song_genre', $genre);
$updated = update_post_meta($post_id, 'song_year', $year);
$updated = update_post_meta($post_id, 'song_month', $month);
$updated = update_post_meta($post_id, 'sample_playlist', $playlist);
return true;
} // END: process_custom_post()
function import_page () {
//HTML for the import page + the file upload form
if (isset($_POST['uploadfile'])) {
fileupload_process();
}
}
import.php包含在插件类之外的wordpress插件中
即以下是有关如何在导入页面上获取脚本的相关信息：
define( 'MY_PLUGIN_ROOT' , dirname(__FILE__) );
include_once( MY_PLUGIN_ROOT . 'import.php');
class my_plugin () {
function __construct() {
add_action( 'init', array( &$this, 'admin_menu_init' ) );
}
function admin_menu_init() {
if(is_admin()) {
//Add the necessary pages for the plugin
add_action('admin_menu', array(&$this, 'add_menu_items'));
}
}
function add_menu_items() {
add_submenu_page( 'edit.php?post_type=songs', 'Import Songs', 'Import Songs', 'manage_options', 'import-songs', 'import_page' );
}
}
任何想法,评论或建议将不胜感激.
解决方法:
因此,在经过长时间的分析会议之后,与XDEBUG,phpmyadmin和朋友一起,我终于缩小了瓶颈所在：mysql查询
我启用了
define(‘SAVEQUERIES’,true);
来更详细地检查查询,然后将查询数组输出到我的debug.log文件
global $wpdb;
error_log( print_r( $wpdb->queries, true ) );
在检查对数据库的每个INSERT调用时
> wp_insert_post()
[0] =>插入wp_posts(post_author,post_date,post_date_gmt,post_content,post_content_filtered,post_title,post_excerpt,post_status,post_type,comment_status,ping_status,post_password,post_name,to_ping,pinged,post_modified,post_modified_gmt,order_parent,post_parent,post_parent,post_parent
[1] => 0.10682702064514
> update_post_meta()
[0] =>插入到wp_postmeta(post_id,meta_key,meta_value)值(…)
[1] => 0.10227680206299
我发现在我的本地主机服务器上,对数据库的每次调用平均花费约0.1 s
但是,由于我要更新每个条目6个自定义字段,因此可以解决
6 cf插入呼叫/条目*〜0.1s / cf插入呼叫* 20000总条目* 1分钟/ 60s = 200分钟
大约2.5个小时的时间处理2万个帖子的自定义字段
现在,由于所有自定义字段都插入到同一表wp_post_meta中,因此我希望将所有update_post_meta调用合并为一个调用,因此,就此导入脚本的执行时间而言,可以大大提高性能.
我查看了wp核心中的update_post_meta函数,发现没有传递数组而不是单个cf键和值的本机选项,因此我仔细阅读了相关代码以查明SQL INSERT行,并了解如何进行操作的行：
`INSERT INTO `wp_postmeta` (`post_id`,`meta_key`,`meta_value`)
VALUES ( $post_id, 'artist_name' , $artist)
( $post_id, 'song_length' , $length )
( $post_id, 'song_genre' , $genre ) ...`
对于本例中的所有6个自定义字段,依此类推,所有这些都放在一个$wpdb-> query();中； .
调整我的process_custom_post()函数以反映这一点,我最终得到了：
function process_custom_post($song) {
global $wpdb;
// Prepare and insert the custom post
$track = (array_key_exists(0, $song) && $song[0] != "" ? $song[0] : 'N/A');
$custom_post = array();
$custom_post['post_type'] = 'songs';
$custom_post['post_status'] = 'publish';
$custom_post['post_title'] = $track;
$post_id = wp_insert_post( $custom_post );
// Prepare and insert the custom post meta
$meta_keys = array();
$meta_keys['artist_name'] = (array_key_exists(1, $song) && $song[1] != "" ? $song[1] : 'N/A');
$meta_keys['song_length'] = (array_key_exists(2, $song) && $song[2] != "" ? $song[2] : 'N/A');
$meta_keys['song_genre'] = (array_key_exists(3, $song) && $song[3] != "" ? $song[3] : 'N/A');
$meta_keys['song_year'] = (array_key_exists(4, $song) && $song[4] != "" ? $song[4] : 'N/A');
$meta_keys['song_month'] = (array_key_exists(5, $song) && $song[5] != "" ? $song[5] : 'N/A');
$meta_keys['sample_playlist'] = (array_key_exists(6, $song) && $song[6] != "" ? $song[6] : '');
$custom_fields = array();
$place_holders = array();
$query_string = "INSERT INTO $wpdb->postmeta ( post_id, meta_key, meta_value) VALUES ";
foreach($meta_keys as $key => $value) {
array_push($custom_fields, $post_id, $key, $value);
$place_holders[] = "('%d', '%s', '%s')";
}
$query_string .= implode(', ', $place_holders);
$wpdb->query( $wpdb->prepare("$query_string ", $custom_fields));
return true;
}
和中提琴！而不是每个自定义帖子对数据库进行7次INSERT调用,我最终在尝试遍历大量帖子时处理多个自定义字段时产生2个巨大差异-在我的情况下,现在20k个条目在15个内完成处理-20min(相对于〜17k帖子和几个小时的处理时间后我会退出的情况)…
所以我从整个经验中学到的关键是
介意您的数据库调用-他们可以快速添加！