周末记事

INSERT INTO .. ON DUPLICATE KEY更新多行记录,自动判断重复,更新

Tue, 18 Dec 2012 13:56:51 +0800

如果在INSERT语句末尾指定了ON DUPLICATE KEY UPDATE，并且插入行后会导致在一个UNIQUE索引或PRIMARY KEY中出现重复值，则执行旧行UPDATE；如果不会导致唯一值列重复的问题，则插入新行。例如，如果列a被定义为UNIQUE，并且包含值1，则以下两个语句具有相同的效果：

1
2
3
4

INSERT INTO TABLE (a,b,c)
VALUES (1,2,3) ON DUPLICATE KEY UPDATE c=c+1;

UPDATE TABLE SET c=c+1 WHERE a=1;

如果行作为新记录被插入，则受影响行的值为1；如果原有的记录被更新，则受影响行的值为2。

如果你想了解更多关于INSERT INTO .. ON DUPLICATE KEY的功能说明，详见MySQL参考文档：13.2.4. INSERT语法

现在问题来了，如果INSERT多行记录， ON DUPLICATE KEY UPDATE后面字段的值怎么指定？要知道一条INSERT语句中只能有一个ON DUPLICATE KEY UPDATE，到底他会更新一行记录，还是更新所有需要更新的行。这个问题困扰了我很久了，其实使用VALUES()函数一切问题都解决了。

举个例子，字段a被定义为UNIQUE，并且原数据库表table中已存在记录(2,2,9)和(3,2,1)，如果插入记录的a值与原有记录重复，则更新原有记录，否则插入新行：

1
2
3
4
5
6

INSERT INTO TABLE (a,b,c) VALUES
(1,2,3),
(2,5,7),
(3,3,6),
(4,8,2)
ON DUPLICATE KEY UPDATE b=VALUES(b);

以上SQL语句的执行，发现(2,5,7)中的a与原有记录(2,2,9)发生唯一值冲突，则执行ON DUPLICATE KEY UPDATE，将原有记录(2,2,9)更新成(2,5,9)，将(3,2,1)更新成(3,3,1)，插入新记录(1,2,3)和(4,8,2)

注意：ON DUPLICATE KEY UPDATE只是MySQL的特有语法，并不是SQL标准语法！

如果您指定了ON DUPLICATE KEY UPDATE，并且插入行后会导致在一个UNIQUE索引或PRIMARY KEY中出现重复值，则执行旧行UPDATE。例如，如果列a被定义为UNIQUE，并且包含值1，则以下两个语句具有相同的效果：

mysql> INSERT INTO table (a,b,c) VALUES (1,2,3)

    -> ON DUPLICATE KEY UPDATE c=c+1;

mysql> UPDATE table SET c=c+1 WHERE a=1;

如果行作为新记录被插入，则受影响行的值为1；如果原有的记录被更新，则受影响行的值为2。

注释：如果列b也是唯一列，则INSERT与此UPDATE语句相当：

mysql> UPDATE table SET c=c+1 WHERE a=1 OR b=2 LIMIT 1;

如果a=1 OR b=2与多个行向匹配，则只有一个行被更新。通常，您应该尽量避免对带有多个唯一关键字的表使用ON DUPLICATE KEY子句。

您可以在UPDATE子句中使用VALUES(col_name)函数从INSERT...UPDATE语句的INSERT部分引用列值。换句话说，如果没有发生重复关键字冲突，则UPDATE子句中的VALUES(col_name)可以引用被插入的col_name的值。本函数特别适用于多行插入。VALUES()函数只在INSERT...UPDATE语句中有意义，其它时候会返回NULL。

示例：

mysql> INSERT INTO table (a,b,c) VALUES (1,2,3),(4,5,6)

    -> ON DUPLICATE KEY UPDATE c=VALUES(a)+VALUES(b);

本语句与以下两个语句作用相同：

mysql> INSERT INTO table (a,b,c) VALUES (1,2,3)

    -> ON DUPLICATE KEY UPDATE c=3;

mysql> INSERT INTO table (a,b,c) VALUES (4,5,6)

    -> ON DUPLICATE KEY UPDATE c=9;

当您使用ON DUPLICATE KEY UPDATE时，DELAYED选项被忽略。

您可以使用SQL LAST_INSERT_ID()函数查找用于AUTO_INCREMENT列的值。从C API的内部，使用mysql_insert_id()函数。不过，您应该注意，两个函数的作用并不总是相同的。在12.9.3节，“信息函数”和25.2.3.36节，“mysql_insert_id()”中进一步讨论了与AUTO_INCREMENT列有关的INSERT语

php 的webservice类库NuSoap实现web中wsdl应用

Tue, 11 Dec 2012 17:36:46 +0800

NuSOAP 是 PHP 环境下的 WEB 服务编程工具，用于创建或调用 WEB 服务。它是一个开源软件，当前版本是 0.9.5 ，支持 SOAP1.1 、 WSDL1.1 ，可以与其他支持 SOAP1.1 和 WSDL1.1 的系统互操作。 NuSOAP 完全由PHP语言编写，由一系列 PHP 类组成，不需要扩展库的支持，这种特性使得 NuSOAP 可以用于所有的 PHP 环境，不受服务器安全设置的影响。

1. NuSOAP 的获取和安装

NuSOAP 项目建立在 SourceForge 上，网络地址是：

http://sourceforge.net/projects/nusoap/

http://sourceforge.net/projects/nusoap/files/nusoap/

或 http://dietrich.ganx4.com/nusoap，这里，

可以下载到 NuSOAP 的最新的版本。

NuSOAP 的安装比较简单，把下载的 NuSOAP 的文件拷贝到服务器上，可以放在独立的目录里，也可以与程序代码放在相同的目录里，只要你的 PHP 代码能够访问到这些文件就可以了。

本文的测试环境基于 PHP5.2.6 和 NuSOAP 0.9.5 版本， NuSOAP 安装在 WEB 目录“ /nusoap ”里，有两个子目录， lib 和 samples 。其中， lib 目录下存放 NuSOAP 的所有源代码文件， samples 目录下是NuSOAP开发小组提供一些的例子。测试文件存放在 WEB 目录“ /nusoap ”里。

2. NuSOAP 的使用

NuSOAP 由一 PHP 的类组成，其中最常用到的是类soap_server和类soalclient。类soap_server 用于创建 WEB 服务，类soapclient在访问WEB服务时会用到。

2.1 一个简单的例子： Hello World

这个例子将利用 NuSOAP 创建一个简单的 WEB 服务，并利用 NuSOAP 创建一个客户端程序，调用这个服务。这个服务唯一的功能就是向客户端返回一个字符串“ Hello World ”。首先，创建 WEB 服务程序代码文件“ /nusoap/nusoap_server1.php ”：

 [php] view plaincopy
//把 NuSOAP 的源文件包含到当前的代码文件里  
<?php   
require_once("lib/nusoap.php");   
//定义服务程序   
function hello() {   
  return 'Hello World!';   
}   
//初始化服务对象 , 这个对象是类 soap_server 的一个实例   
$soap = new soap_server;   
//调用服务对象的 register 方法注册需要被客户端访问的程序。  
//只有注册过的程序，才能被远程客户端访问到。  
$soap->register('hello');   
//最后一步，把客户端通过 post 方式提交的数据，传递给服务对象的 service 方法。   
//service 方法处理输

git命令一栏表,很完整哦~~

Wed, 05 Dec 2012 09:56:11 +0800

linux screen 命令详解 - [linux]

Wed, 21 Nov 2012 17:39:11 +0800

功能说明：
使用telnet或SSH远程登录linux时，如果连接非正常中断，重新连接时，系统将开一个新的session，无法恢复原来的 session.screen命令可以解决这个问题。Screen工具是一个终端多路转接器，在本质上，这意味着你能够使用一个单一的终端窗口运行多终端的应用。
语　　法：
screen [-AmRvx -ls -wipe][-d <作业名称>][-h <行数>][-r <作业名称>][-s ][-S <作业名称>]
补充说明：
screen为多重视窗管理程序。此处所谓的视窗，是指一个全屏幕的文字模式画面。通常只有在使用telnet登入主机或是使用老式的终端机时，才有可能用到screen程序。
参　　数：
-A 　将所有的视窗都调整为目前终端机的大小。
-d <作业名称> 　将指定的screen作业离线。
-h <行数> 　指定视窗的缓冲区行数。
-m 　即使目前已在作业中的screen作业，仍强制建立新的screen作业。
-r <作业名称> 　恢复离线的screen作业。
-R 　先试图恢复离线的作业。若找不到离线的作业，即建立新的screen作业。
-s 　指定建立新视窗时，所要执行的shell。
-S <作业名称> 　指定screen作业的名称。
-v 　显示版本信息。
-x 　恢复之前离线的screen作业。
-ls或--list 　显示目前所有的screen作业。
-wipe 　检查目前所有的screen作业，并删除已经无法使用的screen作业。
常用screen参数：
screen -S yourname -> 新建一个叫yourname的session
screen -ls -> 列出当前所有的session
screen -r yourname -> 回到yourname这个session
screen -d yourname -> 远程detach某个session
screen -d -r yourname -> 结束当前session并回到yourname这个session
在每个screen session 下，所有命令都以 ctrl+a(C-a) 开始。
C-a ? -> Help，显示简单说明
C-a c -> Create，开启新的 window
C-a n -> Next，切换到下个 window
C-a p -> Previous，前一个 window
C-a 0..9 -> 切换到第 0..9 个window
Ctrl+a [Space] -> 由視窗0循序換到視窗9
C-a C-a -> 在两个最近使用的 window 间切换
C-a x -> 锁住当前的 window，需用用户密码解锁
C-a d -> detach，暂时离开当前session，将目前的 screen session (可能含有多个 windows) 丢到后台执行，并会回到还没进 screen 时的状态，此时在 screen session 里    每个 window 内运行的 process (无论是前台/后台)都在继续执行，即使 logout 也不影响。
C-a z -> 把当前session放到后台执行，用 shell 的 fg 命令則可回去。
C-a w -> Windows，列出已开启的 windows 有那些
C-a t -> Time，显示当前时间，和系统的 load
C-a K -> kill window，强行关闭当前的 window
C-a [ -> 进入 copy mode，在 copy mode 下可以回滚、搜索、复制就像用使用 vi 一样
    C-b Backward，PageUp
    C-f Forward，PageDown
    H(大写) High，将光标移至左上角
    L Low，将光标移至左下角
    0 移到行首
    $ 行末
    w forward one word，以字为单位往前移
    b backward one word，以字为单位往后移
    Space 第一次按为标记区起点，第二次按为终点
    Esc 结束 copy mode
C-a ] -> Paste，把刚刚在 copy mode 选定的内容贴上
--End--

LINUX命令行下如何附带参数运行PHP脚本实例详解

Wed, 21 Nov 2012 17:33:54 +0800

参考手册：http://www.php.net/manual/zh/features.commandline.php

可执行文件

所有的PHP发行版，不论是编译自源代码的版本还是预创建的版本，都在默认情况下带有一个PHP可执行文件。这个可执行文件可以被用来运行命令行的PHP程序。

要在你的系统上找到这个可执行文件，就要遵照下面的步骤：

在Windows操作系统里，它被放在PHP主安装目录下，文件名是php.exe或者（在老版本的PHP里）是php-cli.exe。

在Linux操作系统里，它被保存在PHP安装目录的bin/子目录下。

不论是在哪一个操作系统里，你都需要对它进行测试，以保证它能够正常运行，方法是用-v参数调用它：

shell> /path/to/php -v
PHP 5.0.0 (cli) (built: Jun 1 2005 18:32:10)
Copyright (c) 1997-2004 The PHP Group
Zend Engine v2.0.0, Copyright (c) 1998-2004 Zend Technologies

它应该会返回PHP的版本号。

一个简单的PHP CLI程序
一旦找到了这个CLI可执行文件，你就可以用一个简单的程序来使用一下。创建一个简单的文本文件，其中包含有以下PHP代码，并把它保存为hello.php：

<?php
echo "Hello from the CLI";
?>

现在，试着在命令行提示符下运行这个程序，方法是调用CLI可执行文件并提供脚本的文件名：

shell> /path/to/phphello.php
Hello from the CLI

使用标准的输入和输出
PHP CLI会定义三个常量，以便让在命令行提示符下与解释器进行交互操作更加容易。这些常量见表格A。

表格A

常量	说明
STDIN	标准的输入设备
STDOUT	标准的输出设备
STDERR	标准的错误设备

你可以在自己的PHP脚本里使用这三个常量，以接受用户的输入，或者显示处理和计算的结果。要更好地理解这一点，可以看看下面的脚本（列表A）：

列表A
<?php
// ask for input
fwrite(STDOUT, "Enter your name: ");

// get input
$name = trim(fgets(STDIN));

// write input back
fwrite(STDOUT, "Hello, $name!");
?>
Look what happens when you run it:
shell> /path/to/phphello.php
Enter your name: Joe
Hello, Joe!

在这个脚本里，fwrite()函数首先会向标准的输出设备写一条消息，询问用户的姓名。然后它会把从标准输入设备获得的用户输入信息读取到一个PHP变量里，并它把合并成为一个字符串。然后就用fwrite()把这个字符串打印输出到标准的输出设备上。

使用命令行自变量
在命令行里输入程序参数来更改其运行方式是很常见的做法。你也可以对CLI程序这样做。PHP CLI带有两个特殊的变量，专门用来达到这个目的：一个是$argv变量，它通过命令行把传递给PHP脚本的参数保存为单独的数组元素；另一个是$argc变量，它用来保存$argv数组里元素的个数。

用PHP脚本编写一段读取$argv并处理它所含参数的代码是很简单的。试试列表B里的示例脚本，看看它是如何工作的：

列表B
<?php
print_r($argv);
?>

Run this script by passing it some arbitrary values, and check the output:

shell> /path/to/phptest.php chocolate 276 "killer tie, dude!"
Array
( [0] => test.php
[1] => chocolate
[2] => 276
[3] => killer tie, dude!
)

正如你可以从输出的结果看到的，传递给test.php的值会自动地作为数组元素出现在$argv里。要注意的是，$argvis的第一个自变量总是脚本自己的名称。

下面是一个更加复杂的例子（列表C）：

列表C
<?php
// check for all required arguments
// first argument is always name of script!
if ($argc != 4) {
die("Usage: book.php <check-in-date> <num-nights> <room-type> ");
}

// remove first argument
array_shift($argv);

// get and use remaining arguments
$checkin = $argv[0];
$nights = $argv[1];
$type = $argv[2];
echo "You have requested a $type room for $nights nights, checking in on $checkin. Thank you for your order! ";
?>

下面是其用法的示例：

shell> /path/to/phpbook.php 21/05/2005 7 single
You have requested a single room for 7 nights, checking in on 21/05/2005. Thank you for your order!

在这里，脚本首先会检查$argc，以确保自变量的数量符合要求。它然后会从$argv里提取出每一个自变量，把它们打印输出到标准的输出设备上。

注意：你可以用Console_Getopt PEAR类向PHP增加更加复杂的命令行参数。

使用CLI参数
除了用命令行传递PHP脚本参数，你还可以传递PHP CLI参数以更改其工作方式。表格B就是一些重要参数的列表：

表格B

参数	说明
-a	交互式运行Run interactively
-c	path 从path读取php的.ini文件
-n	不用读取php的.ini文件就直接运行
-m	列出经过编译的模块
-i	显示有关PHP构建的信息
-l	检查PHP脚本的句法
-s	以彩色方式显示源代码
-w	显示去掉注释之后的源代码
-h	显示帮助

交互模式
你还可以以交互方式使用PHP CLI，也就是输入命令，马上获得结果。要得到这种效果，只需要使用一个参数调用CLI可执行文件就行了，就像下面这样：

shell> /path/to/php -a

你会看到一个空行，你可以在里面输入PHP代码。看看：

shell> /path/to/php -a
Interactive mode enabled
<?php
echo mktime();
1121187283
echo 2+2;
4
exit();
shell>

或者，你可以不使用-a参数就调用CLI可执行文件，直接输入完整的脚本或者代码段。用<Ctrl>-D来结束代码段，并让CLI来执行它。见下面的例子：

shell> /path/to/php
<?php
ech
o date("d-M-Y h:i:s", time());
?>
<Ctrl-D>
12-Jul-2005 06:54:04

这就是PHP的命令行，现在你应该已经对PHP CLI有了足够的了解，并开始使用它了。

使用TCMalloc优化Nginx和mysql增强服务器高并发负载能力

Fri, 02 Nov 2012 10:16:11 +0800

使用TCMalloc优化Nginx和mysql增强服务器高并发负载能力

TCMalloc(Thread-Caching Malloc)是google开发的开源工具──“google-perftools”中的成员。与标准的glibc库的malloc相比，TCMalloc在内存的分配上效率和速度要高得多，可以在很大程度上提高MySQL服务器在高并发情况下的性能，降低系统负载。

1、什么是TCMalloc?

TCMalloc意思是线程缓存的malloc。TCMalloc(Thread-Caching Malloc)是google开发的开源工具──“google-perftools”中的成员。与标准的glibc库的malloc相比，TCMalloc在内存的分配上效率和速度要高得多，可以在很大程度上提高服务器在高并发情况下的性能，降低系统负载。

2、TCMalloc安装

为MySQL添加TCMalloc库的安装步骤(Linux环境)：

1、64位操作系统请先安装 libunwind库，32位操作系统不要安装。libunwind库为基于64位CPU和操作系统的程序提供了基本的堆栈辗转开解功能，其中包括用于输出堆栈跟踪的API、用于以编程方式辗转开解堆栈的API以及支持C++异常处理机制的API。

01
wget http://download.savannah.gnu.org/releases/libunwind/libunwind-0.99-alpha.tar.gz
02

03
tar zxvf libunwind-0.99-alpha.tar.gz
04

05
cd libunwind-0.99-alpha/
06

07
CFLAGS=-fPIC ./configure
08

09
make CFLAGS=-fPIC
10

11
make CFLAGS=-fPIC install
2、安装google-perftools：

01
wget http://google-perftools.googlecode.com/files/google-perftools-0.97.tar.gz
02

03
tar zxvf google-perftools-0.97.tar.gz
04

05
cd google-perftools-0.97/
06

07
./configure
08

09
make && make install
10

11
echo "/usr/local/lib" > /etc/ld.so.conf.d/usr_local_lib.conf
12

13
/sbin/ldconfig

注意：如果是64位系统，编译参数改为：./configure –enable-frame-pointers

3、设置并更新动态连接库

echo "/usr/local/lib" > /etc/ld.so.conf.d/usr-local-lib.conf

ldconfig

4、 MYSQL 和NGINX 编译配置

Nginx编译配置

./configure –with-http_stub_status_module –with-google_perftools_module 其他的也可以自己添加嘛。

新建目录：/tmp/tcmalloc，赋予755权限。

google_perftools_profiles /tmp/tcmalloc; 在nginx 主配置nginx.conf worker_rlimit_nofile 添加此行

重点在mysql的编译问题：

mysql编译可能加载不上TCMalloc，

1)、一种方法：直接编译TCMalloc进mysql

./configure --prefix=/usr/local/mysql --with-extra-charsets=complex --enable-thread-safe-client --enable-assembler --with-mysqld-ldflags=-all-static --with-mysqld-ldflags=-ltcmalloc --with-charset=utf8 --enable-thread-safe-client --with-big-tables --with-readline --with-ssl --with-embedded-server --enable-local-infile

2)、第二方法：去掉静态编译参数，

--with-mysqld-ldflags=-all-static ，在相关文件中添加TCMalloc加载项

./configure --prefix=/usr/local/mysql --with-extra-charsets=complex --enable-thread-safe-client --enable-assembler --with-charset=utf8 --enable-thread-safe-client --with-big-tables --with-readline --with-ssl --with-embedded-server --enable-local-infile

然后：

sudo vi /usr/local/web/mysql/bin/mysqld_safe

#在：# executing mysqld_safe下加入以下

export LD_PRELOAD=/usr/local/lib/libtcmalloc.so

最后重启下Nginx和Mysql

lsof -n | grep tcmalloc

如果显示以下说明OK，

root@wehefei:/home/jincon/lnmp1.0.2/nginx-1.0.15# lsof | grep tcmalloc

mysqld 20047 mysql mem REG 104,17 1902881 9048380 /usr/local/lib/libtcmalloc.so.0.2.2

nginx 23726 www 9w REG 104,17 0 14418049 /tmp/tcmalloc.23726

nginx 23727 www 11w REG 104,17 0 14418050 /tmp/tcmalloc.23727

nginx 23728 www 13w REG 104,17 0 14418052 /tmp/tcmalloc.23728

nginx 23729 www 15w REG 104,17 0 14418051 /tmp/tcmalloc.23729

包子的Nginx开启了四个进程，注意下。

wget 批量下载网站目录下的文件

Thu, 01 Nov 2012 13:55:24 +0800

今天整了一下ddnas，但是几次更新都出问题，于是准备在diavps上搞过镜像，自己搭建一个openwrt源。执行如下命令就会自动下载http://downloads.openwrt.org/snapshots/trunk/kirkwood/packages/下面的所有文件：

wget -nd -r -l1 --no-parent http://downloads.openwrt.org/snapshots/trunk/kirkwood/packages/

注：-nd 不创建目录；-r 递归下载；-l1只下载当前目录下的文件；–no-parent 不下载父目录中的文件。

如果想指定下载制定后缀的文件，如只下载http://downloads.openwrt.org/snapshots/trunk/kirkwood/packages/下.ipk文件和.gz文件：

wget -nd -r -l1 --no-parent -A.ipk -A.gz http://downloads.openwrt.org/snapshots/trunk/kirkwood/packages/

搞好后，更换源，再opkg update恢复正常

下载网站目录下的除html 之外的文件和目录，且不遵守robots.txt的限制。

wget -c -r -np -k -L --reject=html http://mirrors.rit.edu/rpi/images/ -e robots=off

推荐一款好用的客户端测试web服务器性能的工具

Tue, 30 Oct 2012 14:39:25 +0800

自动化测试Web服务器性能 autobench+httperf (2010-03-29 23:49)
分类：网络应用与开发
整理这个主要是为学员的项目需要。我希望学员能自行做一个支持GET的简单WEB服务器，能用各种方法优化其下载性能，需要一个能直观了解性能工具以分析程序是否改进。因此查到资料 autobench+httpref 组合来测试HTTP服务器性能。我只是现在将资料整理一下，按照自己习惯格式边做边整理一下。
1.HTTPerf单独使用
HP实验室出的命令行HTTP性能测试工具
• 主页: http://www.hpl.hp.com/research/linux/httperf/
• 下载: http://httperf.googlecode.com/files/httperf-0.9.0.tar.gz
• 解压:
o tar xvzf httperf-0.9.0.tar.gz
o cd httperf-0.9.0
• 生成Makefile
o ./configure
• 编译 make
• 安装 make install
httpref是通过命令行来调用。它有如下参数
httperf --help Usage: httperf [-hdvV] [--add-header S] [--burst-length N] [--client N/N] [--close-with-reset] [--debug N] [--failure-status N] [--help] [--hog] [--http-version S] [--max-connections N] [--max-piped-calls N] [--method S] [--no-host-hdr] [--num-calls N] [--num-conns N] [--period [d|u|e]T1[,T2]] [--port N] [--print-reply [header|body]] [--print-request [header|body]] [--rate X] [--recv-buffer N] [--retry-on-failure] [--send-buffer N] [--server S] [--server-name S] [--session-cookies] [--ssl] [--ssl-ciphers L] [--ssl-no-reuse] [--think-timeout X] [--timeout X] [--uri S] [--verbose] [--version] [--wlog y|n,file] [--wsess N,N,X] [--wsesslog N,X,file] [--wset N,X]
其中常用的参数的含义
• --server S web服务器地址
• --num-conns N 测试联接数
• --num-calls N 每连接中发起联接数，一般是1
• --rate N 每秒请求数
• --port N 测试端口
• −−method S 测试HTTP方法，默认为GET
• --uri S 测试网页，默认为/
• --timeout N 等待服务器响应时间
测试本地嵌入式Web 服务器 BOA性能.
httperf --server 127.0.0.1 --port 8080 --num-conns 200 --timeout 5 --uri /index.html
结果：
httperf --timeout=5 --client=0/1 --server=127.0.0.1 --port=8080 --uri=/index.html --send-buffer=4096 --recv-buffer=16384 --num-conns=200 --num-calls=1 Maximum connect burst length: 1
Total: connections 200 requests 200 replies 200 test-duration 2.184 s
Connection rate: 91.6 conn/s (10.9 ms/conn, <=1 concurrent connections) Connection time [ms]: min 2.8 avg 10.9 max 1301.8 median 4.5 stddev 91.7 Connection time [ms]: connect 0.8 Connection length [replies/conn]: 1.000
Request rate: 91.6 req/s (10.9 ms/req) Request size [B]: 72.0
Reply rate [replies/s]: min 0.0 avg 0.0 max 0.0 stddev 0.0 (0 samples) Reply time [ms]: response 2.7 transfer 7.4 Reply size [B]: header 190.0 content 42605.0 footer 0.0 (total 42795.0) Reply status: 1xx=0 2xx=200 3xx=0 4xx=0 5xx=0
CPU time [s]: user 0.00 system 0.18 (user 0.0% system 8.2% total 8.2%) Net I/O: 3832.9 KB/s (31.4*10^6 bps)
Errors: total 0 client-timo 0 socket-timo 0 connrefused 0 connreset 0 Errors: fd-unavail 0 addrunavail 0 ftab-full 0 other 0
每次设置HTTPerf参数来测试实在麻烦，因此autobench就派上用场了。autobench是一个自动测试工具(用的是Perl脚本）,用它来调用httperf来测试，省事多了。在他的官网上，也强调与httperf的配合。
2.HTTPerf+Autobench
• 主页： http://www.xenoclast.org/autobench
• 下载:http://www.xenoclast.org/autobench/downloads/autobench-2.1.2.tar.gz
• 解压 tar xvzf autobench-2.1.2.tar.gz
o cd cd autobench-2.1.2
• 编译 make
• 安装 make install
安装时在我的机器上出现如下错误提示
perl: warning: Setting locale failed. perl: warning: Please check that your locale settings: LANGUAGE = (unset), LC_ALL = (unset), LANG = "en" are supported and installed on your system.
这是perl 常见安装问题，我的解决方法是手工设定两个环境变量
export LC_ALL=en_US
export LANGUAGE=en_US
autobench 调用httperf 方法,在其官网给出一些样例了。
2.1单机测试模式
测试单台主机,以下是官网样例 autobench --single_host --host1 www.test.com --uri1 /10K --quiet \ --low_rate 20 --high_rate 200 --rate_step 20 --num_call 10 \ --num_conn 5000 --timeout 5 --file results.tsv
其参数含义
• --signle_host 只测单机
• --host1 测试主机地址
• --uri1 host1 测试URI
• --quiet 安静模式
• --low_rate 测试时最低请求数(指 httperf)
• --hight_rate 测试时最高请求数
• --rate_step 每次测试请求数增加步长
• --num-call 同httperf
• --num_conn 同httperf
• --file 测试结果输出的 tsv文件
对boa 的进行自动测试。
autobench --single_host --host1 127.0.0.1 --uri1 /index.html --port1 8080 --quiet --low_rate 20 --high_rate 200 --rate_step 20 --num_call 1 --num_conn 500 --timeout 5 --file results.tsv
tsv文件应该是csv格式的,这是我的BOA测试结果
dem_req_rate req_rate_127.0.0.1 con_rate_127.0.0.1 min_rep_rate_127.0.0.1 avg_rep_rate_127.0.0.1 max_rep_rate_127.0.0.1 stddev_rep_rate_127.0.0.1 resp_time_127.0.0.1 net_io_127.0.0.1 errors_127.0.0.1 20 20.0 20.0 20.0 20.0 20.0 0.0 15.1 838.8 0 40 39.8 39.8 40.0 40.0 40.0 0.0 25.2 1664.8 0 60 60.1 60.1 54.5 54.5 54.5 0.0 64.6 2515.5 0 80 64.6 64.6 51.6 51.6 51.6 0.0 587.5 2702.5 0 100 71.8 71.8 24.6 24.6 24.6 0.0 919.8 3007.3 0 120 67.4 67.4 23.8 23.8 23.8 0.0 1221.9 2822.0 0 140 68.0 68.0 25.2 25.2 25.2 0.0 1210.9 2845.7 0 160 79.9 79.9 10.8 10.8 10.8 0.0 1485.2 3346.1 0 180 63.1 63.1 1.4 1.4 1.4 0.0 1629.4 2640.4 0 200 67.3 67.3 1.4 1.4 1.4 0.0 2785.8 2810.9 0.200400801603206
2.2 双机测试模式
autobench 还能做两机对比测试,这样可以在同等网络条件下，测试两台服务器性能。它主要用增加几个参数
关掉 --single_host参数，增加 --host2 --uri2 --port2 几个参数即可。
tsv格式还是不直观，如果输出图形结果，将更加有直观。autobench建议用gnuplot来输出相应图形.一个科学绘图图形包。
3.输出测试图形
3.1 失败结果(autobech与最新版不兼容）
• 官网:http://www.gnuplot.info
• 下载:http://downloads.sourceforge.net/project/gnuplot/gnuplot/4.4.0/gnuplot-4.4.0.tar.gz?use_mirror=nchc
• 解压 tar xvzf gnuplot-4.4.0.tar.gz
o cd gnuplot-4.4.0
• 这个包时间非常新，因此要把系统时间调准点。
tar: gnuplot-4.4.0/lisp: time stamp 2010-03-14 05:28:45 is 983592 s in the future tar: gnuplot-4.4.0: time stamp 2010-03-14 05:28:44 is 983591 s in the future
• 生成Makefile ./configure
• 编译 make
• 安装 make install
autobench 使用 bench2graph来生成图形。
执行 bench2graph results.tsv results.png 按网上提示生成bench2png.（直接执行bench2graph 无法生成PNG）
• cp /usr/local/bin/bench2graph /usr/local/bin/bench2png
• sed -i 's/postscript color/png xffffff/g' /usr/local/bin/bench2png
去掉 bench2png 的77行的 echo set data style linespoints >> gnuplot.cmd
因为4.4版本不支持 set data style 选项提示
set data style linespoints ^ "gnuplot.cmd", line 6: Unrecognized option. See 'help set'.
生成输出图形 bench2png results.tsv results.png
这个图没有曲线？感觉不对换成网上显示成功的gnuplot-4.2.0
3.2 成功的版本
• 解压 tar xvzf gnuplot-4.2.0.tar.gz
• cd gnuplot-4.2.0
• 生成Makefile ./configure
• 编译 make
• 安装 make install
cp /usr/local/bin/bench2graph /usr/local/bin/bench2png
sed -i 's/postscript color/png xffffff/g' /usr/local/bin/bench2png
注意这里一定要打开echo set data style linespoints >> gnuplot.cmd
b
ench2png results.tsv results.png
生成结果

百度文库说明地址：http://wenku.baidu.com/view/dcb6683d87c24028915fc33e.html

png图片生成透明背景处理方法

Thu, 25 Oct 2012 14:43:42 +0800

<?php

//创建透明画布

$im_out =imagecreatetruecolor($imgcreat_x, $imgcreat_y);

imagealphablending($im_out, true);

imagesavealpha($im_out, true);

$trans_colour = imagecolorallocatealpha($im_out, 0, 0, 0, 127);

imagefill($im_out, 0, 0, $trans_colour);

ImageCopyResized($im_out, $im, 0,0, 0, 0, $img_x, $img_y, $img[0], $img[1]);

imagepng($im_out);

利用Tokyo Tyrant构建兼容Memcached协议、支持故障转移、高并发的分布式key-value持久存储系统

Tue, 23 Oct 2012 13:57:40 +0800

Tokyo Tyrant 是由同一作者开发的 Tokyo Cabinet 数据库网络接口。它拥有Memcached兼容协议，也可以通过HTTP协议进行数据交换。

Tokyo Tyrant 加上 Tokyo Cabinet，构成了一款支持高并发的分布式持久存储系统，对任何原有Memcached客户端来讲，可以将Tokyo Tyrant看成是一个Memcached，但是，它的数据是可以持久存储的。这一点，跟新浪的Memcachedb性质一样。

相比Memcachedb而言，Tokyo Tyrant具有以下优势：

1、故障转移：Tokyo Tyrant支持双机互为主辅模式，主辅库均可读写，而Memcachedb目前支持类似MySQL主辅库同步的方式实现读写分离，支持“主服务器可读写、辅助服务器只读”模式。

这里使用 $memcache->addServer 而不是 $memcache->connect 去连接 Tokyo Tyrant 服务器，是因为当 Memcache 客户端使用 addServer 服务器池时，是根据“crc32(key) % current_server_num”哈希算法将 key 哈希到不同的服务器的，PHP、C 和 python 的客户端都是如此的算法。Memcache 客户端的 addserver 具有故障转移机制，当 addserver 了2台 Memcached 服务器，而其中1台宕机了，那么 current_server_num 会由原先的2变成1。

引用 memcached 官方网站和 PHP 手册中的两段话：

引用

\download/2012/10/201210231400378160.gif">

但是，Tokyo Tyrant 也有缺点：在32位操作系统下，作为 Tokyo Tyrant 后端存储的 Tokyo Cabinet 数据库单个文件不能超过2G，而64位操作系统则不受这一限制。所以，如果使用 Tokyo Tyrant，推荐在64位CPU、操作系统上安装运行。

一、安装
1、首先编译安装tokyocabinet数据库

wget http://fallabs.com/tokyocabinet/tokyocabinet-1.4.48.tar.gz
tar zxvf tokyocabinet-1.4.45.tar.gz
cd tokyocabinet-1.4.45/
./configure
#注：在32位Linux操作系统上编译Tokyo cabinet，请使用./configure --enable-off64代替./configure，可以使数据库文件突破2GB的限制。
#./configure --enable-off64
make
make install
cd ../

2、然后编译安装tokyotyrant

wget http://fallabs.com/tokyotyrant/tokyotyrant-1.1.41.tar.gz
tar zxvf tokyotyrant-1.1.40.tar.gz
cd tokyotyrant-1.1.40/
./configure
make
make install
cd ../

二、配置
1、创建tokyotyrant数据文件存放目录

mkdir -p /ttserver/

2、启动tokyotyrant的主进程（ttserver）
(1)、单机模式

ulimit -SHn 51200
ttserver -host 127.0.0.1 -port 11211 -thnum 8 -dmn -pid /ttserver/ttserver.pid -log /ttserver/ttserver.log -le -ulog /ttserver/ -ulim 128m -sid 1 -rts /ttserver/ttserver.rts /ttserver/database.tcb#lmemb=1024#nmemb=2048#bnum=10000000

(2)、双机互为主辅模式
服务器192.168.1.91：

ulimit -SHn 51200
ttserver -host 192.168.1.91 -port 11211 -thnum 8 -dmn -pid /ttserver/ttserver.pid -log /ttserver/ttserver.log -le -ulog /ttserver/ -ulim 128m -sid 91 -mhost 192.168.1.92 -mport 11211 -rts /ttserver/ttserver.rts /ttserver/database.tcb#lmemb=1024#nmemb=2048#bnum=10000000

服务器192.168.1.92：

ulimit -SHn 51200
ttserver -host 192.168.1.92 -port 11211 -thnum 8 -dmn -pid /ttserver/ttserver.pid -log /ttserver/ttserver.log -le -ulog /ttserver/ -ulim 128m -sid 92 -mhost 192.168.1.91 -mport 11211 -rts /ttserver/ttserver.rts /ttserver/database.tcb#lmemb=1024#nmemb=2048#bnum=10000000

(3)、参数说明
ttserver [-host name] [-port num] [-thnum num] [-tout num] [-dmn] [-pid path] [-log path] [-ld|-le] [-ulog path] [-ulim num] [-uas] [-sid num] [-mhost name] [-mport num] [-rts path] [dbname]

-host name : 指定需要绑定的服务器域名或IP地址。默认绑定这台服务器上的所有IP地址。
-port num : 指定需要绑定的端口号。默认端口号为1978
-thnum num : 指定线程数。默认为8个线程。
-tout num : 指定每个会话的超时时间（单位为秒）。默认永不超时。
-dmn : 以守护进程方式运行。
-pid path : 输出进程ID到指定文件（这里指定文件名）。
-log path : 输出日志信息到指定文件（这里指定文件名）。
-ld : 在日志文件中还记录DEBUG调试信息。
-le : 在日志文件中仅记录错误信息。
-ulog path : 指定同步日志文件存放路径（这里指定目录名）。
-ulim num : 指定每个同步日志文件的大小（例如128m）。
-uas : 使用异步IO记录更新日志（使用此项会减少磁盘IO消耗，但是数据会先放在内存中，不会立即写入磁盘，如果重启服务器或ttserver进程被kill掉，将导致部分数据丢失。一般情况下不建议使用）。
-sid num : 指定服务器ID号（当使用主辅模式时，每台ttserver需要不同的ID号）
-mhost name : 指定主辅同步模式下，主服务器的域名或IP地址。
-mport num : 指定主辅同步模式下，主服务器的端口号。
-rts path : 指定用来存放同步时间戳的文件名。

如果使用的是哈希数据库，可以指定参数“#bnum=xxx”来提高性能。它可以指定bucket存储桶的数量。例如指定“#bnum=1000000”，就可以将最新最热的100万条记录缓存在内存中：

ttserver -host 127.0.0.1 -port 11211 -thnum 8 -dmn -pid /ttserver/ttserver.pid -log /ttserver/ttserver.log -le -ulog /ttserver/ -ulim 128m -sid 1 -rts /ttserver/ttserver.rts /ttserver/database.tch#bnum=1000000

如果大量的客户端访问ttserver，请确保文件描述符够用。许多服务器的默认文件描述