FIO工具：
io是一个非常灵活的io测试工具，他可以通过多线程或进程模拟各种io操作
随着块设备的发展，特别是SSD盘的出现，设备的并行度越来越高。要想利用好这些设备，有个诀窍就是提高设备的iodepth, 一次喂给设备更多的IO请求，让电梯算法和设备有机会来安排合并以及内部并行处理，提高总体效率。
应用程序使用IO通常有二种方式：同步和异步。 同步的IO一次只能发出一个IO请求，等待内核完成才返回，这样对于单个线程iodepth总是小于1，但是可以通过多个线程并发执行来解决，通常我们会用16-32个线程同时工作把iodepth塞满。 异步的话就是用类似libaio这样的linux native aio一次提交一批，然后等待一批的完成，减少交互的次数，会更有效率。
说明：
filename=/dev/sdb1 测试文件名称，通常选择需要测试的盘的data目录。
direct=1 测试过程绕过机器自带的buffer。使测试结果更真实。
rw=randwrite 测试随机写的I/O
rw=randrw 测试随机写和读的I/O
rw=read 测试顺序读的I/O
bs=16k 单次io的块文件大小为16k
bsrange=512-2048 同上，提定数据块的大小范围
size=5g 本次的测试文件大小为5g，以每次4k的io进行测试。
numjobs=30 本次的测试线程为30.
runtime=1000 测试时间为1000秒，如果不写则一直将5g文件分4k每次写完为止。
ioengine=psync io引擎使用pync方式
rwmixwrite=30 在混合读写的模式下，写占30%
group_reporting 关于显示结果的，汇总每个进程的信息。
此外
lockmem=1g 只使用1g内存进行测试。
zero_buffers 用0初始化系统buffer。
nrfiles=8 每个进程生成文件的数量。
以下拿的虚拟机做的测试，很挫，没空闲实体机- - ！
#顺序读
fio -filename=/usr/local/aaaaa -direct=1 -iodepth 1 -thread -rw=read -ioengine=psync -bs=10k -size=20G -group_reporting -name=mytest -runtime 30 Jobs: 1 (f=1): [R] [100.0% done] [355.8M/0K/0K /s] [36.5K/0 /0 iops] [eta 00m:00s] mytest: (groupid=0, jobs=1): err= 0: pid=29911: Tue Oct 13 14:20:12 2015 read : io=10304MB, bw=351699KB/s, iops=35169 , runt= 30000msec clat (usec): min=14 , max=142247 , avg=27.84, stdev=378.42 lat (usec): min=14 , max=142247 , avg=27.90, stdev=378.42 clat percentiles (usec): | 1.00th=[ 15], 5.00th=[ 15], 10.00th=[ 15], 20.00th=[ 15], | 30.00th=[ 15], 40.00th=[ 16], 50.00th=[ 16], 60.00th=[ 16], | 70.00th=[ 16], 80.00th=[ 16], 90.00th=[ 16], 95.00th=[ 21], | 99.00th=[ 30], 99.50th=[ 111], 99.90th=[ 4896], 99.95th=[ 7200], | 99.99th=[ 8896] bw (KB/s) : min=251600, max=407900, per=100.00%, avg=352066.64, stdev=30954.86 lat (usec) : 20=93.90%, 50=5.56%, 100=0.03%, 250=0.10%, 500=0.18% lat (usec) : 750=0.01%, 1000=0.01% lat (msec) : 2=0.03%, 4=0.05%, 10=0.12%, 20=0.01%, 50=0.01% lat (msec) : 100=0.01%, 250=0.01% cpu : usr=3.00%, sys=55.97%, ctx=5272, majf=0, minf=18446744073709538915 IO depths : 1=100.0%, 2=0.0%, 4=0.0%, 8=0.0%, 16=0.0%, 32=0.0%, >=64=0.0% submit : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0% complete : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0% issued : total=r=1055098/w=0/d=0, short=r=0/w=0/d=0Run status group 0 (all jobs): READ: io=10304MB, aggrb=351699KB/s, minb=351699KB/s, maxb=351699KB/s, mint=30000msec, maxt=30000msecDisk stats (read/write): sda: ios=5082/16, merge=0/15, ticks=12921/1, in_queue=12920, util=43.08%