开云（中国大陆官方网站）Kaiyun科技股份有限公司 - 领先的GPU计算与AI算力解决方案

　　不同的模型在cpu和gpu下的时间差异较大，一般来说gpu会比cpu快5-20倍。我们选用了最常用的inception v3的分类模型，输入图片尺寸为：3x299x299。

　　所以：如果服务中在同个卡上多开进程只是服务连接/下载图片的并发实现了并发提速（neuron框架中连接建立、下载图片、算法处理是并发独立的，可近似认为互不影响）；算法的吞吐量基本不变。而且从RT角度考虑单进程较好独占卡（任务可以占据Volatile GPU-Util 90%左右的情况下）。

　　24核服务器下，QPS呈现log趋势。考虑RT，算法可以开启10个进程较优。此时CPU使用率已经逼近2400%。当然如果RT有限制，则采用更小的并发/更多的机器。

　　从另个角度来看，通过改变进程使用的核数统计RT值。这部分和前面CPU部分很类似。

　　单GPU QPS可以达到55；24核CPU的QPS可以达到24左右。但是GPU的TR要远低于CPU，不过GPU并发数上来，RT也会线性增加。

　　按照目前线上一个GPU的成本约等于96个CPU核，CPU性价比还是远优于GPU的。

　　PS:评测中P100性能较好价格较贵、CPU E5-2620已经较为(古老)便宜了。