本地测试方法

如果使用docker镜像打包,可选择镜像模式。否则,使用代码模式。

镜像模式

用户执行packdocker将代码放入镜像中后,可根据以下步骤进行本地测试。

1.运行本地服务

镜像准备完成后,可在本地运行docker中的服务。

sudo docker run -d --net=bridge --name=uai_inference_test -p 8080:8080 

2.发送Http 测试请求

curl -X POST http://localhost:8080/service -T 

代码模式

AI在线服务包含了一个uai-sdk-httpserver,其是基于Flask的http server逻辑,可以用来测试您所写的inference代码。

1.代码准备

首先下载测试所需服务代码。 https://github.com/ucloud/uai-sdk-httpserver

git clone https://github.com/ucloud/uai-sdk-httpserver.git

2.模型准备

请将您的模型文件目录checkpoint_dir直接放入http-server-httpserver/ 目录下,因为基于caffe框架训练后的模型文件通常包含文件格式为caffemodel和prototxt的文件,所以通常该模型文件目录包含了上述格式的相关模型文件。

3.运行Http Server

本地代码测试: 即您可以完全在您自己本地机器上进行AI项目部署及测试。所有文件和模型都位于http-server-httpserver/目录下。

python server.py --port=8080 --json_conf="mnist.conf"

其中port参数是您本地测试使用的端口号,json_conf参数是您测试配置信息文件名,测试配置信息文件也放在http-server-httpserver/目录下。 测试配置信息文件定义如下:

{
    "http_server" : {
        "exec" : {
            "main_class": "MnistModel",
            "main_file": "mnist_inference"
        },
        "caffe" : {
            "model_dir" : "./checkpoint_dir",
            "model_name" : "mnist_model"
        }

上述代码的参数说明

  • main_class:模型代码主类名
  • main_file:模型代码文件名
  • model_dir:模型文件目录
  • model_name: 模型文件的名字(不带后缀)