Tengo una matriz numpy (X_test) para probar mi modelo en cloud-ml. Para la predicción en línea es necesario convertirlo al formato JSON.

Mi matriz numpy tiene el siguiente formato:

[[    0     0     0 ...  7464  1951  2861]
 [    0     0     0 ...  3395  1996  4999]
 [    0     0     0 ...  5294  9202 17867]
 ...
 [    0     0     0 ...  3506   977  7818]
 [    0     0     0 ...  1421    75   137]
 [    0     0     0 ... 12857 12686  2928]]

Uso el siguiente código para convertirlo a JSON:

import json
b = X_test.tolist()
json_file = "file.json" 
json.dump(b, codecs.open(json_file, 'w', encoding='utf-8'), sort_keys=True, indent=4)

Después de esto, uso Google Cloud SDK Shell para la predicción de la nube e ingreso el siguiente comando:

gcloud ml-engine predict --model keras_model --version v1 --json-instances file.json

Sin embargo, me sale el siguiente error:

ERROR: (gcloud.ml-engine.predict) Input instances are not in JSON format. See "gcloud ml-engine predict --help" for details.

Como entendí, convertí incorrectamente numpy a JSON para cloud-ml.

¿Cómo convertir correctamente numpy a JSON para evitar este error?


UPD : Aquí está el código que me ayudó a resolver este problema:

import json
b = X_test.tolist()
json_file = "file.json"

with open(json_file, 'w', encoding='utf-8') as f:
    for i in b:
        instance = {"input": i}
        json.dump(instance, f , sort_keys=True)
        f.write("\n")
4
lemon 14 sep. 2018 a las 11:43

3 respuestas

La mejor respuesta

La documentación:

https://cloud.google.com/ml-engine/docs/tensorflow/online-predict#formatting_instances_as_json_strings

Tal vez use algo como esto:

import numpy as np
import codecs

X_test = np.zeros((5,5))
print(X_test)

import json
b = X_test.tolist()
json_file = "file.json"

f = codecs.open(json_file, 'w', encoding='utf-8')

for i in range(0,len(b)):
    row = b[i]
    instance = {"values" : row, "key": i}
    json.dump(instance, f , sort_keys=True)
    f.write("\n")

File.json se convierte en:

{"key": 0, "values": [0.0, 0.0, 0.0, 0.0, 0.0]}
{"key": 1, "values": [0.0, 0.0, 0.0, 0.0, 0.0]}
{"key": 2, "values": [0.0, 0.0, 0.0, 0.0, 0.0]}
{"key": 3, "values": [0.0, 0.0, 0.0, 0.0, 0.0]}
{"key": 4, "values": [0.0, 0.0, 0.0, 0.0, 0.0]}
3
dwjbosman 14 sep. 2018 a las 09:34

Puede verificar sus datos convertidos JSON con la función de tipo (en su caso: tipo (b)) antes de escribir en su archivo para asegurarse. Y luego simplemente usando un código simple para escribir json:

    import io
    json.dump(b, io.open(json_file, 'w', encoding='utf-8'))
0
Hòa Lê Việt 14 sep. 2018 a las 09:26

Para la predicción en línea, el json debe ser una instancia por línea.

E.g

    39,State-gov,77516,Bachelors,13,Never-married,Adm-clerical,Not-in-family,White,Male,2174,0,40,United-States,<=50K
50,Self-emp-not-inc,83311,Bachelors,13,Married-civ-spouse,Exec-managerial,Husband,White,Male,0,0,13,United-States,<=50K
38,Private,215646,HS-grad,9,Divorced,Handlers-cleaners,Not-in-family,White,Male,0,0,40,United-States,<=50K
53,Private,234721,11th,7,Married-civ-spouse,Handlers-cleaners,Husband,Black,Male,0,0,40,United-States,<=50K

Puede consultar https://github.com/GoogleCloudPlatform/cloudml-samples

1
CSMaverick 14 sep. 2018 a las 09:17