{"id":13143,"date":"2022-02-04T10:55:14","date_gmt":"2022-02-04T10:55:14","guid":{"rendered":"https:\/\/beta.bluetab.net\/mi-experiencia-en-el-mundo-de-big-data-parte-2\/"},"modified":"2022-02-04T11:04:30","modified_gmt":"2022-02-04T11:04:30","slug":"mi-experiencia-en-el-mundo-de-big-data-parte-2","status":"publish","type":"post","link":"https:\/\/bluetab.co.uk\/en\/mi-experiencia-en-el-mundo-de-big-data-parte-2\/","title":{"rendered":"Mi experiencia en el mundo de Big Data – Parte II"},"content":{"rendered":"\t\t
\n\t\t\t\t\t\t
\n\t\t\t\t\t\t
\n\t\t\t\t\t
\n\t\t\t
\n\t\t\t\t\t\t
\n\t\t\t\t
\n\t\t\t\t\t

Mi experiencia en el mundo de Big Data - Parte II<\/h1>\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t
\n\t\t\t\t\t\t
\n\t\t\t\t\t
\n\t\t\t
\n\t\t\t\t\t\t
\n\t\t\t\t
\n\t\t\t\t\t
\"\"<\/a><\/figure>

David Emmanuel Reyes N\u00fa\u00f1ez<\/a><\/h4>

Senior Data Engineer<\/p><\/div><\/div>\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t<\/div>\n\t\t\t\t

\n\t\t\t
\n\t\t\t\t\t\t
\n\t\t\t\t
\n\t\t\t\t\t\t\t
\n\t\t\t\t\t\t\t\t
\n\t\t\t\t\t\t
\n\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t\n\t\t\t\t\t\t\t\t<\/i>\t\t\t\t\t\t\t<\/span>\n\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t\t\t\t\t\t\t\t
\n\t\t\t\t\t\t
\n\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t\n\t\t\t\t\t\t\t\t<\/i>\t\t\t\t\t\t\t<\/span>\n\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t\t\t\t\t<\/div>\n\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t<\/section>\n\t\t\t\t\t<\/div>\n\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t<\/section>\n\t\t\t\t
\n\t\t\t\t\t\t
\n\t\t\t\t\t
\n\t\t\t
\n\t\t\t\t\t\t
\n\t\t\t\t
\n\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t\"\"\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t
\n\t\t\t\t
\n\t\t\t\t\t\t\t\t\t

En la entrega anterior (adjunto) creamos los scripts para enlistar y descargar archivos desde Google Drive hacia nuestro filesystem local.<\/p>

En esta entrega continuaremos con el c\u00f3digo de la funci\u00f3n processDriveFiles.py y crearemos los scripts para hacer la carga de archivos hacia Google Cloud<\/p>

La funcionalidad de este script es procesar los archivos listados en nuestro archivo parameters.csv, los cuales tengan el par\u00e1mero Status con valor 1, recordemos que esto le indica a nuestro programa si el archivo se descargar\u00e1 y procesar\u00e1 o no.<\/p>

A continuaci\u00f3n, el c\u00f3digo b\u00e1sico de esta funci\u00f3n. Para nuestro ejemplo solo incluiremos archivos con extensi\u00f3n csv<\/strong> y separados por pipes \u201c|\u201d.<\/strong><\/p>

En pasos anteriores ya descargamos nuestro archivo al servidor local, el paso siguiente ser\u00e1 ingestarlo en Big query y subir el archivo a nuestro proyecto de GCP.<\/p>

El siguiente c\u00f3digo se encarga de validar el archivo e ingestarlo hacia nuestro destino definido.<\/p>\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t

\n\t\t\t\t
\n\t\t\t\t\t
#Validamos que el tamaño del archivo sea mayor a 0 para poder cargarlo al destino definido en el archivo de configuración, en este caso nuestro destino es Google Cloud Storage y BigQuery, al cual le dimos el valor 1 en nuestro archivo.\r\nfile_size=os.stat(props['archivo_origen']).st_size\r\n\r\nif (int(file_size)>0):\r\n   if(int(props['Destino'])=1):        \r\n\r\n#Tenemos las variables siguientes, sus valores son devueltos por la función upload_GCS_BQ:\r\n#exit_codeBQ  - Bandera para indicar si la ingesta fue exitosa o no.\r\n#registros    - Almacena el numero de registros del archivo.\r\n#Timestamp_date – La fecha en que se hace la ingesta.\r\n#strerror  - Si hay error en la ingesta, esta variable almacena el #código del error\r\n                           exit_codeBQ,registros,Timestamp_Date,strerror=upload_GCS_BQ(creds,props,item['id'])\r\nelse:\r\n    print('archivo vacio')\r\n\r\n#Al final del proceso, eliminamos los archivos descargados a nuestro servidor, para liberar el espacio ocupado\r\n\r\nfile_name=str(props.get('archivo_origen')).split('.')\r\n    fname = file_name[0]+'.*'\r\n    r = glob.glob(fname) #función usada por python para buscar archivos\r\n    for i in r:\r\n        print('Eliminando..'+str(i))\r\n        os.remove(i)\r\n <\/code><\/pre>