Leer archivos en directorio Drive con Apps Script

Una opción para integrar sistemas externos y leer los datos en planillas es mediante la suba de archivos a Google Drive. Si exportamos datos en CSV por ejemplo, se suben a una carpeta en Drive y luego podemos leer los archivos, podremos integrar distintos sistemas sin hacer cambios en los mismos. Similar a la lectura de mails pero con archivos.

Veamos un ejemplo de cómo leer una carpeta en Drive, listar los archivos y obtener datos de los mismos.

function leerDrive() {
  
  var ss = SpreadsheetApp.getActiveSpreadsheet();  
  var data = [];
  
  var folder = DriveApp.getFolderById(folderID);//not placing actual id for privacy
  //var contents = folder.getFiles();
  var contents = folder.getFilesByType(MimeType.CSV);

  var fileID, file; 

  // Cada hoja de insumo, empresa mes, acumulamos data
  while(contents.hasNext()) {   

    file = contents.next();    
    fileID = file.getId();
    sheetName = file.getName();
    
    var temp = [
      fileID,
      sheetName,
    ];

    data.push(temp);
    
    var csvValues = Utilities.parseCsv(file.getBlob().getDataAsString(), ";");
    console.log(csvValues);

    Logger.log(data);

  }

  return data;
  
}

Copiar rangos de celdas entre planillas de Google

Una de las fórmulas más famosas de las planillas de Google es IMPORTRANGE, la cual permite conectar rangos de celdas entre planillas sin esfuerzo. Pero esta fórmula tiene dos limitaciones:

La planilla que importa datos no puede evitar actualizarse cuando la planilla de origen es actualizada.
La fórmula IMPORTRANGE tiene un límite de celdas y no es muy rápida en su ejecución.

Para estos casos podemos utilizar un Apps Script que copie hojas de una planilla a otra a demanda, de esta forma el usuario tiene control de la actualización de datos.

https://youtu.be/Hun5wnaKedU

Leer emails de Gmail y guardarlos en una planilla de Google

Hagamos una planilla que lea Gmail y acumule los correos que nos interesan sin repetirlos.

Uno de los típicos problemas a la hora de automatizar es como obtener los datos desde otro sistema. Para estos casos el email suele ser un aliado ya que la mayoría de los sistemas permiten enviar correos con información. Así podemos usar el email o Gmail en este caso como bandeja de entrada de la planilla de datos.

Haremos que cada correo que llega con determinadas palabras o remitentes sea introducido en la planilla con lo cual podemos iniciar un flujo de trabajo.

Para que nuestra planilla pueda acumular los correos debemos ejecutar la lectura en forma repetitiva, por lo que tenemos que pensar en un loop que se repita y guarde solo correos nuevos.

Buscar emails que contengan una palabra
Recorrer los hilos y cada email dentro del mismo
Guardar datos en planilla

Buscar emails que contengan una palabra
Recorrer los hilos y cada email dentro del mismo
Guardar datos en planilla (solo los nuevos!)
….
Esto en definitiva es un algoritmo.

// Planilla activa actual
var ss = SpreadsheetApp.getActiveSpreadsheet();
  
var hojaDatos = 'Emails';
var sheet = ss.getSheetByName(hojaDatos);


// Preparamos menu para que el usuario pueda actualizar desde la planilla sin entrar al editor de codigo
function onOpen() {

    // La función onOpen se ejecuta automáticamente cada vez que se carga un Libro de cálculo
    var menuEntries = [];
 
    menuEntries.push({
        name : "Leer Gmail",
        functionName : "leerGmail"
    });
    menuEntries.push(null);

    ss.addMenu("Actualizar", menuEntries);
}


function leerGmail() {

  // Lee de Gmail con un parametro de busqueda
  var emails = leerMails("G Suite");

  // Retorna solo emails nuevos que no estan presentes en la planilla comparando ID
  var emailsNuevos = reducirEmails(emails);

  // Escribe los emails nuevos a la planilla
  escribirEmails(emailsNuevos);

}


function leerMails(searchTerm = 'G Suite') {
  
  var threads = GmailApp.search(searchTerm,0,20);

  var mailsData = [];
    
  // Conversaciones o hilos (threads) que contienen muchos emails
  for (var i = 0; i < threads.length; i++) {
    Logger.log("Each Thread: "+threads[i].getFirstMessageSubject());
    
    var thread = threads[i];
    var messages = GmailApp.getMessagesForThread(thread);

    // Mensajes dentro de conversaciones
    for (var j = 0 ; j < messages.length; j++) {

      mailsData.push(messages[j]);      
      
    }
  }
   
  return mailsData;
}


// Los emails ya presentes en la planilla los descartamos
function reducirEmails(messages) {

  var emailsLimpios = [];
  var arrIdsMails = [];
  
  // IDs ya existentes  
  var arrIdsCells = [];
  
  // Columna A donde tenemos los IDs de los emails
  var dataRange = sheet.getRange(2,1,sheet.getMaxRows()-1,sheet.getMaxColumns());
  
  // Obtenemos los valores de la columna A, o sea un arreglo de IDs
  var dataCurrent = dataRange.getValues();
  
  // Guardamos un arreglo son los IDs que usaremos para comparar con IDs de emails nuevos
  for (var i = 0; i < dataCurrent.length; ++i) {
      
    var row = dataCurrent[i];
    
    // celdas actuales
    var valId = row[0];

    // si encontramos
    arrIdsCells.push(valId);

  }

  // Recorremos cada mensaje
  for (var j = 0 ; j < messages.length; j++) {

    var messageId = messages[j].getId();
    var messageDate = messages[j].getDate();
    var messageTitle = messages[j].getSubject();
    var messageBody = messages[j].getBody();       
    
    // Si no es de los ya existentes
    if (arrIdsCells.indexOf(messageId) == -1 && messageDate != undefined && messageDate != "") {
    
      Logger.log("Insertamos email: " + messageId);
      
      // Guardamos datos de cada email nuevo
      emailsLimpios.push([
        messageId,
        messageDate,
        messageTitle,           
      ]);
        
      // Agregarmos 
      arrIdsMails.push(messageId);
      
    } else {
      Logger.log("Ya existe: " + messageId);
    }

  }

  return emailsLimpios;

}


// Recorrer e insertar en planilla
function escribirEmails(mailsData) {
    
  // calculate the number of rows and columns needed
  var numRows = mailsData.length;

  if (numRows > 0) {
    var numCols = mailsData[0].length;
                      
    // Escribir en filas nuevas antes de la fila 2 (para mantener formato)
    sheet.insertRowsBefore(2, numRows);
    sheet.getRange(2, 1, numRows, numCols).setValues(mailsData);
  }

}

  

Apps Script para enviar rangos de celdas por Email como tablas

Dentro de los automatismos de las planillas el lograr que los informes se completen solos es el primer paso, el segundo es lograr que los informes se envían solos. Para esto crearemos un script que envíe rangos de celdas por email a pedido del usuario. 

Los rangos de celdas pueden ser definidos con coordenadas o bien con nombres de forma que si se agregan filas o columnas la referencia al rango sigue funcionando.

var emailRecipient = '[email protected]';
var emailTitle = 'Rango de celdas como tabla';

// Rango de datos que sera copiado como tabla
var hojaInforme = 'Informe';
var rangosDatos = {
  0 : 'RangoNombre1',
  1 : 'RangoNombre2',
};

// Preparamos menu para que el usuario pueda actualizar desde la planilla sin entrar al editor de codigo
function onOpen() {
    // La función onOpen se ejecuta automáticamente cada vez que se carga un Libro de cálculo
    var ss = SpreadsheetApp.getActiveSpreadsheet();
    var menuEntries = [];
 
    menuEntries.push({
        name : "Enviar Email",
        functionName : "enviarEmail"
    });
    menuEntries.push(null);

    ss.addMenu("Actualizar", menuEntries);
}


function enviarEmail() {

  var ss = SpreadsheetApp.getActiveSpreadsheet();
  var sheet = SpreadsheetApp.getActive().getSheetByName(hojaInforme);
  
  var name = SpreadsheetApp.getActiveSpreadsheet().getName();
  var subject = emailTitle + ' ';
  subject +=  new Date().toISOString().split('T')[0];
  
  var body = '<html><body><div style="text-align:center;display: inline-block;font-family: arial,sans,sans-serif">'
 
  var iLoop = 1;
  for (var key in rangosDatos) {  // OK in V8
    var value = rangosDatos[key];
    Logger.log("value = %s", value);
    
    body += '<H2>Titulo ' + iLoop + '</H2>';
  
    var rango1 = sheet.getRange(value);
    body += getHtmlTable(rango1);
   
    iLoop++;
  }

  body += '</div></body></html>';

  GmailApp.sendEmail(emailRecipient, subject, "Requires HTML", {htmlBody:body})
}

Apps Script para crear un menu que ejecute codigo en una hoja de calculo de Google

Veamos un ejemplo de menú para ejecutar apps script desde la planilla. El menú en la planilla nos permite ejecutar el código Apps Script desde la planilla sin tener que acceder al editor, de forma que otros usuarios pueden usar el código directamente desde la hoja de cálculo.

// Planilla activa actual
var ss = SpreadsheetApp.getActiveSpreadsheet();

// Preparamos menu para que el usuario pueda actualizar desde la planilla sin entrar al editor de codigo
function onOpen() {

    // La función onOpen se ejecuta automáticamente cada vez que se carga un Libro de cálculo
    var menuEntries = [];
 
    menuEntries.push({
        name : "Notificar",
        functionName : "notificar"
    });
    menuEntries.push(null);

    ss.addMenu("Actualizar", menuEntries);
}

function notificar() {

  console.log('Estamos en notificar, console log.');
  ss.toast('Estamos en notificar', 'Apps Script', 3);
}

Métricas calculadas y títulos de gráficos en DataStudio

Las métricas calculadas en los gráficos nos permite desplegar campos con operaciones realizadas, por ejemplo máximos, mínimos, conteos, promedios. Esto se realiza sin generar un campo calculado, se realiza directamente en el gráfico para darle formato al mismo.

Veamos un ejemplo donde queremos realizar un conteo de elementos distintos dentro de un grupo, por ejemplo cantidad de países en cada continente. 

Dimension vs Métrica

Debemos tener en cuenta que los campos que agrupan los datos van en Dimensión, mientras que los campos que realizan operaciones se indican en Métrica. Los campos en Dimensión no tienen opción de realizar operaciones, mientras que los de Métrica si.

Conteo y Conteo Diferenciado

Si queremos contar los países en cada continente debemos agregar un campo en Métrica, luego agregar la operación de Conteo. Si utilizamos Conteo simple obtendremos el total de filas de nuestra fuente de datos que tienen nombres de países, por lo tanto debemos usar recuento diferenciado que nos trae la cantidad de países distintos agrupados por cada continente. Si un mismo país se repite en el mismo continente no queremos contarlo dos veces.

Titulos de campos en graficos

Al editar los campos en Métrica podemos asignar un nombre a los mismos si el nombre del campo no nos satisface. Clic en el lápiz, editar y veremos que el nombre cambia en la tabla.

Filtros en graficos de DataStudio

Los filtros en gráficos nos permiten limitar los datos de la fuente sin tener que modificar la misma.

Podemos usar cualquier tipo de columna de la fuente de datos para filtrar, las columnas provienen de la fuente y columnas calculadas con fórmulas. De esta forma podemos hacer gráficos sin tener que generar distintas fuentes de datos.

Vemos un ejemplo con nuestra base de datos COVID 19.

Campos calculados con formulas avanzadas en DataStudio

Modificar fuentes de datos agregando campos calculados con ejemplos de fórmulas que usen IF, CASE y otras funciones para combinar columnas creando nuevas.

Al realizar el agregado de columnas en Data Studio no afectamos nuestra fuente de datos lo que es bueno para evitar tener que cambiar la estructura de la misma, podemos no tener acceso a cambios o podría afectar a otras personas que usen la misma fuente de datos.

Campos calculados en DataStudio

Los campos calculados con formulas se utilizan cuando nuestra fuente de datos no cuenta con el campo en el formato o con alguna operacion adicional para su presentacion.

Para hacerlo vamos a la fuente de datos, Editar y agregamos un campo:

Podemos hacer condiciones logicas IF para evaluar, operaciones aritmeticas de multiplicacion y division o hasta entre campos para encontrar relaciones que no vienen calculadas en la planilla o fuente de datos.

Agregamos la formula y un nombre para el campo calculado. Luego clic en Guardar y clic en Listo.

Video con todo el proceso de edicion y agregado de campo calculado con formula:

DataStudio con planillas como fuente de datos

Las planillas de Excel o Google suelen ser una excelente forma de ingresar y formatear informacion, pero no suelen ser el mejor lugar para presentar la informacion a usuarios que no requieren de calculos y acceso a cada celda.

Data Studio es un caso intermedio entre PPT y Planilla de Calculo.

Data Studio nos permite presentar la informacion como una pagina web pero accediendo a las fuentes de datos y actualizando el informe si las fuentes de datos cambian.

Utilizando una planilla de calculo como fuente de datos, el informe es una forma muy amigable para presentar a otras personas o o mostrar en un lugar permanente sin la complejidad de la planilla completa y con una performance muy superior una vez que la planilla se vuelve compleja:

Si la planilla recibe datos, el informe en Data Studio se actualiza cada unos 15 minutos.

Paneo general en video: