Leer emails de Gmail y guardarlos en una planilla de Google

Hagamos una planilla que lea Gmail y acumule los correos que nos interesan sin repetirlos.

Uno de los típicos problemas a la hora de automatizar es como obtener los datos desde otro sistema. Para estos casos el email suele ser un aliado ya que la mayoría de los sistemas permiten enviar correos con información. Así podemos usar el email o Gmail en este caso como bandeja de entrada de la planilla de datos.

Haremos que cada correo que llega con determinadas palabras o remitentes sea introducido en la planilla con lo cual podemos iniciar un flujo de trabajo.

Para que nuestra planilla pueda acumular los correos debemos ejecutar la lectura en forma repetitiva, por lo que tenemos que pensar en un loop que se repita y guarde solo correos nuevos.

Buscar emails que contengan una palabra
Recorrer los hilos y cada email dentro del mismo
Guardar datos en planilla

Buscar emails que contengan una palabra
Recorrer los hilos y cada email dentro del mismo
Guardar datos en planilla (solo los nuevos!)
….
Esto en definitiva es un algoritmo.

// Planilla activa actual
var ss = SpreadsheetApp.getActiveSpreadsheet();
  
var hojaDatos = 'Emails';
var sheet = ss.getSheetByName(hojaDatos);


// Preparamos menu para que el usuario pueda actualizar desde la planilla sin entrar al editor de codigo
function onOpen() {

    // La función onOpen se ejecuta automáticamente cada vez que se carga un Libro de cálculo
    var menuEntries = [];
 
    menuEntries.push({
        name : "Leer Gmail",
        functionName : "leerGmail"
    });
    menuEntries.push(null);

    ss.addMenu("Actualizar", menuEntries);
}


function leerGmail() {

  // Lee de Gmail con un parametro de busqueda
  var emails = leerMails("G Suite");

  // Retorna solo emails nuevos que no estan presentes en la planilla comparando ID
  var emailsNuevos = reducirEmails(emails);

  // Escribe los emails nuevos a la planilla
  escribirEmails(emailsNuevos);

}


function leerMails(searchTerm = 'G Suite') {
  
  var threads = GmailApp.search(searchTerm,0,20);

  var mailsData = [];
    
  // Conversaciones o hilos (threads) que contienen muchos emails
  for (var i = 0; i < threads.length; i++) {
    Logger.log("Each Thread: "+threads[i].getFirstMessageSubject());
    
    var thread = threads[i];
    var messages = GmailApp.getMessagesForThread(thread);

    // Mensajes dentro de conversaciones
    for (var j = 0 ; j < messages.length; j++) {

      mailsData.push(messages[j]);      
      
    }
  }
   
  return mailsData;
}


// Los emails ya presentes en la planilla los descartamos
function reducirEmails(messages) {

  var emailsLimpios = [];
  var arrIdsMails = [];
  
  // IDs ya existentes  
  var arrIdsCells = [];
  
  // Columna A donde tenemos los IDs de los emails
  var dataRange = sheet.getRange(2,1,sheet.getMaxRows()-1,sheet.getMaxColumns());
  
  // Obtenemos los valores de la columna A, o sea un arreglo de IDs
  var dataCurrent = dataRange.getValues();
  
  // Guardamos un arreglo son los IDs que usaremos para comparar con IDs de emails nuevos
  for (var i = 0; i < dataCurrent.length; ++i) {
      
    var row = dataCurrent[i];
    
    // celdas actuales
    var valId = row[0];

    // si encontramos
    arrIdsCells.push(valId);

  }

  // Recorremos cada mensaje
  for (var j = 0 ; j < messages.length; j++) {

    var messageId = messages[j].getId();
    var messageDate = messages[j].getDate();
    var messageTitle = messages[j].getSubject();
    var messageBody = messages[j].getBody();       
    
    // Si no es de los ya existentes
    if (arrIdsCells.indexOf(messageId) == -1 && messageDate != undefined && messageDate != "") {
    
      Logger.log("Insertamos email: " + messageId);
      
      // Guardamos datos de cada email nuevo
      emailsLimpios.push([
        messageId,
        messageDate,
        messageTitle,           
      ]);
        
      // Agregarmos 
      arrIdsMails.push(messageId);
      
    } else {
      Logger.log("Ya existe: " + messageId);
    }

  }

  return emailsLimpios;

}


// Recorrer e insertar en planilla
function escribirEmails(mailsData) {
    
  // calculate the number of rows and columns needed
  var numRows = mailsData.length;

  if (numRows > 0) {
    var numCols = mailsData[0].length;
                      
    // Escribir en filas nuevas antes de la fila 2 (para mantener formato)
    sheet.insertRowsBefore(2, numRows);
    sheet.getRange(2, 1, numRows, numCols).setValues(mailsData);
  }

}

  

Apps Script para enviar rangos de celdas por Email como tablas

Dentro de los automatismos de las planillas el lograr que los informes se completen solos es el primer paso, el segundo es lograr que los informes se envían solos. Para esto crearemos un script que envíe rangos de celdas por email a pedido del usuario. 

Los rangos de celdas pueden ser definidos con coordenadas o bien con nombres de forma que si se agregan filas o columnas la referencia al rango sigue funcionando.

var emailRecipient = '[email protected]';
var emailTitle = 'Rango de celdas como tabla';

// Rango de datos que sera copiado como tabla
var hojaInforme = 'Informe';
var rangosDatos = {
  0 : 'RangoNombre1',
  1 : 'RangoNombre2',
};

// Preparamos menu para que el usuario pueda actualizar desde la planilla sin entrar al editor de codigo
function onOpen() {
    // La función onOpen se ejecuta automáticamente cada vez que se carga un Libro de cálculo
    var ss = SpreadsheetApp.getActiveSpreadsheet();
    var menuEntries = [];
 
    menuEntries.push({
        name : "Enviar Email",
        functionName : "enviarEmail"
    });
    menuEntries.push(null);

    ss.addMenu("Actualizar", menuEntries);
}


function enviarEmail() {

  var ss = SpreadsheetApp.getActiveSpreadsheet();
  var sheet = SpreadsheetApp.getActive().getSheetByName(hojaInforme);
  
  var name = SpreadsheetApp.getActiveSpreadsheet().getName();
  var subject = emailTitle + ' ';
  subject +=  new Date().toISOString().split('T')[0];
  
  var body = '<html><body><div style="text-align:center;display: inline-block;font-family: arial,sans,sans-serif">'
 
  var iLoop = 1;
  for (var key in rangosDatos) {  // OK in V8
    var value = rangosDatos[key];
    Logger.log("value = %s", value);
    
    body += '<H2>Titulo ' + iLoop + '</H2>';
  
    var rango1 = sheet.getRange(value);
    body += getHtmlTable(rango1);
   
    iLoop++;
  }

  body += '</div></body></html>';

  GmailApp.sendEmail(emailRecipient, subject, "Requires HTML", {htmlBody:body})
}

Para ver el codigo de conversion de rango de celdas a tabla HTML, la funcion getHtmlTable, pueden hacerlo en la siguiente entrada:

Apps Script para crear un menu que ejecute codigo en una hoja de calculo de Google

Veamos un ejemplo de menú para ejecutar apps script desde la planilla. El menú en la planilla nos permite ejecutar el código Apps Script desde la planilla sin tener que acceder al editor, de forma que otros usuarios pueden usar el código directamente desde la hoja de cálculo.

// Planilla activa actual
var ss = SpreadsheetApp.getActiveSpreadsheet();

// Preparamos menu para que el usuario pueda actualizar desde la planilla sin entrar al editor de codigo
function onOpen() {

    // La función onOpen se ejecuta automáticamente cada vez que se carga un Libro de cálculo
    var menuEntries = [];
 
    menuEntries.push({
        name : "Notificar",
        functionName : "notificar"
    });
    menuEntries.push(null);

    ss.addMenu("Actualizar", menuEntries);
}

function notificar() {

  console.log('Estamos en notificar, console log.');
  ss.toast('Estamos en notificar', 'Apps Script', 3);
}

Métricas calculadas y títulos de gráficos en DataStudio

Las métricas calculadas en los gráficos nos permite desplegar campos con operaciones realizadas, por ejemplo máximos, mínimos, conteos, promedios. Esto se realiza sin generar un campo calculado, se realiza directamente en el gráfico para darle formato al mismo.

Veamos un ejemplo donde queremos realizar un conteo de elementos distintos dentro de un grupo, por ejemplo cantidad de países en cada continente. 

Dimension vs Métrica

Debemos tener en cuenta que los campos que agrupan los datos van en Dimensión, mientras que los campos que realizan operaciones se indican en Métrica. Los campos en Dimensión no tienen opción de realizar operaciones, mientras que los de Métrica si.

Conteo y Conteo Diferenciado

Si queremos contar los países en cada continente debemos agregar un campo en Métrica, luego agregar la operación de Conteo. Si utilizamos Conteo simple obtendremos el total de filas de nuestra fuente de datos que tienen nombres de países, por lo tanto debemos usar recuento diferenciado que nos trae la cantidad de países distintos agrupados por cada continente. Si un mismo país se repite en el mismo continente no queremos contarlo dos veces.

Titulos de campos en graficos

Al editar los campos en Métrica podemos asignar un nombre a los mismos si el nombre del campo no nos satisface. Clic en el lápiz, editar y veremos que el nombre cambia en la tabla.

Filtros en graficos de DataStudio

Los filtros en gráficos nos permiten limitar los datos de la fuente sin tener que modificar la misma.

Podemos usar cualquier tipo de columna de la fuente de datos para filtrar, las columnas provienen de la fuente y columnas calculadas con fórmulas. De esta forma podemos hacer gráficos sin tener que generar distintas fuentes de datos.

Vemos un ejemplo con nuestra base de datos COVID 19.

Campos calculados con formulas avanzadas en DataStudio

Modificar fuentes de datos agregando campos calculados con ejemplos de fórmulas que usen IF, CASE y otras funciones para combinar columnas creando nuevas.

Al realizar el agregado de columnas en Data Studio no afectamos nuestra fuente de datos lo que es bueno para evitar tener que cambiar la estructura de la misma, podemos no tener acceso a cambios o podría afectar a otras personas que usen la misma fuente de datos.

Campos calculados en DataStudio

Los campos calculados con formulas se utilizan cuando nuestra fuente de datos no cuenta con el campo en el formato o con alguna operacion adicional para su presentacion.

Para hacerlo vamos a la fuente de datos, Editar y agregamos un campo:

Podemos hacer condiciones logicas IF para evaluar, operaciones aritmeticas de multiplicacion y division o hasta entre campos para encontrar relaciones que no vienen calculadas en la planilla o fuente de datos.

Agregamos la formula y un nombre para el campo calculado. Luego clic en Guardar y clic en Listo.

Video con todo el proceso de edicion y agregado de campo calculado con formula:

DataStudio con planillas como fuente de datos

Las planillas de Excel o Google suelen ser una excelente forma de ingresar y formatear informacion, pero no suelen ser el mejor lugar para presentar la informacion a usuarios que no requieren de calculos y acceso a cada celda.

Data Studio es un caso intermedio entre PPT y Planilla de Calculo.

Data Studio nos permite presentar la informacion como una pagina web pero accediendo a las fuentes de datos y actualizando el informe si las fuentes de datos cambian.

Utilizando una planilla de calculo como fuente de datos, el informe es una forma muy amigable para presentar a otras personas o o mostrar en un lugar permanente sin la complejidad de la planilla completa y con una performance muy superior una vez que la planilla se vuelve compleja:

Si la planilla recibe datos, el informe en Data Studio se actualiza cada unos 15 minutos.

Paneo general en video:

Enviar rangos de celdas por email

Para poder enviar por email un rango de una planilla donde se genera un informe, copiando datos desde otra planilla, importando de una API, aplicando filtros, podemos genera un script que copie las celdas y las envie como una tabla.

Planilla de ejemplo:
https://docs.google.com/spreadsheets/d/1Y6GK1Dqm1tyMrVvyhPfAwhGWdIhpLBXezW3dNCJW2w0/edit#gid=0

Lo que necesitamos es crear rangos con nombres en la planilla, los cuales luego obtendremos desde apps script para copiar las celdas:

Hecho esto utilizaremos los nombres de los rangos en el codigo de apps script:



// Rango de datos que sera copiado como tabla
var hojaInforme = 'Informe';
var rangosDatos = {
  0 : 'RangoNombre1',
  1 : 'RangoNombre2',
};

function enviarEmail() {

  var ss = SpreadsheetApp.getActiveSpreadsheet();
  var sheet = SpreadsheetApp.getActive().getSheetByName(hojaInforme);
  
  var name = SpreadsheetApp.getActiveSpreadsheet().getName();
  var subject = emailTitle + ' ';
  subject +=  new Date().toISOString().split('T')[0];
  
  var body = '<html><body><div style="text-align:center;display: inline-block;font-family: arial,sans,sans-serif">'
 
  var iLoop = 1;
  for (var key in rangosDatos) {  // OK in V8
    var value = rangosDatos[key];
    Logger.log("value = %s", value);
    
    body += '<H2>Titulo ' + iLoop + '</H2>';
  
    var rango1 = sheet.getRange(value);
    body += getHtmlTable(rango1);
   
    iLoop++;
  }

  body += '</div></body></html>';

  GmailApp.sendEmail(emailRecipient, subject, "Requires HTML", {htmlBody:body})
}

La funcion getHtmlTable() es una funcion auxiliar que copia celdas y las transforma en HTML.

Aunque los rangos con nombre sean modificamos o cambien de ubicacion, el script podra ubicarlos y copiar los contenidos, aun si se agregan celdas dentro del rango!

Formulas configurables en hojas de calculo Drive usando MATCH

Al momento de preparar informes suele suceder qur vamos cambiando algun criterio por el cual queremos acumular datos, sumar, agrupar.

Una formula que permite hacer sencillo de mantener y actualizar los criterios utilizados es la formula MATCH, que nos permite definir una condicion como si fuera un IF pero para una serie de datos y definiendo los valores en un rango fuera de la formula.

Si cada vez que cambia un criterio es necesario actualizar formulas podemos tener errores de formulas que no se actualizan o quedan inconsistentes.

=SUM(FILTER(BD!G:G,MATCH(BD!C:C,Datos!A2:A5,0)))

Este formula suma todos los elementos que cumplan la condicion que la columna C tiene un valor de los presentados en Datos A2:A5

De esta forma podemos configurar nuestra formula cambiando los datos en la hoja Datos, si agregamos o quitamos valores del rango A2:A5 cambiara el resultado de la formula.

Supongamos que tenemos una lista de propiedades para las cuales queremos sumar el precio:

Queremos sumar la columna G de las propiedaes, pero solo las de determinados tipos definidos en la columna C.

En una hoja auxiliar definidos los tipos que queremos sumar:

Es recomendable usar una hoja auxiliar para mantener el orden claro.

Por ultimo realizamos la formula utilizando MATCH y haciendo referencia al rango A2:A5 para comparar con la columna C de Tipo:

La formula SUM, SUMA el resultado de FILTER. FILTER trae la columna G cuando la columna C tome uno de los valores definidos en Datos!A2:A5

Un detalle importante al utilizar la formula MATCH, es que sin el tercer parametro, 0 en la captura de ejemplo, nos traera resultados que no sean identicos. Es importante siempre incluir este tercer parametro para obtener coincidencias exactas.

Pueden ver una planilla de ejemplo en el siguiente link:

https://docs.google.com/spreadsheets/d/1j5qVHDJvsuceGRczu90CXfU34pXcE8dk-cueKfx4ES4/edit?usp=sharing