En mi trabajo, siempre hay una fase exploratoria en la que hay que hacerse una idea del tema lo antes posible. No siempre es posible disponer del tiempo suficiente para construir un buen cuaderno de Python para capturar y analizar los datos. Es para estas ocasiones que las herramientas no-code pueden ayudar en la fase preliminar… o más allá.
Pongamos un ejemplo: queremos ver qué tipo de palabras clave aparecen cuando hacemos una primera búsqueda en el campo de la Inteligencia Artificial, Machine Learning, Deep Learning, etc. También sería interesante saber si existen comunidades o colectivos en torno a estos temas. Del mismo modo, también podríamos seguirlos para analizarlos con más detalle.
Es decir, tenemos que conectarnos a la API de Twitter, generar una consulta con esas palabras clave iniciales, capturar la información y separarla en campos. Además, necesitamos preprocesarlo para poder analizar los clusters, las palabras clave más relevantes o detectar los temas más relevantes. Y esto, sólo para la parte textual del problema. Si además queremos analizar la red formada por los perfiles que publican sobre estos temas, tendremos que identificar los nodos y vértices junto con sus atributos más relevantes.
No-code tools
Aquí es donde las herramientas de exploración no-code vienen en nuestra ayuda. En algún otro post, ya había nombrado uno de los más fáciles para mí: Orange3. En este caso, también utilizaré Gephi, una referencia histórica en el análisis de gráficos. déjame darte una pista de cómo pueden hacerlo. Por ello, también dejaré los flujos de trabajo disponibles para su descarga. Por supuesto, tendrás que tener una cuenta de desarrollador de Twitter para poder incluir tus claves de API. Empecemos con la configuración:
- Descarga Orange3 e instala el complemento TextMining en el menú de opciones. Puedes empezar a explorar el Análisis de Datos de Twitter con su flujo de trabajo de ejemplo absolutamente con un enfoque no-code. Después, también podemos añadir una rama para el análisis de clustering.
- Descargue Gephi e instale el complemento TwitterStreamingImporter. Si necesitas ayuda, puedes ver este tutorial en Youtube.
- Configura los plug-ins de importación con los detalles de tu cuenta dev para conectarte con Twitter y empezar a recopilar datos con estas herramientas no-code. En Orange3, asegúrate de seleccionar el idioma correcto en ambos widgets: Twitter y preprocesar el texto para eliminar las palabras de parada correctas. En el caso de Gephi, es así de sencillo. En fin, os dejo aquí el tutorial oficial. He utilizado la «Proyección de Bernadamus» como lógica de red.
Twitter widget from Orange3 
TwitterStreamingImporter plug-in
Análisis y resultados
Para la red de gráficos, como el importador es vía streaming, lo mantuve activo durante 4 horas. Consiguí una red de 4.450 nodos y 31.185 vértices. Aplicando el Análisis de Modularidad de la red, la siguiente imagen muestra dos de las clases detectadas más cercanas. Si nos fijamos bien en los hashtags que representan, podemos ver que uno de ellos (el naranja) incluye «transformación digital» mientras que los azules y rojos hablan más de palabras clave «típicas» como #artificialintelligence, #machinelearning o #deeplearning pero también #datascience, #bigdata (no sorprende) o #iot y #hyperautomation (interesante… 🧐).
Filtrado de comunidades en Gephi 
Hashtags asociados
Si ahora utilizamos las capacidades de lenguaje natural de Orange3, podemos estudiar los clusters basándonos en las distancias de los diferentes twetts, así como identificar los temas más relevantes utilizando el Modelado de Temas y el LDA.
Agrupaciones basadas en las distancias (coseno) 
Mapa de calor de la modelización de topics LDA
Conclusión o próximos pasos
Como puedes ver, el tiempo invertido es mínimo comparado con lo que hubiera costado si se hubiera programado desde cero.
Por supuesto, no disfrutamos de toda la potencia que tendríamos si lo hiciéramos por nuestra cuenta, pero para un análisis preliminar da resultados más que aceptables. Además, poco a poco se generan flujos de trabajo a los que sólo hay que cambiar los parámetros de entrada.
Y no basta con eso, si quieres generar tus propios widgets, Orange3 te permite hacerlos y desplegarlos para personalizarlo a tu gusto. No es KNIME, otras herramientas no-code, pero es completamente gratis y OpenSource.
Dejadme vuestros comentarios aquí, en Twitter o en Linkedin si queréis más información o compartir cómo utilizáis este tipo de herramientas.
