Javier Ramirez: Procesa y analiza millones de eventos por segundo en tiempo real con open source
Todo el mundo se puede beneficiar del análisis de datos en tiempo casi real. En esta sesión, presentaré un proyecto que he publicado en GitHub y que puedes usar como base para construir sistemas de alto rendimiento usando Apache Kafka, QuestDB, Grafana y Jupyter Notebook. Aunque podríamos escribir directamente en una base de datos rápida, usaré Apache Kafka para ingerir datos. Veremos por qué, y cómo enviar datos con Python, JavaScript y Go. Para el almacenamiento y análisis, usaré QuestDB, un proyecto con licencia Apache 2.0, para ingerir y consultar datos en milisegundos o menos. Grafana nos permitirá crear gráficos en tiempo real que se actualizan varias veces por segundo. Finalmente, veremos cómo Jupyter Notebook puede usarse para realizar exploración interactiva de los datos y para predicción de series temporales. Será una sesión sin casi slides, principalmente con demos, y compartiré todo el código de mi proyecto en GitHub. Puedes seguir a Codemotion en sus redes sociales: @Codemotionworld // https://www.linkedin.com/company/codemotion/ // https://twitter.com/CodemoMadrid // https://www.instagram.com/codemotion_esp/ ------- Síguenos en nuestras redes sociales Web: https://sirviendocodigo.com/ LinkedIn: https://www.linkedin.com/company/sirviendo-codigo/ X: https://twitter.com/sirviendocodigo Instagram: https://www.instagram.com/sirviendo.codigo/ TikTok: https://www.tiktok.com/@sirviendo.codigo #github #python #javascript #code #sirviendocodigo
