a economia digital 16 em portugal 2018 1.1 Big Data | Analytics para análise e representação dos dados em tempo real. Os CTT pretendem obter informação das diferentes máquinas de uma forma relacionada e rápida para maximizar a sua utilização e com isso aumentar a taxa de correio tratado automaticamente ResultadoS A conjugação das várias soluções permite dotar o DSO de toda a informação necessária para, com base em dados históricos e com base em informação previsional, conseguir avaliar e inferir o comportamento da rede em tempo útil e atuar em conformidade (Situational Awareness). O acesso estruturado à informação e a correlação identificada entre os diferentes eventos que ocorrem nos ativos, permite ainda suportar processos de manutenção baseados na condição, ao ser possível contabilizar o número de comandos a que um ativo está sujeito e os valores em que opera (técnicos e ambientais), assim como identificar tendências associadas ao desgaste dos equipamentos, seja de forma direta (os tempos de reação estão ao aumentar) ou indireta (determinando que a proteção não foi eficaz). O conhecimento do comportamento da rede veio permitir o cumprimento sistemático dos níveis de serviço a que o DSO está obrigado, e assegurar uma constante melhoria dos mesmos. Coordenação/Autoria: Pedro Machado, CGI CTT Portal de tratamento Plataforma de big data e analytics desafios As cartas que os carteiros entregam na casa das pessoas são sujeitas a uma preparação prévia através de máquinas específicas que têm como função fazer o tratamento e sequenciamento das mesmas. Desse modo quando o carteiro recebe as cartas para fazer o seu giro, a grande maioria já está ordenada de acordo com o percurso que o carteiro tem que fazer. Todo este tratamento automático das cartas gera muita informação de diferentes fontes (máquinas), diferentes formatos e que é constantemente analisada para otimizar o funcionamento das mesmas. No entanto, existe alguma dificuldade na gestão desta informação quer seja no relacionamento da mesma de todas as suas fontes, quer seja na obtenção de indicadores em tempo útil para que se consiga ser mais eficiente na utilização das máquinas. Tecnologia Neste momento, o projeto está em fase de preparação, nomeadamente o levantamento de todos os requisitos por parte dos responsáveis pela gestão das máquinas. Do ponto de vista tecnológico, será necessária uma plataforma de big data e analytics, uma vez que se trata de muita informação gerada diariamente, sob a qual será necessário efetuar várias análises.
17 a economia digital Resultados Pretende-se com esta solução conseguir obter informação das diferentes fontes (máquinas) de uma forma relacionada e rápida de modo a que as operações consigam gerir as diferentes máquinas de tratamento de uma maneira mais eficiente, maximizando a sua utilização e com isso aumentar a taxa de correio tratado automaticamente. Coordenação/Autoria: Luís Nunes, CTT NOS Network Analytics Big data na transformação para um paradigma service centric orientado ao utilizador desafios O crescimento acentuado de utilização de banda larga nos dispositivos móveis, com utilizadores acederem a redes sociais (Facebook, Snapchat, Instagram, Twitter, etc), a utilizar aplicações de comunicação de forma natural (Whatsapp, iMessenger, etc) cada vez mais exigentes em quantidade e qualidade de dados (Face Time, WhatApp) e vídeo para comunicação pessoal (Whatsapp, Face Time, etc) ou acesso a serviços streaming de como o Netflix, coloca maior pressão nos operadores de comunicações, sobre a forma de gerir e garantir em tempo real uma adequada experiência de utilização. A experiência de utilização (QoE) é, cada vez mais, um fator crítico para a escolha e lealdade de clientes, pelo que a NOS lançou um projeto de desenvolvimento de uma plataforma multi-tenant, escalável, que suportasse decisões concretizadas em ações não apenas corretivas, mas preventivas e preditivas, criando um ecossistema capaz de integrar uma elevada quantidade de dados de vários tipos (estruturados e não estruturados), com capacidade de os ingerir e processar em real-time, criando inteligência e uma camada de visualização/automação para os explorar/analisar. Tecnologia Esta evolução de uma visão network centric para um paradigma service centric verdadeiramente orientada ao utilizador, implica uma complexa monitorização de centenas de gigabytes de informação, recolhida de diferentes fontes de dados, uniformizada, processada e só então correlacionada com a visão de cliente. Tal obriga a data mining sobre enormes volumes de dados, sendo imprescindível conseguir montar uma infraestrutura de big data, capaz de lidar com os objetivos de um service operations center. O desenvolvimento da plataforma é composto por cinco camadas: Layer de aquisição, responsável pela ingestão pull/push dos dados recorrendo a tecnologias como Apache Flume, Elastic Logstash e Apache Sqoop; Layer de queuing, camada intermédia para a otimizar a eficiência da injeção e recolha dos dados utilizando o publish/subscribe message system Apache Kafka; Layer de processamento, para processamento dos dados em tempo real ou batch; As frameworks de processamento distribuído utilizadas suportam linguagens como o R, Python, Scala e Java, linguagens de Scripting e SQL para soluções mais simples. Foram utilizadas frameworks como o Spark e MapReduce no contexto do Hadoop, e o motor de processamento do ElasticSearch; O layer de visualização, integrando ferramentas de exploração e visualização, incluem o Kibana no ambiente ElasticSearch, o Hue e o Zeppelin no ambiente Hadoop. Dotou-se a camada O paradigma service centric orientado ao utilizador, implica uma complexa monitorização de centenas de gigabytes de informação, recolhida de diferentes fontes, uniformizada, processada e correlacionada com a visão do cliente em portugal 2018 1.1 Big Data | Analytics
