Loading...
64 results
Search Results
Now showing 1 - 10 of 64
- Data mining process models: a roadmap for knowledge discoveryPublication . Mendes, Armando B.; Cavique, Luís; Santos, Jorge M. A.Extracting knowledge from data is the major objective of any data analysis process, including the ones developed in several sciences as statistics and quantitative methods, data base \ data warehouse and data mining. From the latter disciplines the data mining is the most ambitious because intends to analyse and extract knowledge from massive often badly structured data with many specific objectives. It is also used for relational data base data, network data, text data, log file data, and data in many other forms. In this way, is no surprise that a myriad of applications and methodologies have been and are being developed and applied for data analysis functions, where CRISP-DM (cross industry standard process for data mining) and SEMMA (sample, explore, modify, model, assessment) are two examples. The need for a roadmap is, therefore, highly recognised in the field and almost every software company has established their own process model.
- Seleção de atributos de dados inconsistentes em ambiente HDF5+Python na cloud INCDPublication . Apolónia, João; Cavique, LuísO tratamento de conjuntos de dados de grande dimensão é uma questão que é recorrente nos dias de hoje. Uma das abordagens possíveis passa por realizar uma seleção de atributos que permita diminuir, consideravelmente, a dimensão dos dados sem aumentar a inconsistência dos mesmos. A Análise Lógica de Dados Inconsistentes (LAID) é uma metodologia sistematizada, robusta, sendo fácil de interpretar e consegue lidar com dados inconsistentes. O paradigma, relativamente ao manuseamento de grandes volumes de dados, tem-se alterado. Antes, o tratamento dos dados era efetuado num único computador e o acesso era realizado depois do seu carregamento em memória. A tendência atual é aceder aos dados em disco, num ambiente cloud. Este trabalho pretende validar o novo paradigma, com recurso ao sistema de dados HDF5 e ao ambiente remoto disponibilizado pela. Pelo facto de o HDF5 ser o sistema adotado pela comunidade Python para lidar com dados de grande dimensão, esta linguagem foi escolhida para implementação do LAID.
- Data science e big dataPublication . Cavique, Luís
- A feature selection approach in the study of azorean proverbsPublication . Cavique, Luís; Mendes, Armando B.; Funk, Matthias; Santos, Jorge M. A.A paremiologic (study of proverbs) case is presented as part of a wider project based on data collected among the Azorean population. Given the considerable distance between the Azores islands, we present the hypothesis that there are significant differences in the proverbs from each island, thus permitting the identification of the native island of the interviewee, based on his or her knowledge of proverbs. In this chapter, a feature selection algorithm that combines Rough Sets and the Logical Analysis of Data (LAD) is presented. The algorithm named LAID (Logical Analysis of Inconsistent Data) deals with noisy data, and we believe that an important link was established between the two different schools with similar approaches. The algorithm was applied to a real world dataset based on data collected using thousands of interviews of Azoreans, involving an initial set of twenty-two thousand Portuguese proverbs.
- Editorial 4Publication . Cavique, LuísÉ com muita satisfação que apresentamos o mais recente número da Revista de Ciências da Computação. As primeiras palavras de agradecimento vão para os autores e para os membros do conselho editorial encarregues das revisões. Na sequência de várias sugestões, na chamada de trabalhos do número quarto, do ano 2009, foram pedidos artigos especialmente dedicados às Tecnologias de Apoio ao EaD. Infelizmente, esta exigente especialização provocou atrasos na saída do presente número. Neste quarto número, oferece-se ao leitor uma diversidade temática que se concentra nas áreas da Multimédia, Bases de Dados Documentais, Videoconferência e Sistemas Digitais. i) Neste número o tema Multimédia é coberto por dois artigos: as emergentes áreas dos Jogos e Simulação no apoio ao EaD e a caracterização de projectos na Web. ii) São apresentados duas aplicações: uma Base de Dados Documental para apoio de historiadores das Inquirições de 1258 e a descrição da Rede de Videoconferência da RCTS – Rede Ciência, Tecnologia e Sociedade, da Fundação para a Computação Científica Nacional, FCCN. iii) Na área dos Sistemas Digitais são apresentados dois artigos: o primeiro sobre uma metodologia de Negócios Digitais para pequenas e médias empresas e um segundo artigo que reflecte sobre os Bens e Serviços Digitais. Entretanto, convidam-se os autores a submeter trabalhos originais em língua portuguesa ou inglesa para o nº 5 da Revista das Ciências da Computação da Universidade Aberta até meados de Outubro de 2010.
- Ramex-Forum: a tool for displaying and analysing complex sequential patterns of financial productsPublication . Tiple, Pedro; Cavique, Luís; Marques, Nuno C.Financial data provides a valuable up‐to‐date knowledge of the world economy. However, it is presented in extremely large data volumes, in diverse formats, and is constantly being updated at a high speed. The Ramex‐Forum algorithm is oriented to guide financial experts in finding new and relevant information.We present a sensitivity analysis and newvisualizations using an improved version of the Ramex‐Forum algorithm. The proposed algorithm is applied to two case studies – the petroleum production chain and the European financial institutions risk analysis. Different combinations of parameters and new ways to visualize data are used. Results highlight the importance of Ramex‐Forum for analysing relevant relationships in price variations in financial markets.
- Clique communities in social networksPublication . Cavique, Luís; Mendes, Armando B.; Santos, Jorge M. A.Given the large amount of data provided by the Web 2.0, there is a pressing need to obtain new metrics to better understand the network structure; how their communities are organized and the way they evolve over time. Complex network and graph mining metrics are essentially based on low complexity computational procedures like the diameter of the graph, clustering coefficient and the degree distribution of the nodes. The connected communities in the social networks have, essentially, been studied in two contexts: global metrics like the clustering coefficient and the node groups, such as the graph partitions and clique communities.
- Tecnologias de informação: provocações e contradiçõesPublication . Cavique, Luís; Rocio, VitorSe por um lado as soluções de software gratuito e o uso intensivo das tecnologias de informação em rede, têm favorecido a popularização e a globalização das TI, por outro lado,alguns autores tendem a reduzir a importância estratégica das TI. A depreciação da importância estratégica das TI aumenta quando se julga que o software livre, gratuito e de código aberto pode resolver a generalidade das necessidades dos sistemas de informação. Como forma de reflectir sobre esta problemática, neste artigo apresentamos uma taxonomia dos recursos económicos e identificam-se as propriedades mais relevantes dos serviços e dos bens digitais. De seguida, identificamos os padrões dos países desenvolvidos, na distribuição do produto nacional bruto para a dupla dicotomia de produto-serviço e material-digital, e apresentamos uma ciência emergente e unificadora, a Ciência dos Serviços.
- Descoberta de padrões sequenciais utilizando árvores orientadasPublication . Cavique, Luís; Coelho, JoséHoje em dia, a descoberta de padrões sequenciais em grandes bases de dados é um assunto de grande interesse. A maior parte dos algoritmos de padrões sequenciais usam estruturas de memória muito grandes no espaço de soluções e geram um número enorme de regras. Com a utilização do modelo das cadeias de Markov é possível ter uma visão global, já que todos os itens são tomados em consideração. Contudo, para grandes matrizes nas cadeias de Markov, a complexidade do problema cresce muito rapidamente. Neste artigo pretendemos manter a visão global dos itens e evitar tempos computacionais não-polinomiais. Usando heurísticas baseadas no algoritmo de Prim, árvores e poli-árvores podem ser encontradas em redes cíclicas. Os resultados computacionais são apresentados para grandes bases de dados, criadas com um conhecido gerador artificial de dados de teste.
- Big data e data sciencePublication . Cavique, LuísNeste artigo foram apresentados os conceitos básicos de Big Data e a nova área a que deu origem, a Data Science. Em Data Science foi discutida e exemplificada a noção de redução da dimensionalidade dos dados.