Högskolan i Skövde

his.sePublikationer
Ändra sökning
RefereraExporteraLänk till posten
Permanent länk

Direktlänk
Referera
Referensformat
  • apa
  • apa-cv
  • ieee
  • modern-language-association-8th-edition
  • vancouver
  • Annat format
Fler format
Språk
  • de-DE
  • en-GB
  • en-US
  • fi-FI
  • nn-NO
  • nn-NB
  • sv-SE
  • Annat språk
Fler språk
Utmatningsformat
  • html
  • text
  • asciidoc
  • rtf
Visual Analytics Solutions as 'off-the-shelf' Libraries
Högskolan i Skövde, Institutionen för informationsteknologi. Högskolan i Skövde, Forskningsmiljön Informationsteknologi. (Skövde Artificial Intelligence Lab (SAIL))ORCID-id: 0000-0002-0864-5247
Högskolan i Skövde, Institutionen för informationsteknologi. Högskolan i Skövde, Forskningsmiljön Informationsteknologi. (Skövde Artificial Intelligence Lab (SAIL))ORCID-id: 0000-0003-2900-9335
2017 (Engelska)Ingår i: 2017 21st International Conference Information Visualisation (IV): Computer Graphics, Imaging and Visualisation. Biomedical Visualization, Visualisation on Built and Rural Environments & Geometric Modelling and Imaging, IEETeL2017 / [ed] Ebad Banissi, Mark W. McK. Bannatyne, Fatma Bouali, Nuno Miguel Soares Datia, Georges Grinstein, Dennis Groth, Weidong Huang, Malinka Ivanova, Sarah Kenderdine, Minoru Nakayama, Joao Moura Pires, Muhammad Sarfraz, Marco Temperini, Anna Ursyn, Gilles Venturini, Theodor G. Wyeld, Jian J. Zhang, IEEE Computer Society, 2017, s. 281-287Konferensbidrag, Publicerat paper (Refereegranskat)
Abstract [en]

Visual Analytics has brought forward many solutions to different tasks such as exploring topics, understanding user and customer behavior, comparing genomes, or detecting anomalies. Many of these solutions, if not most, are standalone applications with technological contributions which cannot be easily taken for: reuse in other domains, further improvement, benchmarking, or integration and deployment alongside other solutions. The latter can prove specially helpful for exploratory data analysis. This often leads researchers to re-implement solutions and thus to a suboptimal use of skills and resources. This paper discusses further the lack of off-the-shelf libraries for Visual Analytics, and proposes the creation of pluggable libraries on top of existing technologies such as Spark and Zeppelin. We provide an illustrative example of a pluggable, Visual Analytics library using these technologies.

Ort, förlag, år, upplaga, sidor
IEEE Computer Society, 2017. s. 281-287
Serie
IEEE International Conference on Information Visualisation, ISSN 1550-6037, E-ISSN 2375-0138
Nyckelord [en]
visual analytics, machine learning, off-the-shelf libraries
Nationell ämneskategori
Data- och informationsvetenskap Datavetenskap (datalogi) Människa-datorinteraktion (interaktionsdesign)
Forskningsämne
Skövde Artificial Intelligence Lab (SAIL); INF301 Data Science
Identifikatorer
URN: urn:nbn:se:his:diva-14682DOI: 10.1109/iV.2017.77ISI: 000419271000044Scopus ID: 2-s2.0-85040618455ISBN: 978-1-5386-0832-6 (tryckt)ISBN: 978-1-5386-0831-9 (digital)OAI: oai:DiVA.org:his-14682DiVA, id: diva2:1177340
Konferens
2017 21st International Conference Information Visualisation (IV), London, United Kingdom, July 11-14, 2017
Projekt
NOVA (20140294), Swedish Knowledge Foundation
Forskningsfinansiär
KK-stiftelsenTillgänglig från: 2018-01-25 Skapad: 2018-01-25 Senast uppdaterad: 2023-01-03Bibliografiskt granskad
Ingår i avhandling
1. Visualizing Cluster Patterns at Scale: A Model and a Library
Öppna denna publikation i ny flik eller fönster >>Visualizing Cluster Patterns at Scale: A Model and a Library
2021 (Engelska)Doktorsavhandling, sammanläggning (Övrigt vetenskapligt)
Abstract [en]

Large quantities of data are being collected and analyzed by companies and institutions, with the aim of extracting knowledge and value. When little is known about the data at hand, analysts engage in exploratory data analysis to achieve a better understanding. One approach in doing so is through the modeling and visualization of a dataset's structure, i.e., the neighborhood relations among its data points, and their distribution in the multidimensional space. Such a process allows users to disclose and discover neighborhoods, outliers and cluster patterns - insights that enable more informed subsequent analytical decisions.

Visualizing the structure of multidimensional data (i.e., with four or more dimensions or features) is generally done via two steps: modeling distance or neighborhood relations among data points, and visually encoding those modeled relations. As datasets grow in size (number of data points) and dimensionality (number of features), different scalability challenges arise. High-dimensional datasets, on the one hand, are more sparse in the multidimensional space, making it more difficult to make meaningful assessments about distances during the modeling, which, in turn, hinders the meaningfulness of the visual representations. Large datasets, on the other hand, make it more difficult to maintain the usability of a system in terms of the effectiveness of the visual representation (due to clutter or overplotting), or the efficiency of the solution (time and memory-wise). Different approaches have been proposed to overcome these challenges, but they apply to a particular combination of modeling and visual encoding, and their usability still degrades when dealing with very large, potentially distributed, multidimensional datasets.

Moreover, the availability or format of existing Visual Analytics solutions (i.e., solutions that aid data analysis through Machine Learning, visual and interactive techniques) for visualizing data structure - and, hence, cluster patterns - presents an accessibility challenge to the data science community. Namely, many solutions are either unavailable for use, thus requiring their re-implementation, or come as domain-dependent or standalone applications which are too rigid to use in other scenarios, or to integrate with other data analysis tools. 

This thesis addresses these challenges and makes two contributions: a process model, describing a generic approach for the effective and efficient visualization of cluster patterns in large and multidimensional datasets; and an open source library for the interactive visualization of cluster patterns, even in distributed datasets, packaged in an accessible format that allows its integration with other tools within a data analysis environment. The process model suggests sampling and vector quantization to avoid cluttering and overplotting, as well as to improve the efficiency of the system in terms of memory and latency (i.e., times taken to produce visual feedback from the modeling process and from user interactions). The library instantiates one of the possible configurations of the model, using Apache Spark for distributed computations, the Growing Neural Gas for vector quantization, and Force-directed Placement for constructing the two-dimensional layout. Seven research publications provide empirical and theoretical groundings to the validity of both the model and the library.

Abstract [sv]

Stora datamängder samlas (idag) in och analyseras för att skapa ny kunskap och bidra med värde i akademiska och industriella tillämpningar. För att skapa en större förståelse om vad datan innehåller, speciellt i fall där kunskapen om innehållet i datan är bristfällig, använder analytiker Visual Analytics (VA). Ett typiskt angreppssätt inom VA är att modellera och sedan visualisera den underliggande strukturen på datan. Det kan, till exempel, göras genom att visualisera datapunkternas lokala relationer i en multidimensionell rymd. Genom en sådan analys så kan analytiker upptäcka intressanta områden, (uteliggare check if this is the correct term for outlier), och kluster av datapunkter. Med dessa insikter kan efterliggande analyser utföras på ett bättre sätt (och då ge ett än större mervärde).

Visualisering av högdimensionell data, det vill säga data med fler än fyra dimensioner, är oftast en tvåstegsprocess. I det första steget modelleras relationerna mellan datapunkterna. I det andra steget så visualisera datapunkterna i en lågdimensionell rymd, där så mycket som möjligt av relationerna mellan datapunkterna behålls. Det uppstår dock skalbarhetsproblem när dataseten växer i storlek, som innefattar antalet datadimensioner och antalet datapunkter. Högdimensionell data är ofta gles och utspridd i den högdimensionella rymden, vilket gör den svår att modellera relationerna mellan de olika datapunkterna. Detta gör is sin tur det svår att tolka ut meningsfulla och informativa visualiseringar. Dataset med många datapunkter är också svåra att visualisera och kräver mycket beräkningstid och mycket datorminne för att få fram bra representationer och det finns en stor risk att dessa representationer blir röriga och svårtolkade. Detta gör att nyttan med VA minskar när storleken på datan växer. Det har gjorts en hel del forskning inom detta område och lösningar har presenterats för specifika problem men än så länge finns inga generella lösningar för stora - och mångdimensionella - dataset.

Många av de lösningar som tagits fram är dessutom inte publikt tillgängliga eller bara finns tillgängliga för att användas i specifika domäner. Det gör att dessa lösningar ofta måste återskapas om de ska användas för andra domäner eller integreras i standardiserade mjukvaror. Det gör att hela "data science" fältet står inför en stor utmaning om vilka format som kan användas när data klustras och hur lättillgängliga och publika mjukvaror kan skapas.

Avhandlingen gör två bidrag till detta. Dels så beskrivs ett effektivt och och generellt tillvägagångssätt för att processa och visualisera högdimensionell data. Ett programvarubibliotek som möjliggör interaktiv analys av data, även när datan är högdimensionell, har dessutom publicerats och finns tillgänglig som öppen källkod. Genom att programvaran finnas som öppen källkod så är det möjligt att integrera den i andra analys-mjukvaror. Tillvägagångsättet för att modellera datan använder sig av stickprovsurval och vektorkvantifiering för att undvika att de visuliseringarna innehåller för många punkter och därmed blir klottriga. Dessa metoder gör också att modelleringen och visualliseringen kräver en mindre mängd datorminne och att det är möjligt för modellen att ingå i en process där modellen producerar visuella representationer och en analytiker ger återkoppling som modellen reagerar på.

Programbiblioteket som publicerats innehåller en av alla möjliga konfigurationer av den framtagna modellen och är implementerat för köras på Apache Spark. I denna implementation så används en GNG för att utföra vektorkvantifieringen och en fdp används sedan för att konstruera en tvådimensionell representation som kan visualiseras För att fastställa validiteten och ge empiriska och teoretiska belägg för modellen så har sju vetenskapliga publikationer publicerats.

Ort, förlag, år, upplaga, sidor
Skövde: University of Skövde, 2021
Serie
Dissertation Series ; 36 (2021)
Nyckelord
Visual analytics, cluster patterns, big data, unsupervised learning, multidimensional projections, vector quantization, progressive visual analytics
Nationell ämneskategori
Datorsystem
Forskningsämne
Skövde Artificial Intelligence Lab (SAIL)
Identifikatorer
urn:nbn:se:his:diva-19458 (URN)978-91-984919-0-6 (ISBN)
Disputation
2021-03-12, Insikten, Kanikegränd 3a, 541 34, Skövde, 13:15 (Engelska)
Opponent
Handledare
Tillgänglig från: 2021-02-16 Skapad: 2021-02-10 Senast uppdaterad: 2021-02-18Bibliografiskt granskad

Open Access i DiVA

Fulltext saknas i DiVA

Övriga länkar

Förlagets fulltextScopus

Person

Ventocilla, ElioRiveiro, Maria

Sök vidare i DiVA

Av författaren/redaktören
Ventocilla, ElioRiveiro, Maria
Av organisationen
Institutionen för informationsteknologiForskningsmiljön Informationsteknologi
Data- och informationsvetenskapDatavetenskap (datalogi)Människa-datorinteraktion (interaktionsdesign)

Sök vidare utanför DiVA

GoogleGoogle Scholar

doi
isbn
urn-nbn

Altmetricpoäng

doi
isbn
urn-nbn
Totalt: 407 träffar
RefereraExporteraLänk till posten
Permanent länk

Direktlänk
Referera
Referensformat
  • apa
  • apa-cv
  • ieee
  • modern-language-association-8th-edition
  • vancouver
  • Annat format
Fler format
Språk
  • de-DE
  • en-GB
  • en-US
  • fi-FI
  • nn-NO
  • nn-NB
  • sv-SE
  • Annat språk
Fler språk
Utmatningsformat
  • html
  • text
  • asciidoc
  • rtf