I guess many of you work in a situation where quality is important, and there is not enough time to make all the tests you would like to.
Testing is a sampling business, and after 25 years in software testing I often find it more difficult than it used to be.
At the same time, with experience I can find more important information faster, and I more easily change my mind when the current methods no longer are the best.
For me, this has all to do with my understanding of software, of testing, of my domain health care, and the concrete situation I am working in.
A recent insight is that I cannot understand one thing in isolation, it is the relation between a system, its users, technology, integrations, data, laws, stakeholders etc. that generates a real understanding.
For me, this becomes a mess of models that I do find difficult to explain in a good way.
But I can share some of my methods and learnings over the years:
- continuous learning takes unexpected paths
- testing is not an island, everything is connected
-37 sources for test ideas creates more relations
- invisible, overlapping models make good testers lucky
I hope some of this might be useful to you, or at least that you become more comfortable with the feeling that testing is difficult, and should be.
My goal of testing is to communicate useful information, not only by verifying requirements, but also by understanding relations and providing new perspectives.
Testing is primarily a thinking activity. There are hands-on aspects, and tools doing a lot of the work, but the intelligentia lies in the tester's mind.
So testing starts and ends in your head, and if you know more about your strength and weaknesses you can do a better job.
In this tutorial we will cover aspects like:
critical thinking - e.g. questioning things that aren't as apparent as others think
creative thinking - finding new perspectives and solutions for a unique situation
logical thinking - understand how things fit together and affect each other
pragmatic thinking - finding solutions that will actually work
modelling - you are always using a model, regardless if you are aware of it or not
learning - the input and output of (good) testing.
Theory is one thing, but more important is the experiential learning through exercises.
There will be shorter thinking exercises, and longer hands-on exercises on hand-crafted applications created for this tutorial.
The theory and exercises together with Rikard's sharing of experiences will hopefully help you broaden your perspectives.
The goal is to learn more about our thinking, and have a bit of fun while doing it.
Key take-aways:
* further develop different aspects of your thinking as a tester
* practice on unique and challenging exercises
* supplementing material to take home, including exercises for your colleagues
Note: At least half of the attendants should bring computers for the exercises.
Testautomation with UIPath and Azure DevOps:
Do you use a lot of time with manual testing? Do you think test automation is hard and complicated? Come see our talk on
automation with UiPath, a tool anyone can use without any previous knowledge!
AFRY’s TaaS uses UiPath to document processes that can then be automated, saving the organization a lot of time and
money. Show us your process, and our RPA developers will do the rest!
A common misunderstanding for many organizations is that it is so complicated to implement test automation that it is not
worth the effort. UiPath builds a bridge between IT and the costumer with its user friendly design that anyone can use. The
only thing the costumer has to do is to go on about their day as normal and the tool documents everything in the
background, making process diagrams based on the user interactions. The diagrams can than be sent to the RPA
developers that do the rest.
Moderne programvareutvikling med hyppige produksjonssettinger krever en annen tilnærming til sikkerhet enn tidligere. Vi kan ikke lenger stole på eksterne sikkerhetsrevisjoner utført med jevne mellomrom. Dette er grunnen til at DevSecOps ble introdusert.
I denne presentasjonen vil du få praktiske tips til hvordan du som ikke jobber som sikkerhetstester kan sørge for at applikasjonen din er så sikker som mulig. Du vil høre om feil som er gjort tidligere og lære hvordan du kan bruke domenekunnskap til å finne sikkerhetsfeil.
#2 SLEIPNER
09:35 - 10:05
Testing på godt og ondt – eller hvordan jeg lærte å omfavne kaos
Organisasjonsteori er læren om prosjektarbeid og både det faglige og sosiale som skjer i organisasjoner av ulik størrelse og form. Det blir ofte regnet som et "mykt" fag, men hva skjer dersom vi også forsøker å bruke de "harde" vitenskapene til å få nye innsikter, også om testarbeid? Noen forskere har undersøkt hvordan naturvitenskapelige kompleksitetsteorier kan overføres til organisasjon og ledelse. Foredraget utforsker hvordan lærdommene har relevans for arbeid med test - i gode og onde dager.
Sentrale spørsmål vil være: Hva kan naturlige, komplekse og grunnleggende kaotiske fenomener som f.eks. værsystemer lære oss om praktisk testarbeid og menneskelig samspill? Er kaos i prosjektet noe uønsket, eller noe vi kan omfavne? Hvordan kan vi legge til rette for innovasjon og kreativ fremdrift i arbeidet vårt? Og til sist: Hva har egentlig sommerfugler med testing å gjøre?
"Sliter du med å finne gode testdata?
I regi av et tverretatlig samarbeid har det blitt gjort en stor jobb på å bygge opp et syntetisk «Test-Norge». I tillegg er det laget en felles søkeløsning, Tenor, for å gjøre dataene lett tilgjengelig for alle. Ønsker du å vite mer om dette er det bare å komme på demonstrasjon av Tenor, hvor dere vil få en kort introduksjon til verktøyet, samt innsikt i hvordan dere kan gjøre både enkle og avanserte søk."
#4 Valhall
10:10 - 10:40
Accelerating testing through right test data management (ENGLISH)
By Ritesh Chopra Fagleder / Test Manager, DNB Bank ASA
Test data management has huge potential when it comes to to accelerating (or otherwise slowing down) overall testing process. In the times when we are surrounded by compliance and regulatory requirements on data usage, a matured test data management is all the more essential for organisations. The presentation focuses on accelerating testing through right test data management. It will cover various aspects of test data management, best practices and experience working on this within a large bank. The presentation will also cover compliance (GDPR) in context of test data and aspects like synthetic data and psuedonymisation (masking of data).
Do you feel that testing becomes the bottleneck when it comes to putting new functionality into production? Do you experience having to test the same thing over and over again? Is it time-consuming and boring?
In this presentation, I will show you how to get started with automated testing of web applications with Cypress. I will show you a short intro on what needs to be downloaded and how to write your first test, how this can be run and how it can be extended.
Det finnes mange ulike verktøy for å teste universell utforming. Her viser vi noen av disse og hvordan vi bruker dem. Vi vil blant annet demonstrere bruk av kontrastverktøy, hvordan vi sjekker css spacing, Window Resizer og headingsMap. Det er også mulig å komme med forslag til sider vi kan sjekke sammen.
Spørsmålet "hva er mitt verdibidrag?" kan mange kjenne seg igjen i, - både på jobb og i det private. I dette foredraget stiller den moderne testlederen seg dette spørsmålet. Teamet har daglige deployer, testing skjer hovedsakelig ved hjelp av automatisering. Endringene som deployes er ofte små og så enkle å rulle tilbake at strukturert og godt forberedt manuell testing ikke er nødvendig. Testrollen defineres ulikt og har ofte mange ulike oppgaver. Men er det egentlig noen som ser hva testlederen faktisk gjør?
#1 HUGIN
10:55 - 11:25
Discover the Quality Coach role and their Toolbox (ENGLISH)
"Quality is everyone responsibility" but involving the whole team to quality is not obvious. The Quality Coach role exists to help team members and stakeholders actively adopt quality practices and make quality tangible in the product, process and people involved. I would like to first present the role in detail, then share my first in this role, the challenges I encountered, the result of this experimentation at team and organizational level and the toolbox that can be used during facilitation.
Jeg vil i etterkant av mitt foredrag "Get started with Cypress testing" være tilgjengelig for ytterligere spørsmål og demo. Ta en tur innom hvis dere ønsker å ta en prat om Cypress testing.
Quality coach is a role that challenges and actively supports a team or organization to build a quality collaborative approach. Facilitation and coaching play a key success factor in this role.
In this session, we will go through a demo session of different exercises that you can use with your teams or with individuals in order to unlock their potential and maximize their performance.
This demo could inspire you with various facilitation techniques to engage the whole team and stakeholders towards quality.
#4 Valhall
13:00 - 13:30
Testing ruins movies, but saves the world (ENGLISH)
Lights, camera, testing! Have you ever watched a movie and thought “if they had only done a little more testing, then the whole disaster could have been avoided”? In movies, the suspense and last-minute decisions make a great plot point and an exciting cinematic experience - you know those action movies where the hero jumps over obstacles, defuses bombs, and saves the day without breaking a sweat? Well, in real life and most cases, we can't just jump over the testing and hope for the best. In this entertaining and informative presentation, we look into how pop culture references Quality Engineering and how it is used, or more often not used to create suspense. We draw parallels between real projects scenarios and Hollywood testing plots concerning Artificial Intelligence, Cyber Security and more; sharing our experiences, including bloopers, reshoots and the perfect one-takes. This is how we save the world!
#1 HUGIN
#5 Speeches in English: Summary
13:00 - 13:30
Ytelsetester dere ikke skattemeldingen eller?
By Martin Unhjem Senioringeniør i Skatteetaten siden 2012
Gjennom flere år har Skatteetaten modernisert skattemeldingen og vi trudde at nedetid pga ytelse var under kontroll. Dette er historien om hvordan vi i år 2023 fortsatt har problemer med ytelse slik at enkelte ikke fikk levert skattemeldingen sin. Hvorfor oppdaget vi ikke disse problemene i test, og hva har vi lært av årets hendelser?
#2 SLEIPNER
13:45 - 14:15
The road towards representative and secure test data (ENGLISH)
Good test data is essential to all stages of testing. If the test data does not represent the reality of data in production, the test itself does not represent how the tested system will behave in production.
We should extend our view on who is consuming test data. Developers can also benefit from representative test data, and the same goes for users/customers/vendors/partners involved in the development process. Furthermore, we should keep in mind that different stages of testing also have different requirements to test data. Some may even require hybrid approaches.
There are many methods of generating test data. In most applications, multiple methods must be deployed in order to achieve the quality and properties needed. The different methods are discussed with pros and cons.
If test data is derived from production data, privacy, GDPR, and security must be taken into consideration. Using production data for testing is not legal.
Cost-efficiency and how to integrate and automate test data generation will be discussed in order to make test data generation become a natural step which does not consume too many resources.
#2 SLEIPNER
#5 Speeches in English: Summary
13:45 - 14:15
Hvordan brukerinvolvering skaper eierskap til egen helse
Vi har i Norsk helsenett, Helsedirektoratet og Helsenord jobbet brukerorientert i utviklingen av nasjonale digitale behandlingsplaner. Jeg ønsker å fortelle om hvordan vi gjennom testing og intervjuer traff brukerbehovene iht. innhold, struktur og detaljegrad. Men også hvordan en treffsikker løsning nettopp avslørte, at den ikke er tilstrekkelig for å hente ut gevinster. Løsningene må forholde seg til de økosystemene de skal inngå i og som leverandør må vi følge dem helt i mål. Det kan vi blant annet gjøre ved hjelp av atferdsdesign, hvilket jeg også skal komme inn på.
#1 HUGIN
13:45 - 14:15
Testautomatisering i tidsklemma
By Magnus Namork Manager Digital Quality and Test, Expleo Norge
Mange team og organisasjoner har en travel hverdag og det å investere i et testautomatiseringsopplegg på toppen av alle forefallende og operative oppgaver er en stor utfordring.
Enten så får man det ikke til, eller så blir det halvhjertet slik at konklusjonen man sitter igjen med er at testautomatisering ikke fungerer eller er riktig for teamet eller organisasjonen.
Foredraget tar for seg, basert på erfaringer fra Skatteetaten, hva man kan gjøre for å innføre testautomatisering i en hektisk hverdag og hvordan man kan lykkes ved å bruke generiske oppsett og deretter, hva man kan gjøre for bruke testautomatisering til å løse de konkrete utfordringene et team har.
I dette sporet vil du få se hvordan man kan spesifisere et systems oppførsel i scenario-format, og basert på dette bruke Cucumber til å implementere automatiserte tester og levende dokumentasjon.
Du vil også få se noen eksempler på hvordan WireMock kan brukes både til å redusere avhengigheter og gi mer stabile tester, og for å enklere teste spesialtilfeller og feilscenarier.
Ofte blir testautomatisering solgt inn som noe som skal ta vekk stor mengde med manuell testing. Siden man kun fokuserer på de positive effektene treffer realiteten hardt på de fleste. Fremtidig vedlikehold av kode ved oppdateringer av nye versjoner av både testverktøy og applikasjonene under test er eksempler på noe man fort glemmer. Organisatoriske føringer kan også ha stor innvirkning på fremtiden når prosjektet har oppnådd sine målsetninger. Hvordan møter man disse problemstillingene som en testleder/testansvarlig?
Elhub er opprinnelig et prosjekt som springer ut av Statnett. I sin tid ble Accenture satt til å utvikle løsningen og systemet Elhub, og derfor startet organisasjonen Elhub som en akseptansetest-organisasjon. Det vil si at vi har et brennende sterkt testmiljø på Elhub som har hatt en reise de siste årene fra å være, nettopp det, en testorganisasjon, til å bli en smidig produktutviklingsorganisasjon. Som en del av denne reisen har testautomatiseringsprosjekter stått sentralt i arbeidet med å sikre funksjonell kvalitet. De siste 3 årene, etter overtakelsen av systemet fra Accenture, har Elhub bygget nytt rammeverk for ende-til-ende testautomatisering, som innebærer arbeid med test data, test execution og test validation. Denne reisen har jeg vært en del av som testutvikler og prosjektleder. Jeg ønsker å gripe denne muligheten til å dele vår reise, hva det har bidratt til hos Elhub, om hva vi har lært, og hvordan vi ser på vår reise videre.
#2 SLEIPNER
14:20 - 14:50
Manual accessibility testing: why, what, and how (ENGLISH)
By Ina Tsvetkova Senior Adviser in Digital Accessibility and Inclusive Design, NAV IKT
Did you know that automated accessibility testing only catches around half of accessibility errors? Many of the legally mandated WCAG success criteria can only be tested manually. Manual accessibility testing is therefore critical to understanding and breaking down the technical and practical barriers caused by an inaccessible solution, and it is essential for ensuring that the solutions are inclusive, accessible, and usable for users with different abilities.
This presentation will focus on manual accessibility testing as a critical component of the accessibility testing process, give you guidance on which manual accessibility tests are necessary for full WCAG test coverage and provide best practices for performing these tests.
#1 HUGIN
#5 Speeches in English: Summary
14:20 - 14:50
From Hype to High Impact: A Deep Dive into Contract Testing (ENGLISH)
In the rapidly evolving digital world, Contract Testing has become a vital link in the complex chain of software development, holding the potential to significantly reduce time and resources while boosting the robustness of systems. This presentation will delve into the compelling significance of Contract Testing, highlighting its role in solving real-life problems that organizations grapple with daily—be it in enhancing developer productivity, shortening release cycles, or reducing the risk of production errors. We'll explore actual case studies that demonstrate how Contract Testing has changed the game by ensuring that services meet their contractual obligations even in a sprawling microservices architecture.
However, as with any powerful tool, Contract Testing also has its share of pitfalls and challenges. The second half of the presentation will reveal these often-overlooked aspects, dissecting the potential difficulties in the implementation of Contract Testing, as well as ways to circumvent them. From mitigating the risks of false positives/negatives to the intricacies of maintaining contract consistency, this session promises a comprehensive, insightful look into Contract Testing. Whether you're a developer striving for system reliability, a project manager seeking efficiency, or a tech enthusiast keen on the latest industry trends, this is a session you won't want to miss. Get ready to unravel the dynamic world of Contract Testing—its highs, its lows, and everything in between.
#3 MUNIN
#5 Speeches in English: Summary
14:20 - 14:50
Playwright
By Magnus Namork Manager Digital Quality and Test, Expleo Norge
Prosjektet Autosys kjøretøy gikk fra fiasko til kjempesuksess, og ble trukket frem som en digital suksesshistorie av regjeringen (forrige regjering). Det finnes det gode grunner til; det digitale systemet for kjøretøy gir samfunnet milliarder i samfunnsnytte og berører mange bedrifter og hver enkelt av oss som eier et kjøretøy. Tidligere prosjektleder Erik Johannessen tar deg med på innsiden og forteller hva som bidro til at prosjektet lykkes fra 2014 og fram til overlevering 2021.
Autosys kjøretøyprosjektet har gjennom flere leveranser laget et av de mest komplekse IKT-systemene i offentlig sektor. Systemet gir effektiv registrering og godkjenning av nye og brukte kjøretøy, og utleverer datagrunnlag til håndtering av bompenger, forsikringer og skatter og avgifter – for å nevne noe. SINTEF har gjennomført en evaluering av IKT-prosjektet Autosys kjøretøy på oppdrag fra forskningsprogrammet Concept ved NTNU. Det er benyttet en målorientert evalueringsmodell som tar utgangspunkt i vurdering av prosjektets vellykkethet med utgangspunkt i seks overordnede evalueringskriterier: Produktivitet, måloppnåelse, andre virkninger, relevans, levedyktighet og samfunnsøkonomisk effektivitet. Samtlige kriterier gis høyest eller nest høyest karakter.