OnTime nr 1 2003 - Combitech.se

More documents

Recommendations

Info

STRATEGIER FÖR EFFEKTIV TEST En sådan lista kan kallas en testkatalog, och den är speciellt användbar i matrisform. Kolumnerna i matrisen är de testfall som man använder om och om igen, matrisens rader är testobjekten. En effektiv katalog betingar ett stort värde för organisationen. Giltiga indata betyder alla indata för vilket systemet förväntas ha ett korrekt beteende, ogiltiga betyder då att de avviker från det specificerade värdeområdet. En parameter som representerar temperaturen från en sensor kan exempelvis ha ett värde som är lägre eller högre än vad som är specificerat för sensorn. Felaktiga indata betyder att indata ligger inom giltigt värdeområde men avviker från normalsituationen. Dessa ”illvilliga” fel är besvärligare fall, då det gäller att identifiera orimliga värden eller ovanliga situationer. Ett enstaka högt men giltigt värde från temperatursensorn ska hanteras på ett visst sätt, en kontinuerlig höjd temperatur hanteras på ett annat sätt. De fel man först kommer att tänka på är ofta elektriska eller hårdvarurelaterade. Samtidigt vet vi av erfarenhet att många fel har sin orsak i programvaran, exempelvis beräkningsfel eller fel i villkor. Det är alltså viktigt att man skapar sig en uppfattning av vilken typ av fel man vill detektera, en felmodell. Olika konstruktions- och utvärderingsmetoder resulterar i vissa typer av fel. Från tidigare projekt har vi erfarenheten att en viss typ av fel är allvarliga, risker i den tänkta användningen av systemet medför kanske fokusering på andra typer av fel. Urval Var för sig blir mängden testfall i bild 1 omfattande, med kombinationer blir det ohanterligt. Strategin blir då: 1. Testa på så låg systemnivå som möjligt, det ger möjlighet till parallella aktiviteter samtidigt som kombinatoriken begränsas. 2. Använd alternativa metoder (analyser och granskningar) för att fånga klasser av fel och för att undvika att fel kommer in i implementationen. I många fall är det dock svårt att se att någon annan metod för utvärdering än dynamisk exekvering (test) ger tillräckligt förtroende. En direkt observation av resultatet av ett test, med till exempel fördröjda indata, är svårt att ersätta. Det finns två olika testtekniker att rekommendera för pålagda (injicerade) fel. Den ena fokuserar på potentiella problem, så kallat riskbaserat test, den andra fokuserar på genomförandet, så kallat utforskande test. Riskbaserat test utgår från en riskanalys med syfte att finna allvarliga felyttringar. Man ställer sig repetitivt frågan, ”Vad kan gå fel här?” och söker efter svagheter, hot och konsekvenser. I de fall en FMEA har utförts, är det självklart en viktig ingång till urvalet vid riskbaserat test. FMEA är en analysmetod som utgår från att fel på låg nivå ansätts och eventuella konsekvenser utvärderas. En del tester av felhanteringsmekanismer brukar utgöras av så kallade utforskande test. Testfallen har då inte utfall som kan specificeras i förväg, utan resultatet får utvärderas mot oönskade händelser (feared events). Det innebär ofta att man planerar, konstruerar och kör sina tester i en aktivitet. Man utvecklar alltså testfall baserat på det man lär sig. Detta kan med fördel utföras som parvis testning, när två testare arbetar tillsammans och växelvis delar genomförandet, vilket samtidigt är ett sätt att skapa en kreativ och stimulerande miljö. En faktor som i hög grad påverkar förmågan att utföra test av felhanteringsmekanismer är observerbarhet och styrbarhet. • Observerbarhet: möjligheten att läsa signaler som reflekterar systemets tillstånd • Styrbarhet: möjligheten att lägga på signaler som ställer systemet i ett visst tillstånd För att skapa förtroende för att omfattningen av test är tillräcklig, mäter vi täckningen och påverkar utvecklingsarbetet för högre testbarhet. Test av egenskaper som säkerhet, tillgänglighet och tillförlitlighet ställer stora krav på förståelse för kundens behov. En för- utsättning för att kunna kommunicera och rapportera omfattningen av genomförda tester är att vi mäter med en överenskommen måttstock. En överenskommen testkatalog ger stöd för uttalandet ”Nu är jag nöjd”. ■ Stig Ursing är seniorkonsult inom test och dependability engineering på Combitech Systems AB. 14 Nr 1 mars 2003 Combitech Systems AB
Miljölagar driver på testutvecklingen När Lars Wallin arbetade med flygmotorerna i JAS-projektet föddes idén till ett nytt sätt att arbeta med motortester. Idéerna tog han med sig till arbetet med diagnossystem i Saab Automobiles bilmotorer. En av skillnaderna mellan bil- och flygmotorer, berättar Lars, är att bilmotorernas styrsystem är betydligt mer avancerade. Programvaran som finns i alla moderna bilmotorer innehåller inte bara funktioner för motorstyrningen. Ungefär hälften av programvaran svarar för att hela tiden övervaka hur motorn och bilen uppför sig. Diagnosfunktionerna, som blir allt mer omfattande, har drivits fram av striktare miljökrav för bilar. Emissionskraven gäller för hela bilens livslängd och för att kunna uppfylla dem finns ett system med sensorer som hela tiden styr och övervakar motorn. Data från sensorerna jämförs med en modell av hur bilen ska uppföra sig. Om sensorerna läser av värden som Nr 1 mars 2003 Combitech Systems AB tyder på funktionsfel varnas föraren genom att en varningslampa tänds. – Det är främst de hårda miljölagarna i Kalifornien som sätter press på biltillverkarna, säger Lars Wallin. Reglerna kräver att alla felaktigheter som riskerar att leda till ökade utsläpp upptäcks och rättas till. Hela bilserier kan tvingas tillbaka till fabriken för åtgärdande och det har hänt att biltillverkare har blivit stämda på miljardbelopp för att de inte uppfyllt lagkraven. Att misslyckas med att uppfylla miljökraven är alltså kostsamt. För en liten biltillverkare som Saab skulle det kunna leda till en ekonomisk katastrof om bilarnas diagnossystem inte fungerar som de ska. – Det är alltså i högsta grad affärskritiskt att systemen fungerar som de ska och att vi lyckas verifiera att bilarna uppför sig som det är tänkt i utvecklingsarbetet, säger Lars Wallin. Svårt hitta normalanvändning Att verifiera hur en bil beter sig och skapa AV SVEN WENNERSTRÖM fungerande diagnossystem är särskilt krävande. För bilar är det nästan omöjligt att hitta en ”normalanvändning”. Testernas körcykler ska avbilda olika användningsområden för bilarna, allt från ryckig stadstrafik till jämn motorvägstrafik. Men det finns fler faktorer att ta hänsyn till. Bilmodeller som säljs över hela världen utsätts för olika klimat med skiftande temperatur och luftfuktighet. Dessutom inverkar lufttrycket, och därmed på vilken höjd över havet bilen framförs. – För att kunna bygga ett bra system måste vi alltså veta hur våra motorer uppför sig i alla möjliga situationer över hela världen, säger Lars Wallin. När bilmodellerna utvecklas testas först alla komponenter var för sig och slutligen testkörs hela bilen för att verifiera att allt fungerar som det är tänkt. Verifieringsarbetet för bilar är mycket intensivt. Bilens hela livscykel ska testas. För att täcka in så mycket som möjligt av det bilmodellen kommer att utsättas för under sin livslängd, körs testbilarna över 16 000 mil på 15
Page 1 and 2: nTimeGER INSIKT I TID Vad är test
Page 3 and 4: Effektiv test - en fråga om överl
Page 5 and 6: 4. Om en mycket ljus bild visas fö
Page 7 and 8: trollers och andra inbyggda system)
Page 9 and 10: • Gör ett urval av vägar som sa
Page 11 and 12: • Har jag tänkt igenom de sätt
Page 13: Test av felhantering i distribuerad
Page 17 and 18: När fel inte får förekomma För
Page 19 and 20: Kom igång med prediktions- och evo
Page 21 and 22: in, samt antalet fel som rapportera
Page 23 and 24: Mått Beskrivning SDL-pages Antalet
Page 25 and 26: den behöver man inte testa, därf
Page 27 and 28: Kursschema VÅREN 2003 STRATEGIER F

OnTime nr 1 2003 - Combitech.se

Create successful ePaper yourself

Delete template?

Save as template?