Testování programů metodou černé skříňky

Metoda černé skříňky spočívá v testování softwaru tak říkajíc s klapkami na očích.
Do této metody patří:

Můžeme testy provádět náhodným klikáním, zkoušet zadávat čísla a různé vstupy a snažit se vyvolat chybový stav programu. Ze začátku se vám bude dařit nalézat hodně chyb, zvláště pokud ještě probíhá vývoj, ale časem se dostanete do stavu, kdy budete muset začít při testování používat pokročilejší techniky.

Testy splněním
Pokud dostanete na stůl produkt, který máte otestovat, je nejlépe začít prvně s testy splnitelnosti. Pracujte s programem v rukavičkách, zkoušejte, zda program nespadne při triviálních operacích, nebo při operacích nezbytných pro funkci. Pokud vyrobíte letadlo, tak s ním také hned nebudete létat přes oceán, ale zkusíte s ním nejdřív popojet po ranveji, pomalu budete přidávat plyn a testovat motory a až po té přijdete k jednoduchému letu a postupně budete přidávat. Provádění těchto testů v začátcích vám pomůže i zlepšit prosté vztahy na pracovišti. Jak se budou tvářit programátoři, když jim hned ze začátku budete hlásit chyby, které se vyskytují pouze v nepravděpodobných stavech softwaru a nebo na extrémních množinách dat? Ale pokud přijdete s chybou, která brání funkčnosti programu v zcela běžných případech, pak programátor přijme chybu s tím, že by se stejně při provozu našla a její oprava by v momentě nasazení systému byla daleko dražší.

Testy selháním
Po této části testů přichází čas na provádění testů selháním. Teď už zkoušejte zadávat extrémní hodnoty, zkoušejte dělit nulou, zadávat prázdné řetezce tam, kde má být zadán vstup atd. Zde se testuje nejenom chování programů, ale i správnost chybových hlášení. „Nemohu najít ovladač ‚neznámý‘ pro zařízení ‚neznámé’“ není zrovna vypovídající chybové hlášení.

Intervaly pro testování
Dalším problémem, před který je postaven tester, je výběr hodnot k testování. Otestovat všechny možnosti je zcela časově nereálné. Je vhodné si k testům stanovit intervaly.
Například test sčítání dvou položek v programu:
Hodnoty 5+4 a 1+3 jsou na první pohled zcela ekvivalentní. Tzn. jeden interval. Ale co zkusit třeba výraz 65535+1. Nebo 0-1 a co třeba 0-65536? Tomuto testování se někdy říká „chůze po hraně útesu“. Zkoušíme krajní hodnoty a sledujeme, zda je systém zpracuje či zda na nich havaruje. Hraniční hodnoty ne vždy znáte. Zde zkuste mocniny dvou. 2^8, 2^16 atd.

Kumulace chyb
Pokud najdeme chybu v horní oblasti čísel, tak se na tuto oblast zaměříme při veškerých testech i ostatních částí programu. Chyby mají totiž tendenci se kumulovat a pokud někde najdete jednu, tak je tam zaručeně i další.

Přizpůsobivost programátorů
Neposlední zajímavou vlastností programátorů je přizpůsobivost. Pokud budete reportovat pouze jeden typ chyb, tak se programátoři přizpůsobí a najednou tyto chyby z programu zmizí. Je důležité se nesoustředit pouze na určité typy chyb. V literatuře je někdy tento pojem označován jako budování odolnosti vůči pesticidům. Pesticid je zde tester a plevel programátor. Po čase začne být plevel proti postřiku imunní a musí se nasadit nový pesticid. Pokud je pesticid různý, programátoři se nemohou přizpůsobit. Programátoři totiž jeden druh chyby dokáží úspěšně maskovat, ale více chyb už lze maskovat stěží.

Příště něco o testování stavů softwaru a reportování chyb.