Průzkum Interop ITX a InformationWeek varuje, že firmy většinou posuzují úspěšnost nových aplikací podle svých vnitřních kritérií, nikoliv dle spokojenosti zákazníků. V letošním roce 49 % dotazovaných technických specialistů uvedlo, že měřítkem úspěšnosti projektů DevOps je v jejich firmách hlavně úspora nákladů a lepší návratnost investic, současně však metriky posuzují výkon aplikací, množství chyb a efektivitu spolupráce mezi jednotlivými odděleními podniku.
Zákazníka ovšem primárně nezajímá u aplikací množství chyb nebo jejich výkon/doba odezvy, ale to, nakolik aplikace plní jeho potřeby. Zatímco návratnost investic a náklady se týkají financí firmy a jsou samozřejmě klíčové, další kritéria už podle analytiků Interop ITX spíše ilustrují zahleděnost do sebe. Zajímavé je, že ještě před rokem prý podíl firem, které úspěšnost DevOps měřily především vnitřními faktory, byl výrazně menší – 35 %.
Pouze 29 % respondentů uvedlo, že hodnotí projekt DevOps primárně pomocí dat zvnějšku; může jít opět o finanční data (rostou příjmy ze služby?), ale ještě spíše zahrnují faktory jako doba uvádění produktů na trh, vývoj pozice na trhu/konkurenceschopnosti, zlepšování zákaznické zkušenosti apod. Má se jednat o správný přístup, tyto faktory ovšem nejsou tak snadno měřitelné čistě prostředky z oddělení IT a financí.
Emily Johnson na InformationWeek dále cituje názory z firem Splunk, Datical a dalších, podle nichž by metriky úspěšnosti DevOps měly být primárně orientovány směrem k zákazníkům.
Navíc technické parametry mají vycházet méně z „klasických“ kritérií typu ROI a TCO, ale měly by být zaměřené na agilitu – jak rychle lze ¨nasazovat nové služby, jak rychle lze služby měnit, obnovovat v případě selhání apod. „Provoz“ a „byznys/řízení financí“ ve firmách historicky fungovaly odděleně, nyní by se to ale mělo změnit.
Týmy DevOps musí mít přístup k informacím o zákaznících, jinak tato metoda sama o sobě nedokáže splnit to, co se od ní očekává – čili opět se dostáváme k tvrzení (klišé? frázi?), že zde má jít o procesy nejen při vývoji a provozu softwaru, ale ve firmě jako celku. Nové aplikace např. často generují potřebná data, ta však směřují do oddělení péče o zákazníky a marketingu, nikoliv už k samotným tvůrcům těchto aplikací – a ti pak tato data vůbec nezahrnují do svých metrik úspěšnosti projektu.
Zdroj: InformationWeek