Articles

Alternativy TestFlight: Top 11 mobilní Beta testovací nástroje pro 2017

Posted by admin

jak začíná nový rok, doufáme, že více mobilních Dev týmů bude distribuovat beta sestavení před uvolněním pro veřejnost. Pokud čtete tento článek, je pravděpodobné, že hledáte nejlepší nástroje a služby pro distribuci beta. Tento článek se zabývá nástroji pro iOS i Android, ale zaměřuje se na iOS (a alternativy TestFlight), protože je to složitější platforma pro beta testování.

tento článek porovnává každý nástroj, pokud jde o podporu více platforem, integrace a API nabízené, snadnost použití, Popularita, čas nastavení, různé výhody a nevýhody, a, samozřejmě, ceny. Diskutuji a porovnávám nepřetržitou integraci a nepřetržitý vývoj adopce a integrace, stejně jako zpětná vazba od uživatelů a použitelnost. Budu také pokrývat snadné použití a čas nastavení, analyzovat kroky nezbytné k tomu, aby bylo vše nastaveno a spuštěno. Kromě toho zmíním všechny známé zákazníky pro každou službu, stejně jako všechny veřejně dostupné metriky při výpočtu faktoru popularity.

řešení UDID (jedinečných identifikátorů zařízení) je jednou z věcí, se kterými vývojáři iOS bojují při distribuci beta verzí. Ty jsou součástí zřizovacích profilů potřebných k vydání beta verzí. Všimněte si, že ve většině nástrojů uvedených v tomto článku budou muset vývojáři iOS ručně zpracovat profily zřizování a odeslat novou sestavu s nově vygenerovaným profilem zřizování, ale některé nástroje mohou tuto úlohu automatizovat. Pokud není uvedeno jinak, předpokládejme, že služba nezpracovává profily zřizování za vás, takže se s nimi budete muset vypořádat ručně.

seznam alternativ TestFlight recenzovaných v tomto článku

Název

platformy

ceny

TestFairy

Android, iOS, Ostatní

10 aplikací zdarma

HockeyApp

Android, iOS, Ostatní

2 aplikací zdarma

HockeyKit

Android, iOS

Volný

Crashlytics (Fabric)

Android, iOS

Volný

Applivery

Android, iOS, Ostatní

2 Aplikace zdarma

Buddybuild

Android, iOS, Ostatní

1 souběžné sestavení zdarma

AppBlade

Android, iOS, Ostatní

25 zařízení zdarma

DeployGate

Android, iOS

zdarma pro nezávislé vývojáře

Installr

Android, iOS

3 zařízení zdarma

Ubertesters

Android, iOS, Ostatní

2 projekty zdarma

Top 11 iOS beta testovací nástroje porovnání @testflightapp #HockeyApp @Buddybuild @Crashlytics @Testfairy a další https://t.co/eQMYfaE7hp

— Rollout.io (@RolloutIO) Leden 31, 2017

Popularita: Pokud jste do světa vývoje Apple, pravděpodobně jste slyšeli o TestFlight. Existuje mnoho názorů pro a proti používání TestFlight od doby, kdy jej Apple získal na začátku roku 2014, ale během prvních 3 let existence před akvizicí již získal velkou popularitu a přijetí.

platformy: od svého získání společnost Apple přestala podporovat distribuce systému Android a nyní umožňuje distribuci pouze do zařízení Apple – iOS, watchOS a tvOS.

API & integrace: Fastlane, konkrétněji je to „pilot“ lane, bude vaším nejlepším přítelem při doručování aplikace beta testerům TestFlight. S jediným příkazovým řádkem, budete moci dostat svou aplikaci z vývoje do rukou beta testerů.

snadné použití: pokud k automatizaci pracovního prostoru nepoužíváte automatizační nástroj, jako je Fastlane, je stále velmi jednoduché dostat aplikaci do beta testování. Celý proces se provádí prostřednictvím portálu iTunes Connect a můžete přidat interní nebo externí testery. Interní testery jsou „součástí“ vašeho vývojového týmu, tedy pouze ty, které jsou aktuálně přiřazeny jako vývojáři nebo mají vývojářské role ve vašem týmu iTunes Connect (jako administrátoři). Distribuce aplikací zaslaná interním testerům je nejrychlejší, protože nevyžadují recenzi Beta aplikace ani nejsou v souladu s pokyny pro kontrolu App Store, jako je distribuce zaslaná externím testerům.

na druhou stranu, pozvat externí testery, kdo je někdo, kdo není ve vašem vývojovém týmu, potřebujete pouze jejich e-mailovou adresu a je dobré jít, jakmile pozvání přijmou. Pouze TestFlight má tento interní a externí koncept testeru.

výhodou TestFlight je, že nevyžaduje, aby vývojář ručně zpracovával zřizovací profily pro nová zařízení, což výrazně zlepšuje jeho snadné použití.

čas nastavení & úsilí: doba nastavení je většinou vytvoření aplikace v iTunes Connect a odeslání aplikace pomocí Xcode, což může trvat až několik minut, než bude vaše aplikace schválena prostřednictvím automatizovaného systému revize aplikací společnosti Apple. Musíte explicitně deklarovat některé informace o sestavě testu, kterou odesíláte, jako popis a to, co je třeba otestovat, takže to může trvat o něco déle, než kdyby to nevyžadovalo tyto informace.

různé výhody: každý tester musí stáhnout oficiální aplikaci TestFlight společnosti Apple v App Store, aby mohl stahovat a testovat distribuce aplikací. Další skvělou funkcí je, že můžete distribuované aplikaci přiřadit poznámky a podrobnosti, aby testeři mohli vidět, co je třeba otestovat.

základní informace o haváriích a relacích jsou uloženy v datech TestFlight, takže vývojáři mohou sledovat, co se děje s každou z testovaných verzí. Dodatečná zpětná vazba může být zaslána vývojářům prostřednictvím e-mailu (v rámci aplikace TestFlight) spolu s protokolem s informacemi o aktuálním zařízení.

různé nevýhody: to, co vývojářům vadí nejvíce, je recenze Beta aplikace, která je nutná k pozvání externích testerů(nejdůležitější testery jsou většinou mimo náš vývojový tým). To a skutečnost, že nepodporuje platformy jiné než Apple, jsou důvody, proč si mnoho lidí stěžuje na TestFlight. Kromě toho je to skvělý nástroj, byl to již jeden z nejpopulárnějších (ne-li nejvíce) na trhu, než jej Apple koupil, a po jeho akvizici se rozhodně stal ještě populárnějším.

ceny: Oficiální řešení Apple pro distribuci beta je zcela zdarma k použití.

Ostatní: rychlý video tutoriál nabízí Apple zde. Alternativně, úplný návod je k dispozici na webových stránkách Ray Wenderlich.

TestFairy

**

**

TestFairy je jednou z mých doporučených alternativ TestFlight. Funguje pro iOS a Android a desítky dalších platforem, a poskytuje více než jen distribuci aplikací. TestFairy poskytuje videa ukazující, co se přesně stalo ve vaší aplikaci, než se něco pokazilo. Služba poskytuje uživatelům možnost protřepat zařízení a odeslat zpětnou vazbu zpět vývojáři. Tato zpětná vazba může být automaticky tlačena na Slack nebo JIRA s videem, které ukazuje, co přesně bylo s uživatelem provedeno. Integrace & API: Seznam integrací TestFairy je opravdu skvělý! Integrace sledování chyb zahrnují Jira, GitHub, Trello, Bugzilla, Asana, Pivotal, YouTrack, Slack a HipChat. Kontinuální integrace: TestFairy má otevřené API pro nahrávání a pluginy pro populární ci nástroje jako Jenkins, Travis-CI, Circle-CI, Bitrise, Fastlane, Bamboo. Platformy: TestFairy je k dispozici pro nativní iOS, Android, Xamarin, React Native, Adobe Air, PhoneGap, Cordova, ionic, Appcelerator Titanium a Unity. Popularita: TestFairy je docela populární u davu podniků. Mezi klienty patří Samsung, Groupon, Adobe, Johnson & Johnson, HP, Century Link, Sears, McKinsey. Enterprise Hosting: TestFairy enterprise edition je k dispozici v soukromém cloudu nebo na Premise a má možnost bílého označení. TestFairy pro startupy je k dispozici pouze ve veřejném cloudu. Jednotné přihlášení: TestFairy podporuje SAML a LDAP a je kompatibilní s řešeními Okta, OneLogin, Ping Identity, Google Apps, Oracle a IBM SSO. Doba Nastavení & Úsilí A Snadné Použití: Nemusíte ani přidávat SDK do svého projektu, pokud hledáte pouze funkci distribuce aplikací, takže je to jeden z nejjednodušších nástrojů pro nastavení a zahájení používání. Jako plus získáte také hlášení chyb v aplikaci. Ceny: TestFairy má základní úroveň, která je zdarma, a nabízí placené balíčky pro začínající a podnikové společnosti.

HockeyApp

Popularita A Různé Výhody: Úplnější než TestFlight a rozhodně mezi nejoblíbenější distribuční služby beta, řešení společnosti Microsoft pro distribuce beta také nabízí zpětnou vazbu od uživatelů přímo z aplikace, informace o tom, jak uživatelé aplikaci používají, sofistikované funkce správy týmu a je vhodný pro velké společnosti, které vyvíjejí mnoho různých aplikací.

platformy: podporuje také větší škálu platforem, od Android, iOS, macOS a Windows, až po Cordova, React Native, Unity a Xamarin.

Snadné Použití A Čas Nastavení & Úsilí: Nastavení je do značné míry stejné jako tkanina, kterou budu později pokrývat. Existuje mnoho způsobů, jak přidat HockeyApp SDK do vašeho projektu, včetně CocoaPods, Kartágo, a ručně. Nahrávání nového sestavení lze provést prostřednictvím webového panelu nebo prostřednictvím HockeyApp pro Mac, a je opravdu jednoduché.

integrace & API: nabízí širokou škálu integrací a sledovačů chyb a poskytuje praktické návody pro ty nejoblíbenější, jako jsou JIRA, Slack, GitHub, stavová deska iPad aplikace, týmové služby Visual Studio společnosti Microsoft a také webhooks. Navíc HockeyApp také podporuje různé build servery & nástroje: Fastlane, Jenkins, Travis CI a Visual Studio Team Services.

ceny: to vše je k dispozici ve volné vrstvě až pro 2 aplikace a další plány najdete zde. Pro ty, kteří chtějí používat více než 2 aplikace a nechtěli by za to platit více, hockeykit open source může být alternativou.

HockeyKit

Platformy: Z Hockeykit GitHub Wiki, HockeyKit je rámec pro snadnou distribuci aplikací s maximální snadností použití pro koncové uživatele a velkou flexibilitou pro vývojáře, který v současné době podporuje platformy iOS a Android.

integrace & API: je to open source framework, který předcházel HockeyApp. Je to alternativa pro ty, kteří mají své vlastní servery a chtěli by hostit svůj vlastní distribuční systém beta, ale nebyl aktualizován více než 2 roky a je poskytován tak, jak je. Pro další podporu a funkce doporučují používat HockeyApp, protože je to podnikání, které tento produkt postupovalo.

snadnost použití & doba nastavení & úsilí: vzhledem k tomu, že se jedná o open source framework, který musí být plně nainstalován na vašem vlastním serveru a je poskytován tak, jak je, není snadné jej používat vůbec, nebo alespoň trvá určitou dobu, než bude vše nastaveno. Má však dobrou dokumentaci, a protože se jedná o vlastní hostované řešení, můžete integrovat téměř vše, co potřebujete nebo chcete.

Popularita & Ceny: To není tak populární jako HockeyApp, ale na druhou stranu, je to zcela zdarma k použití, což z něj dělá nejlepší řešení, pokud vaše společnost nechce spoléhat na software 3rd strany dodat beta sestavení.

Crashlytics Beta (Fabric)

Ach… Konečně Tkanina. Zdaleka moje osobní nejoblíbenější sada mobilních vývojářských nástrojů. Tato sada nástrojů, kterou vlastní Twitter, obsahuje celkem 14 SDK(a počítání!), do jediné modulární SDK, která umožňuje vývojářům vybrat si, které nástroje potřebují pro každý ze svých projektů, a snadno je integrovat do každého z nich. Kromě toho Twitter překračuje informace o analýze odpovědí společnosti Fabric s analytikou Twitteru, takže získáte naprosto úžasné informace o publiku, aniž byste za to museli platit něco navíc-jedinečná funkce, kterou může svým vývojářům nabídnout pouze Twitter-a to je jeden z důvodů, proč je Fabric mým osobním vítězem za nejlepší bezplatný nástroj!

Čas Nastavení & Úsilí A Snadné Použití: Zaměření na Beta verzi (což je důvod, proč jste tady), nastavení funguje stejně jako HockeyApp, jak jsem již zmínil, takže je to docela jednoduché a vše lze provést buď prostřednictvím vašeho oblíbeného správce závislostí.

integrace & API: důrazně doporučuji používat Crashlytics vedle odpovědí a Beta a samozřejmě proč neintegrovat beta do Fastlane? Stisknutím tlačítka budou vaše sestavení k dispozici všem vašim beta testerům, což je jednoduché. A protože vývoj Fastlane nyní funguje pod velitelstvím Twitteru, vynaložili značné úsilí na to, aby se stal nejplynulejším nástrojem distribuce beta na trhu.

můžete také přidat Crashlytics do Slack kanálu vašeho týmu. Není to stejné jako integrace s Beta verzí, ale kdykoli máte důležité chyby a pády (včetně distribucí beta), budete je upozorněni ve vašem Slack (nebo ve vašem e-mailu, pokud jste staromódní).

platformy: Beta podporuje Android a iOS.

Různé Pros: Fabric také poskytuje úžasný graf podobný tepu v reálném čase, kde můžete vidět, jak se daří vaší produkci nebo beta aplikaci.

Popularita: pokud stále nejste přesvědčeni, Fabric obsluhoval více než 1 miliardu aktivních zařízení po pouhých 9 měsících od uvedení na trh a do konce roku 2016 Fabric obsluhoval více než 2 miliardy aktivních zařízení (prakticky všechna zařízení na Zemi), zatímco přistával na předních místech pro analýzu aplikací, stabilitu a zpeněžení 2016.

ceny: konečně, nejlepší ze všech: 100% zdarma.

Aktualizace: Google koupil Fabric V lednu. Je těžké říci, co to znamená právě teď, ale nejnovější akvizice společnosti Google měly nejvíce variabilní výsledky, jako jsou odstávky a omezení služeb. Nikdy nevíme, ale nemyslím si, že Fabrika bude mít takový smutný konec. Doufáme pouze, že Google nás nezklame 2,5 miliardou aktivních mobilních zařízení Fabric!

aplikace

dalším skvělým řešením, které vyniká, je Applivery, hlavně kvůli jeho přizpůsobitelnosti při distribuci vašich sestav, což z něj dělá skvělé řešení, pokud pro podnikové distribuce(ty, které nejsou určeny k distribuci ve veřejných obchodech s aplikacemi).

platformy: podporuje nativní i hybridní aplikace na platformách Android i iOS v jakémkoli programovacím jazyce podporovaném těmito platformami.

Integrace & API: Poskytuje také jedno z nejintegrovanějších řešení, které nabízí integrace plug-and-play s Slack, JIRA a Google Analytics. Umožňuje také automatické nahrávání aplikací přímo z vašeho build serveru a je připraven používat Bitrise, Jenkins, Travis-CI nebo jakékoli jiné platformy pro nepřetržitou integraci, nasazení a doručování. Kromě toho dokonce poskytuje plugin Fastlane, který nasadí vše stisknutím tlačítka, stejně jako jeho konkurenti. A pokud chcete ještě přímější přístup k jeho funkcím a funkcím, nabízí obrovské REST API pokrývající vše.

čas nastavení & úsilí a snadnost použití: pokud nejste zvyklí na Kartágo, zjistíte, že se do něj začnete kopat, pokud jej nechcete nainstalovat ručně, protože CocoaPods není možnost S aplikací Applivery. Odesílání zpětné vazby nebo hlášení o chybě je stejně snadné jako pořízení snímku obrazovky při použití aplikace Applivery, takže přidává skvělou použitelnost.

Popularita: vzhledem k tomu, že se jedná o nedávno založený startup ve Španělsku, není tak populární jako dříve zmíněná řešení,ale je to určitě silná konkurence na trhu díky svým podnikovým řešením.

ceny: Vzhledem ke své povaze B2B není zcela zdarma pro všechny jejich funkce, ale bezplatná verze v současné době obsahuje aplikace 2, sestavení/aplikaci 10, distribuční weby 5, různé týmy 2 a instalace 500. Další informace o ostatních plánech, viz jejich cenová tabulka.

buddybuild

pokud máte nějaký rozpočet investovat do svého projektu, Můj osobní favorit je určitě buddybuild. Díky vynikající řadě integrací, správě profilů automatického poskytování, obrovské podpoře platforem a plné nepřetržité podpoře integrace a nasazení má smysl, proč ji používají všechny společnosti nejvyšší úrovně.

Popularita: jak je uvedeno na jejich webových stránkách: „Některé z nejuznávanějších světových značek důvěřují buddybuildu“ a já bych nezměnil jediné slovo. Slack, Arc ‚ teryx, Firefox, Meetup, NBC a Monzo jsou některé z notoricky známých jmen, což je docela působivé.

Integrace & API: Stejně jako TestFairy, integrace buddybuild pokrývá téměř vše, co si dokážete představit, od fáze budování, po nasazení a zpětnou vazbu od uživatelů. Integrace zahrnují jakýkoli repozitář zdrojového kódu založený na git, iTunes Connect a Google Play (pro automatické nasazení TestFlight betas nebo uvedení aplikace do výroby do obchodů s aplikacemi) a většinu nástrojů pro komunikaci a hlášení chyb, jako jsou Slack, HipChat, Trello, JIRA, GitHub, Pivotal a další.

platformy: Android, iOS a překvapivě tvOS a watchOS jsou součástí platforem, které buddybuild podporuje. Pokud vyvíjíte hybridní řešení, podporují také jakýkoli hybridní vývojový rámec, jako je Ionic, React Native, PhoneGap a další.

čas nastavení & úsilí: neváhejte použít jakýkoli správce závislostí, se kterým jste spokojeni, jako CocoaPods, Carthage, npm nebo Maven, takže všechny závislosti jsou automaticky detekovány a nainstalovány. Nevyžaduje žádné nastavení konfigurace, skripty nebo soubory Při instalaci, takže vše je co nejplynulejší, když je vše připraveno.

Snadné Použití: Pokud jde o snadné použití, rozhodně je to jedno z nejvýznamnějších řešení na trhu. Opět se svými slovy: „buddybuild spojuje nepřetržitou integraci, nepřetržité doručování a iterativní řešení zpětné vazby do jediné, bezproblémové platformy“ a funguje naprosto krásně. S každým „git push“ na váš server git, buddybuild spustí sestavení aplikace, spustit všechny jednotky nebo UI testy (i na fyzických zařízeních, v případě potřeby), a připravit aplikaci, které mají být nasazeny do App Store nebo Google Play. A pamatujte na manipulaci UDID zmíněnou na začátku tohoto článku? Buddybuild zpracovává vše za vás, takže se nemusíte starat o to.

pokud jde o fázi zpětné vazby, mohou vaši beta testeři hlásit chyby a poskytovat zpětnou vazbu jednoduše stisknutím zástupce obrazovky na zařízení a dokonce zvýraznit oblast na snímku obrazovky, pokud chce. Navíc, s každou chybou nebo crash zprávy, okamžitý replay je k dispozici pro vaši analýzu, která vám obraz o tom, jak reprodukovat tuto konkrétní chybu.

Různé Pros: Co je o nich ještě chladnější, je to, že vám mohou poslat rychlé demo, abyste viděli, jak snadné je vše fungovat. Oni vám e-mailem beta verzi 2048 demo aplikace, takže si můžete hrát s ním, zjistit chyby nebo pády a hlásit zpětné vazby. Jediná špatná věc na tom je, že jsem osobně strávil 25 minut hraním 2048, když jsem poprvé obdržel demo aplikaci. _(ツ)_/

ceny: jejich bezplatná úroveň nabízí 1 souběžné sestavení, automatické poskytování 5 nových zařízení, 10 screenshotů / měsíc a 5 okamžitých záznamů / měsíc. Vyšší plány najdete na jejich cenové stránce.

další společnosti, které stojí za zmínku

zvýraznění: AppBlade je nástroj pro správu mobilních zařízení, takže je to beta distribuční nástroj se zaměřením na bezpečnost. Můžete vzdáleně instalovat, aktualizovat a odinstalovat aplikace do svých zařízení, stejně jako je zabezpečit, přidat vrstvu šifrování a vymazat informace ze zařízení, vše vzdáleně přes jeho palubní desku.

platformy: AppBlade je k dispozici pro iOS, macOS, Android, & BlackBerry.

ceny: zdarma pro prvních 25 zařízení a stejně levné jako $1/zařízení/měsíc poté.

DeployGate a Installr

zvýraznění: obě tyto služby registrují vaše testovací zařízení připojující se k Apple Developer Portal, takže automaticky spravují vaše UDID, zpracovávají vaše zřizovací profily a automaticky aktualizují IPA. Pokud vaše firma neustále používá Nová testovací zařízení nebo testery, je to určitě funkce, kterou jste hledali.

ceny: DeployGate ‚ s má spravedlivé ceny pro nezávislé vývojáře (od 0 do 15 $ / měsíc), ale poměrně agresivní ceny pro podniky,ale to je na každém podniku, aby se rozhodl. Jejich cenovou tabulku najdete zde.

Installr na druhé straně má opravdu omezenou bezplatnou úroveň a poplatky „za aplikaci“.

Ubertestery

zvýraznění: v případě, že chcete, aby vaše aplikace byla testována, ale nemáte tým QA, Ubertesters nabízí přesně to, co zní: platformu s distribuovanými nezávislými testery pro testování vaší aplikace. Testery jsou rozděleny do 3 různých kategorií: funkční testování, testování použitelnosti a testování lokalizace, takže si můžete najmout testery, které lépe otestují vaši aplikaci pro vaše potřeby.

spolu s platformou pro testování davu nabízí také nástroj pro správu QA, takže můžete sledovat a spravovat všechny procesy a své vlastní týmy v reálném čase.

ceny: služba testerů davu na vyžádání začíná na 25 USD / hodinu. Ubertestery nabízejí bezplatnou úroveň služeb, ale jejich úplnou cenovou tabulku najdete zde.

srovnávací tabulka

================================================================================================================================================

závěr

každý z 11 zde analyzovaných nástrojů stojí za zmínku, protože každý má svůj vlastní výklenek, specialitu a zvýraznění, takže v závislosti na vaší aplikaci možná budete chtít použít různé nástroje pro distribuci beta.

vřele doporučuji začít si zvykat s Fastlane a jeho úžasnou sadou nástrojů. Integruje se s většinou služeb uvedených v tomto článku, a to není jen náhoda.

pokud je vaše aplikace omezena na App Store (a v budoucnu nemáte žádné plány na vývoj verze pro Android), moje volba by byla TestFlight společnosti Apple kvůli snadnému nastavení, správě profilů automatického zřizování a stejnému sestavení, které na něm používáte, může být spuštěn v App Store stisknutím tlačítka.

vzhledem ke všem kladům a záporům by nebylo fér vybrat si jednoho vítěze kvůli rozdílu v cenách.

nechť je rok 2017 rokem nepřetržité integrace, dodávky a nasazení, lepšího testování aplikací a integrovanějších pracovních postupů. Pojďme se spojit s týmem QA-jsou to naši přátelé!

Related Post