YC-Startup TesterArmy startet agentisches CI für Expo-Apps

YC-Startup TesterArmy startet agentisches CI für Expo-Apps

Das von Y Combinator unterstützte Startup TesterArmy stellt eine Integration mit Expo und EAS vor, die Pull Requests automatisiert testet. Ein KI-Agent liest bei jedem Pull Request Beschreibung und Diff, installiert den per EAS erzeugten Build in einem Cloud-Simulator und führt natürlichsprachlich beschriebene Testflüsse aus. Die Ergebnisse erscheinen als GitHub-Checks mit Aufzeichnungen und Screenshots. Damit entfällt das manuelle Durchklicken von UI-Änderungen, das nach Angaben des CTO Oskar Kwaśniewski in einem Gastbeitrag oft der Flaschenhals beim Merge ist.

Statt fester Testjobs entscheidet die Pipeline dynamisch, was gebaut und getestet wird – ein Konzept, das das Startup als „agentic CI“ bezeichnet. Der Agent analysiert anhand des PR-Diffs und der Beschreibung, welche Bereiche der App betroffen sind, und wählt daraufhin gezielt die relevanten Builds (z. B. iOS-Simulator-App oder Android-APK) und die passenden Testflüsse aus. Ändert sich etwa der Login-Bildschirm, führt er genau die Anmeldung durch; betrifft der Diff den Checkout, testet er den Kaufprozess. So werden nur die tatsächlich geänderten Funktionen geprüft, statt bei jedem Commit die gesamte Testsuite abzuspulen.

Gegenüber klassischem Testing entfallen Testcode im Repository, SDK-Installation und eigene Simulator-Infrastruktur. Die Tests werden in natürlicher Sprache beschrieben – etwa „Melde dich mit einer neuen E-Mail an, lege zwei Artikel in den Warenkorb und prüfe den Gesamtbetrag“ – und der Agent führt sie wie ein menschlicher Nutzer aus, navigiert, füllt Formulare aus und wertet Ergebnisse aus. Das eignet sich für typische Anwendungsfälle wie Onboarding, Login oder den Kern-Loop einer App. TesterArmy wurde von Oskar Kwaśniewski, Szymon Rybczak und Piotr gegründet und ist Teil des aktuellen YC-Batches (P26). Der Service läuft auf Simulatoren und Emulatoren und ersetzt keine On-Device-Tests für hardware-spezifisches Verhalten.

So läuft der automatisierte PR-Test mit EAS und GitHub ab

Der Ablauf im Detail: EAS baut aus dem in eas.json definierten Profil eine iOS-Simulator-App oder eine Android-APK. Die TesterArmy-CLI lädt dieses Artefakt mit einem Befehl hoch und startet die zuvor gespeicherte Testgruppe. Die Tests laufen auf Cloud-Simulatoren beziehungsweise Emulatoren; der Agent installiert den Build und führt die natürlichsprachlich beschriebenen Flows aus. Das Ergebnis wird in eine Datei ci-result.json geschrieben. Anschließend erscheint das Resultat als GitHub-Check im Pull Request, inklusive Screenshots und Aufzeichnungen der Testausführung.

Für die CI-Integration sind GitHub-Secrets im Repository zu hinterlegen. Der empfohlene Workflow baut das Artefakt in einem eigenen Job, lädt es als GitHub-Artefakt hoch und führt anschließend die TesterArmy-Action aus, die den Upload, die Testausführung und das Aufräumen übernimmt. Die CLI schreibt ci-result.json und beendet sich mit Exit-Code 1, wenn ein Test fehlschlägt – dadurch stoppt die Pipeline. Zusätzlich lassen sich definierte Tests und ein Explorations-Agent parallel ausführen, indem man den Upload einmal durchführt und dann zwei Jobs startet: einen für die feste Testgruppe und einen für die dynamische Erkundung der PR-Änderungen. Bei parallelen Läufen greifen die Plan-Limits: Die Anzahl gleichzeitiger Testläufe ist begrenzt, zusätzliche Läufe werden in eine Warteschlange gestellt und starten, sobald ein Platz frei wird. Am Monatslimit werden neue Läufe blockiert, laufende Tests werden normal beendet. Da TesterArmy ein Service und kein Framework ist, ist kein Testcode im Repository nötig; auch eine eigene Simulator-Infrastruktur entfällt. Die Ausführung auf Simulatoren und Emulatoren deckt UI- und Flow-Regressionen ab, ersetzt jedoch keine Tests auf echten Geräten für hardware-spezifisches Verhalten.