SUGILITE: Creating multimodal smartphone automation by demonstration

Toby Jia Jun Li, Amos Azaria, Brad A. Myers

פרסום מחקרי: פרק בספר / בדוח / בכנספרסום בספר כנסביקורת עמיתים

131 ציטוטים ‏(Scopus)

תקציר

SUGILITE is a new programming-by-demonstration (PBD) system that enables users to create automation on smartphones. SUGILITE uses Android's accessibility API to support automating arbitrary tasks in any Android app (or even across multiple apps). When the user gives verbal commands that SUGILITE does not know how to execute, the user can demonstrate by directly manipulating the regular apps' user interface. By leveraging the verbal instructions, the demonstrated procedures, and the apps' UI hierarchy structures, SUGILITE can automatically generalize the script from the recorded actions, so SUGILITE learns how to perform tasks with different variations and parameters from a single demonstration. Extensive error handling and context checking support forking the script when new situations are encountered, and provide robustness if the apps change their user interface. Our lab study suggests that users with little or no programming knowledge can successfully automate smartphone tasks using SUGILITE. Copyright is held by the owner/author(s). Publication rights licensed to ACM.

שפה מקוריתאנגלית
כותר פרסום המארחCHI 2017 - Proceedings of the 2017 ACM SIGCHI Conference on Human Factors in Computing Systems
כותר משנה של פרסום המארחExplore, Innovate, Inspire
עמודים6038-6049
מספר עמודים12
מסת"ב (אלקטרוני)9781450346559
מזהי עצם דיגיטלי (DOIs)
סטטוס פרסוםפורסם - 2 מאי 2017
אירוע2017 ACM SIGCHI Conference on Human Factors in Computing Systems, CHI 2017 - Denver, ארצות הברית
משך הזמן: 6 מאי 201711 מאי 2017

סדרות פרסומים

שםConference on Human Factors in Computing Systems - Proceedings
כרך2017-May

כנס

כנס2017 ACM SIGCHI Conference on Human Factors in Computing Systems, CHI 2017
מדינה/אזורארצות הברית
עירDenver
תקופה6/05/1711/05/17

טביעת אצבע

להלן מוצגים תחומי המחקר של הפרסום 'SUGILITE: Creating multimodal smartphone automation by demonstration'. יחד הם יוצרים טביעת אצבע ייחודית.

פורמט ציטוט ביבליוגרפי