Note del Tutorial di Automazione di UI.Vision

Introduzione

• Panoramica di UI.Vision per automazione di compiti e test utilizzando la visione artificiale.

Automazione del Browser Web

• Compito Esempio: Automatizzare la misurazione della distanza su Google Maps.
  • Registra una macro scheletro con l'automazione web classica.
  • I passaggi sono aggiunti automaticamente alla macro durante la navigazione.
  • Ferma la registrazione dopo i passaggi iniziali.

Passaggi di Automazione Visiva

1. VisualAssert: Conferma che la mappa è caricata correttamente.
2. XMove: Posiziona il mouse sulla mappa utilizzando la stessa immagine.
3. Zoom Out: Simula il movimento della rotella del mouse due volte per ridurre lo zoom.
4. Inizia Misurazione Distanza:
   • Utilizza XClick per fare clic con il tasto destro sull'icona del Big Ben.
   • Navigare fino a "Misura Distanza" simulando la pressione del tasto freccia in giù 9 volte.
   • Utilizza il tasto INVIO per selezionare.
5. Ripetizione: Ripeti il comando XType 9 volte utilizzando il comando TIMES.
6. Clicca Bersaglio: Usa XClick per fare clic sull'icona di Buckingham Palace.
7. Estrai Valore Misurato:
   • Fai triplo clic sulla linea del popup.
   • Usa CTRL-C per copiare il valore negli appunti.
   • Accedi al valore nella macro utilizzando la variabile !Clipboard.

Verifica della Macro

• La macro apre Google Maps, automatizza la ricerca, simula il clic destro e visualizza la distanza.
• Compatibilità cross-platform: La stessa macro funziona su Linux e Mac senza modifiche.

Esportazione della Macro

• Esporta come archivio ZIP con la macro e le immagini richieste.
• Mac: Importa macro ed esegui automazione con successo.
• Linux: Importa macro e verifica l'esecuzione corretta.

Automazione Desktop

• Demo: Automatizza la calcolatrice di Windows e leggi l'output con OCR.
  • Abilita la modalità automazione desktop per interagire fuori dal browser.
  • Passaggi per Automatizzare la Calcolatrice:
    1. Doppio clic per avviare la calcolatrice.
    2. Calcola 8 per 8 utilizzando XClick per premere i pulsanti.
    3. Usa OCRExtractRelative per cattura dello schermo del risultato:
       • Cattura l'istantanea dell'area del risultato.
       • Definisci immagine ancora e aree di estrazione testo nell'editor integrato.
    4. Output del risultato OCR.

Verifica

• Conferma immagini di input per i comandi XClick.
• Esegui l'automazione per verificare il calcolo e l'estrazione dell'output.

Argomento Avanzato: API da Riga di Comando di UI Vision

• Integra UI Vision con altri strumenti/linguaggi utilizzando l'API da riga di comando.
  • Esempio con PowerShell:
    • Conferma nomi delle macro nello script.
    • Esegui lo script per automatizzare le attività.
  • Esempio con Node.JS:
    • Conferma nomi delle macro nello script.
    • Esegui lo script per automatizzare le attività.
    • Restituisci i risultati allo script chiamante.

Risorse Aggiuntive

• Codice sorgente disponibile su GitHub.
• Script di esempio per Python, shell Linux e file batch di Windows.

Conclusione

• Grazie per aver seguito.
• Per ulteriori informazioni, visita il sito web di UI Vision e il forum degli utenti.
• Buona automazione!