Iryss en app som bruker Machine Learning for å identifisere objekter

Det er utallige nye funksjoner å dra nytte av i iOS 11, men mange av dem er under panseret i form av API-er og krever App Store-apper for å få full effekt.

Iryss er en ny app utviklet av Florian Hebrard, bedre kjent av jailbreak-samfunnet som Ziph0n, som utnytter Apples splitter nye CoreML (Machine Learning) API for å gjenkjenne objekter rundt deg i sanntid.

Å bruke Iryss er så enkelt som å peke kameraet ditt mot noe. I løpet av bare millisekunder gjetter appen hva objektet i rammen er ved hjelp av tekst på skjermen. Alternativt kan du konfigurere appen til å kunngjøre objekteringsoppdagelser høyt.

Iryss kan gjenkjenne både animerte og livløse gjenstander. Når det gjelder dyr, er appen smart nok til å skille mellom vanlige raser eller arter.

Det er et par innstillinger du kan konfigurere i Iryss-appen slik at den fungerer slik du vil:

Her kan du tvinge appen til å kunngjøre hva den oppdager høyt i stedet for bare å vise den som tekst, og du kan også aktivere haptisk tilbakemelding for å indikere vellykket objektidentifikasjon. Fordi appen er annonsestøttet, vil du også finne et kjøp i appen i denne innstillingsruten for å kjøpe ut annonsene.

Så hvor bra fungerer appen? Det er greit, men ikke perfekt. Kanskje oftere enn du kanskje vil, vil appen identifisere et objekt feil som noe det ikke er. Som et godt eksempel blir denne gumballmaskinen oppdaget som en "pilleflaske", sannsynligvis på grunn av de fargede prikkene inni:

En ting som jeg syntes var en betydelig hindring for appens funksjonalitet, er dårlige fotografiske forhold. For å sikre at du får den mest nøyaktige avlesningen, anbefaler jeg at du har de beste lysforholdene som mulig, og at du er langt nok unna et objekt til at det hele er i rammen.

Utvikleren sier til meg at selv om objektdeteksjoner ikke kan være riktig hele tiden, kan det alltid forbedres. Takket være hvor enkel Machine Learning gjør det for utviklere å lage apper av denne art, bør regelmessige oppdateringer til Iryss kunne forbedre nøyaktigheten over tid.

Iryss virker absolutt gimmicky for de fleste brukere ved første øyekast, men helt utenfra kan jeg tenke på minst to bruksområder i den virkelige verden der appen kan være nyttig, for eksempel:

  1. Når noen er vanskelige på å se og trenger iPhone for å se for dem, kan Iryss komme med stemmestyrte kunngjøringer for å fortelle den personen hva som er rundt dem.
  2. Når foreldre ønsker å legge til rette for objekt- / navnelæring for barnet sitt i ung alder, kan barnet leke med Iryss for å lære om gjenstandene rundt dem og hva de heter.

For andre brukere er Iryss egentlig bare et bevis på konsept-app som du kan leke med for moro skyld.

Hvis du er interessert i å prøve Iryss selv, er det en gratis nedlasting fra App Store. Det er en fin måte å se hva Machine Learning er i stand til i iOS 11, og du kan forvente at dette API vil gjøre mange andre utrolige apper mulige i fremtiden.

Liker du konseptet bak Iryss? Del tankene dine i kommentarene nedenfor.