Vi spurte Flocks CEO om overvåkingsmisbruk. Her er hva han sa.

I 2017 startet Flock Safety som et sideprosjekt i en garasje i Atlanta.

I dag er det et selskap verdt flere milliarder dollar som driver mer enn 120 000(nytt vindu) automatiserte skiltleserkameraer (ALPR) over 49 amerikanske delstater, som leser 20 milliarder bilskilt i måneden for mer enn 5 000 politietater.

Flock fremstiller seg selv som en leverandør av teknologi for offentlig sikkerhet. Kritikere kaller det imidlertid et risikokapitalfinansiert overvåkingsnettverk preget av misbruk og svak tilsyn.

Dusinvis av byer og etater har droppet Flock det siste året, Los Angeles lot kontrakten utløpe(nytt vindu) på grunn av bekymringer for sivile rettigheter, og et politidistrikt i California slo av kameraene sine(nytt vindu) etter at føderale etater fikk tilgang til dataene deres uten varsel.

Under arbeidet med vår nyeste Proton-dokumentar om Flock-kameraer, takket Flocks egen CEO, Garrett Langley, ja til et intervju med vår vert, Richie Koch.

Nedenfor er en utskrift av hele samtalen, lett redigert for lengde og klarhet.

—

Richie Koch: Så første spørsmål. På tvers av hele Flock-plattformen, ikke bare nummerskiltleserne. Er det mulig for politiet å søke etter en person?

Garrett Langley: Så vi selger flere produkter som fokuserer på å gjøre to ting riktig. Gi sikkerhet. Gi personvern. Styrke ansvarlighet. Det er liksom målet for oss, ikke sant? Vi har noen produkter som er fokusert på kjøretøy, våre nummerskiltlesere. Vi har noen produkter som er fokusert på lyd, gjenkjenning av skuddlyder. Og så selger vi det seerne dine kanskje er kjent med, kalt Pan, tilt, zoom-kameraer. Og de blir tradisjonelt utplassert på steder der fotgjengere ferdes.

Richie: Okay. Ja. Og jeg har hørt om Condor-kameraene.

Garrett: Det er et PTZ.

Richie: Ja. Okay. Og så lurte jeg på, jeg fikk ikke nødvendigvis et klart «ja» eller «nei» der. Så jeg lurte på om du kanskje kunne utdype litt hva Condor PTZ-ene gjør?

Garrett: Her er et godt eksempel. Ofte blir disse kameraene, enten de er fra oss eller fra de par hundre store kameraprodusentene globalt som bygger pan, tilt, zoom-kameraer. Så enten det er oss eller noen andre. Byer vil ofte utplassere disse i parker. Ikke sant. Byen bruker titalls millioner dollar på å bygge en vakker park. Det siste de vil, er at den parken blir et sted der det skjer narkotikahandel, folk blir skadet osv. Og ser du på min egen hjemby, Atlanta, for bare fem år siden, var det en forferdelig, forferdelig hendelse. Du kan lese om det. En kvinne gikk tur med hunden sin midt på natten, ble brutalt drept, uløst sak. Vet du hvorfor? Det var kameraer der, men de fungerte ikke. Hvis kameraene deres var der og fungerte, liker jeg å tro ganske sikkert at den saken ikke ville vært uløst. Og så, mer enn ofte, utplasserer kundene våre produktene våre i slike tilfeller for å holde innbyggerne sine trygge, enten det er i en park eller på en offentlig vei.

Richie: Kan du forklare litt hvordan søket fungerer? Vi har jo slått fast at disse kameraene finnes, at muligheten finnes. Hvordan ser et søk ut?

Garrett: For hvilket produkt? … De er veldig forskjellige, fordi vi trekker et veldig tydelig skille ved ALPR-kameraene våre. Du kan ikke søke etter personer. De er utformet spesifikt for å lese et bilskilt for å oppdage kjennetegn ved et kjøretøy. Pan-, tilt-, zoom-kameraene våre er derimot fokusert på personer. Fordi folk i hovedsak går i parker, går de vanligvis i parker.

Richie: Kan du bare forklare hvordan pan, tilt, zoom – hvordan søket ville fungere?

Garrett: Så det er egentlig to hovedmåter å søke på. Det er det vi kan kalle det tradisjonelle søket som du vet, som jeg har på mine, du vet, kameraer hjemme. Der jeg bare kan se på en tidslinje og gå frem og tilbake. Ikke sant. Og det er en ganske tradisjonell rullelinje. Og så er den andre at vi har et produkt som heter Freeform. Og Freeform lar deg søke etter ting i ren tekst. Det jeg vil legge til der, som er viktig – og jeg tror det ikke bare er unikt for oss, det er gjennomgående i hele bransjen: Du kan ikke bare tilby den typen søk uten representasjon av det vi kaller grunnloven, ikke sant? Vi har rettigheter, vi har visse restriksjoner. Og derfor er det bygd inn en modereringsretningslinje i det søket for å forhindre enhver form for misbrukende søk.

Richie: Kan Flock endre funksjonaliteten til et utplassert produkt gjennom en programvareoppdatering uten at et bystyre eller offentligheten godkjenner den nye funksjonaliteten?

Garrett: Hmmm. Altså, i kjernen av forretningsforholdet vårt, ikke sant. Enten det er med et nabolag eller en bedrift eller en by, som du kan se på kontraktene våre, er det en årlig kontrakt, ikke sant. Og hvert år må vi bevise verdien vår. Så det er en forventning fra kundene våre om at det blir bedre hver eneste dag.

Richie: Riktig. Du kan likevel se hvordan dette kan føre til oppdragskryp. Det var nylig en rapport i 404 Media der ALPR-kameraene dine i en kort periode ble gjort om til kameraer med direktestrømming. Det var en annen rapport i EFF der det akustiske overvåkingssystemet ditt for skuddlyder kort ble brukt til å overvåke skrik om menneskelig nød. I begge disse tilfellene ser det ut til at disse funksjonene ble lagt til uten noe tillegg i kontrakten. Uten noen ny form for rådføring med bystyret.

Garrett: Ja, ja. Så jeg tror mer overordnet, hvis du zoomer ut, er to ting sanne. For det første, ikke sant. Vi må fortsette å bygge et bedre produkt, og et bedre produkt betyr både mer sikkerhet, mer personvern og mer ansvarlighet. Men det vi ikke driver med, er å pålegge kundene våre hva de skal bruke og hva de ikke skal bruke. Som et eksempel lanserte vi revisjonsassistent-verktøyet vårt for omtrent en halvannen måned siden, ikke sant. Det er en tilleggsfunksjonalitet for å oppdage potensielt misbrukende eller skadelig adferd i systemet vårt. Vi krever ikke det i dag. Nå har mer enn en tredjedel av kundene våre slått det på, og vi oppfordrer kundene våre: «Du bør bruke dette. Du bør bruke dette.» Men jeg mener det er bystyrets jobb, kommissærens jobb, å presse dem til å jobbe for mer ansvarlighet. Og jeg vil si det samme på sikkerhetssiden. Så det er heller sjelden at vi tvinger noe på kundene våre, fremfor å bygge noe, la verden få vite om det, som Freeform som et eksempel. Og hvis en by deretter velger å ta det i bruk, er det opp til dem å ta en avgjørelse om hva som er hensiktsmessig å enten dele med bystyret eller bare gå videre med.

Richie: Ikke for å gå… Jeg vil holde det overordnet, ikke gå inn på detaljer, men de rapporterte tilfellene virket mindre som om det var rådføring fra byrepresentanter, bystyre, bystyresmakt, og mer ganske enkelt at politiet bestemte seg for å krysse av i boksen for å slå på funksjonen. Dette virker ikke nødvendigvis å stemme overens med prinsippet ditt om lokal styring.

Garrett: Var det et spørsmål?

Richie: Jeg vil si…

Garrett: Beklager.

Richie: Vil du støtte å kreve eksplisitt, eksplisitt offentlig godkjenning før en vesentlig, vesentlig ny overvåkingsfunksjon kan aktiveres på en teknologi som allerede er tatt i bruk i lokalsamfunnet?

Garrett: 100 %. Altså, jeg føler sterkt for at politiet bare er én del av en lokal myndighet, og de lokale myndighetene har retningslinjer, og de fleste av disse lokale myndighetene har retningslinjer rundt ikke bare overvåking, men også budsjettelementer. Ikke sant. Så når jeg ser på det, tenker jeg at det finnes et system på plass, og vi bør fortsette å stole på våre lokalt valgte representanter for å gjøre disse avveiningene om hvordan vi holder lokalsamfunnet trygt.

Richie: Okay. Så det vil, ikke for å legge ord i munnen på deg, men det ser ut til at du vil det. Hvis du er villig til å støtte dette, vil det bety å potensielt gå til bystyret før man introduserer en ny funksjon, og ikke bare rulle den ut. Presse den ut. Stemmer det?

Garrett: Her er hvordan jeg tenker på det. Hvis en etat, hvis et politidistrikt velger å legge til en funksjon, må jeg også stole på at kunden forstår lokalsamfunnets verdier, sine retningslinjer og sine prosedyrer. Og du vet, vi har nesten 7 000 politidistrikter på dette tidspunktet, byer som vi jobber med. De er alle veldig unike. Cleveland er veldig forskjellig fra Cincinnati, fra Toledo. Og da har vi ikke engang forlatt Ohio ennå. Du flytter til min hjemstat Georgia eller California eller Washington. Og hele poenget er at de alle har forskjellige innkjøpsregler. De har ulike gjennomganger av retningslinjer, alt dette finnes på et veldig lokalt nivå. Så overordnet sett, 100 %, mener jeg ikke at politidistrikter bør ta i bruk noen som helst ny retningslinje, fjern enten det er mine produkter eller en av mine konkurrenters, eller til og med en uniformsendring slik – det bør være opp til byen å avgjøre hvilket nivå av vurdering som er nødvendig fra by til by.

Richie: Det har vært flere tilfeller der politibetjenter påstås å ha misbrukt Flock til å forfølge folk. Når det skjer, hvilket ansvar tar Flock selv?

Garrett: Ethvert nivå av misbruk utover null er uakseptabelt og gjør meg kvalm. Vi bygde et produkt. Jeg startet et selskap for å gjøre folk tryggere. Jeg har tre små barn. Jeg ser det som min primære forpliktelse som faren deres å holde dem trygge. Så når jeg ser enkeltpersoner ta veldig dårlige avgjørelser om å bruke produktene våre på en måte som ikke var tiltenkt, er det frustrerende. Og vi visste at dette var en risiko for ni år siden. Det var derfor vi fant på revisjonslogger. Vet du, hvis du går tilbake til før Flock, la oss snakke om LPR. LPR har eksistert bestandig. Det var ingen dataoppbevaring.

Richie: Ja.

Garrett: Ikke sant? Det ble solgt kommersielt. Det blir det fortsatt. Ikke sant. Innløsningsbiler kjører rundt og selger kommersielle data. Og så var det ingen ansvarlighet bygd inn i det. Så det overrasker meg ikke at etter hvert som vi har brakt dette videre, ikke sant – og etter hvert som vi nå har lagt til revisjonsassistanse – vil vi fortsette å presse hardere på dette. For meg ser jeg det som vår jobb å bygge et produkt som er nesten umulig, så vanskelig å bruke utenom det tiltenkte formålet. Og jeg tror faktisk – dette kan virke mot sin hensikt – jeg synes det er flott når jeg ser medieoppmerksomheten, fordi jeg vil at betjentene skal vite at hvis du prøver å bruke Flock, vil du bli stilt til ansvar hvis du prøver å bruke det på en misbrukende måte. Og det finnes andre systemer som du vet ikke blir sporet. Og det synes jeg er ille.

Richie: Du ser ut til å ha sterke meninger om dette. Så hvor mange kontrakter med politidistrikter har Flock suspendert eller hevet på grunn av systematisk misbruk? Omfattende misbruk fra betjenter og systemet ditt?

Garrett: Ja, jeg synes det er et veldig, veldig interessant spørsmål. Og det er interessant fordi jeg hver dag, som et eksempel, ser minst tre, om ikke fire solskinnshistorier om et bortført barn som blir brakt hjem. Jeg ser hundrevis til tusenvis av forbrytelser som blir oppklart. Hvis jeg bodde i en by som hadde et politidistrikt som misbrukte Flock, var det siste jeg ville gjøre å rive ut dette systemet som er så effektivt til å faktisk oppklare kriminalitet. Så misbruket du snakker om er eksepsjonelt sjelden. Nå, til poenget mitt: Alt over null er uakseptabelt. Men du snakker om hundretusener av politibetjenter som bruker Flock hver eneste dag, og et ensifret antall, kanskje noen titalls, som potensielt misbruker det. Jeg synes ikke du skal holde hele byen ansvarlig for de dårlige avgjørelsene til noen få.

Richie: Hvis jeg kan utlede fra det svaret, vil jeg si at tallet er null.

Garrett: Jeg vil ikke gi et feilaktig bilde i et svar, så jeg svarte ikke. Jeg vil ikke fortelle deg én ting og så er det…

Richie: Okei. Det er rettferdig. Vi lar det ligge som at det er et eksepsjonelt sjeldent tilfelle og går videre.

Richie: Finnes det et nivå av misbruk som ville få deg til å avgjøre at en etat, at en etat ikke lenger bør ha tilgang til teknologien din? Finnes det en terskel?

Garrett: Ja. Så jeg tror det du beskriver er i et tilfelle der, la oss kalle det, hele politidistriktet blir bevist skyldig i misbruk, og sannsynligvis ikke bare av Flock, men av mange andre ting. Og i de tilfellene er det en føderal prosess for å håndtere dette. De føderale myndighetene griper vanligvis inn, delstatsmyndighetene griper inn. Og i slike situasjoner er det usannsynlig at de beholder Flock fordi de sannsynligvis legger ned hele politidistriktet. Så jeg tror aldri jeg vil bli stilt overfor det problemet eller den avgjørelsen.

Richie: Okei. Så igjen, bare for å utlede litt, oppsummere det hele, ville det vært en eksepsjonelt høy terskel. Ikke sant?

Garrett: Ja. Hva tenker du? Jeg er faktisk nysgjerrig. Har du et synspunkt på når et teknologiselskap bør…

Richie: Min mening betyr egentlig ingenting. Det er du som er CEO her. Jeg forteller deg det gjerne over en øl. Du sier at en av Flocks sikkerhetsforanstaltninger er lokal kontroll, men flere byer i California hevder at dataene deres ble delt med eksterne parter, noen ganger med de føderale myndighetene, uten deres tillatelse. Hvordan stemmer dette overens med påstanden din om at kundene kontrollerer sine egne data?

Garrett: Jeg er uenig i de uttalelsene.

Richie: Okei, jeg kan fortelle deg at jeg hentet dette fra en påstand fra Mountain View i California. De hevder at Flock aktiverte landsomfattende søk for politidistrikter uten deres tillatelse, og at føderale etater deretter fikk tilgang til dataene. På samme måte oppga South Pasadena utilsiktet deling av data som en grunn til at de hevet kontrakten. Den ene ble rapportert i The Guardian, den andre var ganske enkelt fra byen. Du…

Garrett: Så kundene kontrollerer dataene sine, de kontrollerer hvilke avmerkingsbokser som er valgt. Om noe, misforsto vi forpliktelsen vår overfor kundene til å gjøre det umulig for dem å gjøre feil. Så hvis du tar et sted som California, sier delstatslovgivningen der at LPR-data ikke skal forlate delstaten. Vi så det ikke som vår jobb å kodifisere det inn i produktet vårt for to år siden. Nå, etter som vi har hørt fra kunder som utilsiktet enten klikket på en knapp eller noen klikket på knappen og sa: «Hei, vi vil faktisk slå på nasjonalt søk», gjorde vi det for enkelt for dem. Så nå i delstaten California, Washington og Virginia, der det er klar lovgivning om at LPR-data ikke kan forlate delstaten, gjør vi det umulig for det å skje. Det finnes ikke engang en avmerkingsboks. Om noe, Richie, er måten jeg vil beskrive det på, at Flocks forpliktelse i denne samtalen har økt. Jeg ser ansvaret vårt som større, det er derfor jeg er en så stor tilhenger av regulering generelt. For nå på et sted som Washington, du vet, finnes det et lovforslag som sier at dette er hvordan vi mener LPR bør fungere i Washington. Og når de lovforslagene er godt skrevet, ikke nødvendigvis på innholdet, men på håndhevbarheten, mener jeg det er en flott ting. Og så på et sted som California har vi nå endret og hevet standarden slik at det er umulig for det i det hele tatt å skje.