We hebben de CEO van Flock gevraagd naar misbruik van surveillance. Dit is wat hij zei.

In 2017 begon Flock Safety als een nevenproject in een garage in Atlanta.

Tegenwoordig is het een bedrijf van miljarden dollars dat meer dan 120.000(nieuw venster) automatische nummerherkenningscamera’s (ALPR) beheert in 49 Amerikaanse staten, die maandelijks 20 miljard nummerplaten lezen voor meer dan 5.000 rechtshandhavingsinstanties.

Flock presenteert zichzelf als een aanbieder van technologie voor openbare veiligheid. Critici noemen het echter een door risicokapitaal gefinancierd surveillancenetwerk vol misbruik en gebrekkig toezicht.

Tientallen steden en instanties zijn het afgelopen jaar gestopt met Flock, Los Angeles liet het contract verlopen(nieuw venster) vanwege zorgen over burgerrechten, en een politiekorps in Californië schakelde de camera’s uit(nieuw venster) nadat federale instanties zonder voorafgaande kennisgeving toegang kregen tot de gegevens.

Tijdens het maken van onze nieuwste Proton-documentaire over Flock-camera’s stemde de CEO van Flock zelf, Garrett Langley, in met een interview met onze presentator, Richie Koch.

Hieronder vindt u een transcriptie van het volledige gesprek, licht bewerkt ter wille van de lengte en duidelijkheid.

—

Richie Koch: De eerste vraag. Over het hele platform van Flock, niet alleen de nummerherkenners. Is het voor de politie mogelijk om naar een persoon te zoeken?

Garrett Langley: We verkopen dus meerdere producten die gericht zijn op twee dingen goed doen. Veiligheid bieden. Privacy bieden. Verantwoordelijkheid stimuleren. Dat is het doel voor ons, toch? We hebben sommige producten die gericht zijn op voertuigen, onze nummerherkenners. We hebben sommige producten die gericht zijn op audio, schotdetectie. En dan verkopen we wat uw kijkers wellicht kennen als pan-tilt-zoomcamera’s. En die worden traditioneel geïmplementeerd op plaatsen waar voetgangers komen.

Richie: Oké. Ja. En ik heb gehoord over de Condor-camera’s.

Garrett: Dat is een PTZ.

Richie: Ja. Oké. En dan vroeg ik me af, ik kreeg daar niet noodzakelijk een duidelijke “ja” of “nee”. Dus ik vroeg me af of u misschien iets meer kunt uitweiden over wat de Condor PTZ’s doen?

Garrett: Hier is een goed voorbeeld. Vaak worden deze camera’s, of ze nu van ons zijn of van een van de waarschijnlijk een paar honderd grote camerafabrikanten wereldwijd die pan-tilt-zoomcamera’s bouwen… Dus of wij het nu zijn of iemand anders. Steden zullen deze vaak bij parken implementeren. Juist. De stad geeft tientallen miljoenen dollars uit om een prachtig park te bouwen. Het laatste wat ze willen, is dat het park een plek wordt waar drugstransacties plaatsvinden, mensen gewond raken, enz. En als u naar mijn eigen woonplaats kijkt, Atlanta, nog maar vijf jaar geleden, was er een afschuwelijk, afschuwelijk incident. U kunt erover lezen. Een vrouw liet ‘s nachts haar hond uit, werd gewelddadig omgebracht, onopgeloste zaak. Weet u waarom? Er waren daar camera’s, maar ze werkten niet. Als er camera’s waren en ze werkten, denk ik vrij zeker te weten dat die zaak niet onopgelost zou zijn. En dus implementeren onze klanten onze producten in dat geval vaker wel dan niet om hun mensen veilig te houden, of het nu in een park is of op een openbare weg.

Richie: Kunt u een beetje uitleggen hoe het zoeken werkt? We hebben vastgesteld dat deze camera’s bestaan, dat de mogelijkheid bestaat. Hoe ziet een zoekopdracht eruit?

Garrett: Voor welk product? … Ze zijn heel verschillend, omdat we een heel duidelijke grens trekken tussen onze ALPR-camera’s. U kunt niet naar mensen zoeken. Ze zijn specifiek ontworpen om een kenteken te lezen en kenmerken van een voertuig te detecteren. Onze pan-tilt-zoomcamera’s zijn echter gericht op mensen. Omdat mensen doorgaans naar parken gaan, ze gaan doorgaans naar parken.

Richie: Kunt u uitleggen hoe de pan-tilt-zoom werkt; hoe de zoekopdracht zou werken?

Garrett: Er zijn eigenlijk twee manieren om te zoeken. Er is wat u de traditionele zoekopdracht noemt, die zoals u weet, zoals ik op mijn camera’s thuis heb. Of ik kan gewoon naar een tijdslijn kijken en heen en weer gaan. Juist. En dat is een vrij traditionele scroller. En het tweede is dat we een product hebben genaamd Freeform. En met Freeform kunt u naar dingen zoeken in tekst zonder opmaak. Wat ik daaraan zou willen toevoegen is belangrijk. En ik denk dat het niet alleen uniek is voor ons. Het is zo in de hele sector. U kunt dat type zoekopdracht niet zomaar aanbieden zonder vertegenwoordiging van wat we de grondwet noemen, toch? We hebben rechten, we hebben bepaalde beperkingen. En dus zit er een moderatiebeleid ingebouwd in die zoekfunctie om elke vorm van misbruik bij het zoeken te voorkomen.

Richie: Kan Flock de functionaliteit van een geïmplementeerd product wijzigen via een software-update zonder dat een gemeenteraad of het publiek die nieuwe functionaliteit goedkeurt?

Garrett: Hmmm. Ik bedoel, in de kern van onze zakelijke relatie, toch. Of het nu met een buurt, een bedrijf of een stad is, zoals u in onze contracten kunt zien, is het een jaarcontract, toch. En elk jaar moeten we onze waarde bewijzen. En er is dus een verwachting van onze klanten dat het elke dag beter wordt.

Richie: Juist. U kunt echter zien hoe dit kan leiden tot functieverruiming. Er was onlangs een rapport op 404 Media waarin u kon lezen dat uw ALPR-camera’s kortstondig veranderden in livefeedcamera’s. Er was een ander rapport van EFF waarin uw akoestische schotdetectiesysteem kortstondig werd gebruikt om te monitoren op geschreeuw om menselijke nood. In beide gevallen lijkt het erop dat deze functies zijn toegevoegd zonder enige aanvulling op het contract. Zonder enig nieuw overleg met de gemeenteraad.

Garrett: Ja, ja. Dus ik denk dat in het algemeen, als u uitzoomt, twee dingen waar zijn. Eén: we moeten een beter product blijven bouwen, waarbij een beter product staat voor meer veiligheid, meer privacy, meer verantwoordingsplicht. Maar waar we ons niet mee bezighouden, is onze klanten voorschrijven wat ze wel en niet gebruiken. En als voorbeeld, u weet wel, we hebben ongeveer anderhalve maand geleden onze hulptool voor audits gelanceerd, toch. Het is een extra functionaliteit om potentieel misbruik of kwaadwillig gedrag in ons systeem te detecteren. We verplichten dat vandaag de dag niet. Inmiddels heeft meer dan een derde van onze klanten het ingeschakeld en we sporen onze klanten aan. U zou dit moeten gebruiken. U zou dit moeten gebruiken. Maar ik geloof dat het de taak van de gemeenteraad is, de taak van de commissaris, om aan te sturen op meer verantwoordingsplicht. En hetzelfde zou ik zeggen aan de veiligheidskant. Het is dus vrij zeldzaam dat we onze klanten iets opdringen, in plaats van iets te bouwen, de wereld erover te informeren, zoals Freeform als voorbeeld. En als een stad er dan voor kiest om het over te nemen, is het aan hen om een beslissing te nemen over wat gepast is om te delen met de gemeenteraad of om gewoon verder te gaan.

Richie: Om niet in te gaan op… Ik wil het niet te breed houden, niet in detail treden, maar de gerapporteerde gevallen leken er minder op te wijzen dat er overleg was met stadsvertegenwoordigers, de gemeenteraad, het stadsbestuur, en meer simpelweg dat de politie besloot het vakje aan te vinken om de functie in te schakelen. Dit lijkt niet noodzakelijk te stroken met uw principe van lokaal bestuur.

Garrett: Was er een vraag?

Richie: Ik zou zeggen…

Garrett: Sorry.

Richie: Zou u voorstander zijn van het vereisen van expliciete, expliciete openbare goedkeuring voordat een wezenlijk nieuwe surveillancefunctionaliteit kan worden ingeschakeld op een technologie die al in de gemeenschap is geïmplementeerd?

Garrett: 100%. Ik ben er heel sterk van overtuigd dat politiediensten gewoon een onderdeel zijn van een lokaal bestuur, en die lokale besturen hebben een beleid, en de meeste van die lokale besturen hebben een beleid rond niet alleen surveillance, maar ook budgettaire items. Juist. En dus als ik er naar kijk, denk ik: er is een systeem, en we moeten blijven vertrouwen op onze lokaal gekozen functionarissen om deze afwegingen te maken over hoe we de gemeenschap veilig houden.

Richie: Oké. Dus dat zou, om u geen woorden in de mond te leggen, erop lijken dat u dat wel zou doen. Als u bereid bent dit te steunen, zou dat betekenen dat u mogelijk naar de gemeenteraad moet stappen voordat u een nieuwe functie introduceert en deze niet zomaar uitrolt. Is dat juist?

Garrett: Dit is hoe ik erover denk. Als een afdeling, als een politiekorps ervoor kiest om een functie toe te voegen, moet ik er ook op kunnen vertrouwen dat die klant de waarden, het beleid en de procedures van zijn gemeenschap begrijpt. En u weet, we werken op dit moment met bijna 7000 politiekorpsen, steden samen. Ze zijn allemaal heel uniek. Cleveland is heel anders dan Cincinnati, dan Toledo. En dan zijn we Ohio nog niet eens uit. Gaat u naar mijn thuisstaat Georgia of Californië of Washington. En het hele punt is dat ze allemaal verschillende aanbestedingsregels hebben. Ze hebben verschillende beleidsbeoordelingen, dat alles bestaat op een heel lokaal niveau. Dus op hoofdlijnen, 100%, denk ik niet dat politiekorpsen echt een nieuw beleid moeten aannemen, of het nu gaat om het verwijderen van mijn producten of een van mijn concurrenten, of dat het zelfs een uniforme verandering is: dat zou aan de stad moeten zijn om te beslissen welk niveau van herziening nodig is van stad tot stad.

Richie: Er zijn meerdere gevallen bekend van politieagenten die Flock naar verluidt hebben misbruikt om mensen te stalken. Welke verantwoordelijkheid neemt Flock zelf wanneer dat gebeurt?

Garrett: Elk niveau van misbruik groter dan nul is onaanvaardbaar en maakt me misselijk. We hebben een product gebouwd. Ik ben een bedrijf begonnen om mensen veiliger te maken. Ik heb drie kleine kinderen. Ik zie het als mijn primaire verplichting als hun vader om ze veilig te houden. En als ik dus zie dat individuen heel slechte beslissingen nemen om onze producten te gebruiken op een manier waarvoor ze niet bedoeld waren… dat is frustrerend. En we wisten negen jaar geleden al dat dit een risico was. Daarom zijn we met auditlogboeken gekomen. U weet wel, als u teruggaat naar de tijd voor Flock, laten we het over LPR hebben. LPR bestond al heel lang. Er is geen dataretentie.

Richie: Ja.

Garrett: Toch? Het werd commercieel verkocht. En dat gebeurt nog steeds. Nietwaar. Takelwagens rijden rond en verkopen de commerciële data. En er was geen enkele verantwoordingsplicht ingebouwd. Het verbijstert me dus niet dat, nu we dit verder hebben gebracht, juist, en nu we auditassistentie hebben toegevoegd, we hier harder op zullen blijven inzetten. Voor mij zie ik het als onze taak om een product te bouwen dat bijna onmogelijk, zo moeilijk te gebruiken is buiten het beoogde doel. En ik denk dat dit misschien tegenintuïtief is. Ik vind het geweldig als ik de mate van media-aandacht zie, omdat ik wil dat agenten weten dat als u Flock probeert te gebruiken, u ter verantwoording wordt geroepen als u het op een misbruikende manier probeert te gebruiken. En er zijn andere systemen, zoals u weet, die niet gevolgd worden. En dat vind ik een slechte zaak.

Richie: U lijkt hier erg sterk over te denken. Dus hoeveel contracten met politiekorpsen heeft Flock opschort of beëindigd vanwege systematisch misbruik? Buitensporig misbruik door agenten en uw systeem?

Garrett: Ja, ik denk dat dat een heel, heel interessante vraag is. En het is interessant omdat ik bijvoorbeeld elke dag ten minste drie, zo niet vier succesverhalen zie van een ontvoerd kind dat weer thuiskomt. Ik zie honderden tot duizenden misdrijven opgelost worden. Als ik in een stad zou wonen met een politiekorps dat misbruik maakte van Flock, zou het laatste wat ik wil doen het weghalen zijn van dit systeem dat zo effectief is in het daadwerkelijk oplossen van misdaad. En het misbruik waar u over spreekt is dus uitzonderlijk zeldzaam. Nu terug naar mijn punt. Alles groter dan nul is onaanvaardbaar. Maar u hebt het over honderdduizenden politieagenten die Flock elke dag gebruiken, en enkele tientallen die er mogelijk misbruik van maken. Ik denk niet dat u de hele stad verantwoordelijk moet houden voor de slechte beslissingen van een paar enkelingen.

Richie: Als ik uit dat antwoord mag concluderen, zou ik zeggen dat het getal nul is.

Garrett: Ik wil een antwoord niet verkeerd voorstellen, dus heb ik geen antwoord gegeven. Ik wil u niet het een vertellen en dat het dan…

Richie: Oké. Dat is eerlijk. We bewaren het als een uitzonderlijk zeldzaam geval en gaan verder.

Richie: Is er een mate van misbruik die u zou doen besluiten dat een instantie geen toegang meer mag hebben tot uw technologie? Is er een drempel?

Garrett: Ja. Dus ik denk dat wat u beschrijft is bij een afspraak waarin, laten we zeggen, de hele politieafdeling schuldig blijkt te zijn aan misbruik en waarschijnlijk niet alleen van Flock, maar van vele andere dingen. En in die gevallen is er een federaal proces om dit af te handelen. De federale overheid grijpt doorgaans in, de staatsoverheid grijpt in. En in die situaties is het onwaarschijnlijk dat ze Flock behouden, omdat ze waarschijnlijk de hele politieafdeling doorgelichten. Dus ik denk niet dat ik ooit voor dat probleem of die beslissing zou komen te staan.

Richie: Oké. Dus opnieuw, om er even een conclusie aan te verbinden, de kers op de taart te zetten, zou het een uitzonderlijk hoge drempel zijn. Toch?

Garrett: Ja. Wat denkt u? Ik ben eigenlijk wel benieuwd. Heeft u daar een standpunt over, over wanneer een technologiebedrijf zou moeten…

Richie: Mijn mening doet er niet echt toe. U bent hier de CEO. Ik zou het u graag vertellen bij een biertje. U zegt dat een van de waarborgen van Flock lokaal beheer is, maar meerdere steden in Californië beweren dat hun gegevens zijn gedeeld met externe partijen, soms met de federale overheid, zonder hun toestemming. Hoe is dit consistent met uw bewering dat klanten hun gegevens beheren?

Garrett: Ik ben het niet eens met die uitspraken.

Richie: Oké, ik kan u vertellen dat ik dit heb uit een claim uit Mountain View, Californië. Ze beweren dat Flock landelijk zoeken mogelijk maakte voor politiekorpsen zonder hun toestemming, en federale instanties kregen vervolgens toegang tot de gegevens. En op een vergelijkbare manier haalde South Pasadena onbedoeld delen van gegevens aan als reden waarom ze het contract annuleren. Het ene werd gerapporteerd in The Guardian, het andere was gewoon een verklaring van de stad. U…

Garrett: Dus klanten beheren hun gegevens, ze bepalen welke selectievakjes zijn geselecteerd. Als er al iets is, hebben we onze verplichting aan onze klanten verkeerd begrepen om het voor hen onmogelijk te maken om fouten te maken. En als u bijvoorbeeld Californië neemt, hun staatswetgeving dat LPR-gegevens de staat niet mogen verlaten. Twee jaar geleden zagen we het niet als onze taak om dat in ons product te codificeren. Nu, we hebben gehoord van klanten die per ongeluk op een knop hebben geklikt of iemand klikte op de knop en zei: ‘hey, we willen eigenlijk Landelijk Zoeken inschakelen’. We hebben dat te makkelijk voor ze gemaakt. En dus maken we het nu in de staat Californië, de staat Washington en de staat Virginia, waar duidelijke wetgeving bestaat dat LPR-gegevens de staat niet mogen verlaten, onmogelijk dat dat gebeurt. Er is niet eens een selectievakje. En dus, Richie, als er al iets is, zou ik het zo omschrijven dat de verplichting van Flock in dit gesprek is toegenomen. Ik zie onze verantwoordelijkheid als groter, en dat is waarom ik zo’n grote fan ben van regelgeving in het algemeen. Omdat nu in een plaats als Washington, zoals u weet, er een wetsvoorstel is dat zegt: ‘dit is hoe wij denken dat LPR zou moeten werken in Washington’. En wanneer die wetsvoorstellen goed geschreven zijn, niet noodzakelijk op de inhoud, maar in de handhaafbaarheid, denk ik dat dat iets geweldigs is. En dus hebben we in een plaats als Californië onze positie nu veranderd en versterkt, zodat het onmogelijk is dat dat überhaupt gebeurt.