Porrdetekterande robotar kanske inte kan se skillnaden mellan grot och konst

Innehållsfilter är ofta den första, sista och enda försvarslinjen mellan oskyldiga användare och sammanfogar ett ögonblick av sexuellt uttryckliga bilder på det sista stället du förväntar dig.

Ibland kan du verkligen göra utan en oväntad glimt på en del porr, och så många webbplatser använder algoritmer för att utplåna grot innan du ser det. Tyvärr verkar det som om några av dessa porrblockerande bots inte fungerar så bra som du hoppas, och de sparar modigt flera användare från högkonst, såväl som vuxna saker.

Vad är det som är fel här? Maskininlärning.

Förklaras av Panda Security, de har förklarat att det bästa sättet att lära ut en porrblockerande bot är att visa den en hel massa pornografiska bilder. Detta liknar hur antivirus- och anti-malware-system fungerar, och liknande dessa verktyg finns det falska positiva effekter.

Relaterad: Bästa PC-spel

Saken är att det är en stor skillnad mellan ett foto av någon i underkläder (det skulle vara dåligt) och någon i en bikini på stranden (i allmänhet ok) och kom inte ens igång med hur liknande något som amning (igen, ok) kan se ut som en massa saker som definitivt är dåliga.

Vi har sett detta hända några gånger nyligen. Panda Security nämner Tumblrs omtvistade porrfilter som aktiverades i december, som har flaggat upp en hel massa oskyldiga bilder som sexuellt uttryckliga.

”I slutändan är intelligenta system byggda med maskininlärning felaktiga eftersom de som programmerar dem är inte kan specificera exakt var gränsen mellan 'ok' och 'porr' passeras ', hävdar Panda Security-bloggen posta. "Algoritmerna kan kanske blockera 99,9% av tvivelaktigt innehåll, men de 0,1% som återstår kommer alltid att vara ett problem."

”Dessa nyanser är irrelevanta för detektering av skadlig kod eftersom en fil bara kan vara en av två tillstånd:” virus ”eller” inte virus ”. Bilder å andra sidan har tre tillstånd: 'porr', 'inte porr' och 'kanske porr'. 'Kanske porr' är där maskininlärning kan (och gör) misslyckas. Det är också där majoriteten av investeringarna i automatiska system kommer att äga rum de närmaste åren. ”