Algoritmička pristrasnost (ili sistematska pristrasnost) se javlja kada AI sistem konzistentno daje neobjektivne rezultate, obično jer su podaci korišćeni za obuku bili neuravnoteženi, diskriminatorni ili nepotpuni. To nije greška koju pravi jedna osoba, već strukturna osobina podataka koja se prenosi u model.

Klasičan primer je AI sistem za zapošljavanje koji kompanije koriste da filtriraju CV-je. Ako se taj sistem obučava na istorijskim podacima iz vremena kada je u tehnologiji bilo manje žena, model će naučiti da je „muškarac“ = „bolji kandidat za tech poziciju“. Rezultat: sistem automatski odbija CV-je od kvalifikovanih žena. To je algoritmička pristrasnost.

Drugi primer: AI sistem za kreditiranje. Ako se obučava na podacima iz vremena kada je bilo manje afro-američkih kredita (jer su diskriminisani), model uči nepravdu iz istorije i reprodukuje je. Sistem bi mogao da odbije dobrog afro-američkog kandidata jednostavno jer njegovu kohortu u istorijskim podacima bilo manje.

Pristrasnosti dolaze iz nekoliko izvora: (1) Podatkovne pristrasnosti – sam dataset je neubalanciран; (2) Algoritamske pristrasnosti – čak i sa dobrim podacima, izbor algoritma može da favorizuje jednu grupu; (3) Interpretativne pristrasnosti – kako se rezultati modela interpretiraju može da unese pristrasnost.

Za startape: redovno testira model sa različitim demografskim grupama. Ako vidite da model funkcioniše gore za jednu grupu nego za drugu, to je alarm. Dokumentujte to, trebate ga adresirati, i komunicirajte o ograničenjima. Startapi koji sada rade preventivno će imati zdraviju reputaciju.