文｜陳兵

近年來，人工智能技術(shù)在社會(huì)經(jīng)濟(jì)各領(lǐng)域深度扎根，算法逐漸成為企業(yè)提升決策效率、優(yōu)化經(jīng)營模式的重要技術(shù)工具。盡管算法代替人工決策的初衷之一是消除傳統(tǒng)意義上的歧視，但從數(shù)據(jù)采集處理到訓(xùn)練、集群、鏈接和決策樹創(chuàng)建及預(yù)測模型開發(fā)過程，都離不開程序員的操作和實(shí)施，人類的偏見可能已被嵌入各環(huán)節(jié)之中，而計(jì)算機(jī)化又強(qiáng)化了歧視與偏見。算法歧視現(xiàn)象在企業(yè)決策過程中日益凸顯，算法不能再被視為“技術(shù)中立”而免責(zé)。因此，企業(yè)使用人工智能技術(shù)進(jìn)行自動(dòng)化決策的行為應(yīng)當(dāng)被納入數(shù)字技術(shù)的法治框架。

算法歧視延伸至多個(gè)場景

當(dāng)今，算法歧視行為已延伸至民生領(lǐng)域多種場景，在招聘篩選、信貸風(fēng)控、消費(fèi)定價(jià)領(lǐng)域較為集中。亞馬遜為實(shí)現(xiàn)短期內(nèi)大規(guī)模招募雇員，開發(fā)了自動(dòng)化招聘決策工具。經(jīng)調(diào)查，其全球員工有60%是男性，男性占公司管理職位的74%，2018年因涉嫌性別歧視而停用算法招聘。

在信貸風(fēng)控領(lǐng)域，金融AI大模型正在重塑信貸行業(yè)的風(fēng)險(xiǎn)定價(jià)與決策效率，而算法歧視行為嚴(yán)重危害了金融消費(fèi)者的合法權(quán)益。其中低收入群體被系統(tǒng)判定高風(fēng)險(xiǎn)、外賣騎手因GPS軌跡而判定工作波動(dòng)等信用歧視現(xiàn)象凸顯，久而久之，金融普惠目標(biāo)或?qū)u行漸遠(yuǎn)。

在消費(fèi)定價(jià)領(lǐng)域，從“大數(shù)據(jù)殺熟”到“千人千價(jià)”“定制化營銷”等，算法歧視逐漸呈現(xiàn)動(dòng)態(tài)化、隱蔽化特征。

算法并非絕對(duì)中立，其偏見既源于訓(xùn)練數(shù)據(jù)記錄的社會(huì)固有偏見，也來自模型復(fù)雜運(yùn)算中捕捉信息、迭代強(qiáng)化形成的偏差，還與算法設(shè)計(jì)人員的主觀意識(shí)、知識(shí)背景相關(guān)，導(dǎo)致歧視誘因更難追溯。特別是在生成式人工智能等新一代人工智能技術(shù)廣泛應(yīng)用的背景下，數(shù)據(jù)偏見與算法偏差深度交織，隱性歧視被算法化、技術(shù)化的傾向越來越嚴(yán)重，且難以被發(fā)現(xiàn)。

同時(shí)，企業(yè)利用算法的方式也更加隱蔽。例如，招聘算法不設(shè)置年齡參數(shù)，而是嵌入“工作年限”這一隱性的年齡關(guān)聯(lián)參數(shù)。又如，金融科技公司利用信貸算法，表面上是以信用為依據(jù)，實(shí)則暗中將地域、職業(yè)作為隱形參數(shù)，對(duì)欠發(fā)達(dá)地區(qū)、低收入群體設(shè)置更高信貸門檻。行為模式的隱蔽性，使得企業(yè)借算法“黑箱”以“算法自主決策”“數(shù)據(jù)偏差導(dǎo)致”為由逃避責(zé)任。

算法歧視案件的實(shí)務(wù)困境

我國目前尚未制定專門的算法法，但已形成以個(gè)人信息保護(hù)法、電子商務(wù)法、反不正當(dāng)競爭法、勞動(dòng)法、消費(fèi)者權(quán)益保護(hù)法為核心，以部門規(guī)章、司法解釋為補(bǔ)充的多維度、多層次算法歧視規(guī)制體系。我國還通過行業(yè)規(guī)范的方式，對(duì)算法歧視進(jìn)行了輔助規(guī)制，細(xì)化了企業(yè)合規(guī)義務(wù)。

但在實(shí)踐中，由于算法技術(shù)具有復(fù)雜性、隱蔽性，以及現(xiàn)有法律體系的局限性，使得相關(guān)案件仍面臨諸多實(shí)務(wù)難題，制約了算法歧視的治理效果。

（一）數(shù)據(jù)治理待規(guī)范，偏見傳導(dǎo)隱蔽且難以管控。

算法訓(xùn)練數(shù)據(jù)常存在樣本失衡、歷史偏見等問題，部分?jǐn)?shù)據(jù)自帶性別、地域、職業(yè)等結(jié)構(gòu)性歧視，經(jīng)算法學(xué)習(xí)后被進(jìn)一步放大，形成系統(tǒng)性歧視。同時(shí)，數(shù)據(jù)偏見具有極強(qiáng)隱蔽性，取證難度極大，企業(yè)常以商業(yè)秘密、技術(shù)保密為由，拒絕向司法機(jī)關(guān)和監(jiān)管部門提供完整訓(xùn)練數(shù)據(jù)與清洗流程，導(dǎo)致司法與監(jiān)管難以核查數(shù)據(jù)合法性與公平性，加之目前缺乏明確的數(shù)據(jù)去偏、樣本均衡等合規(guī)指引，企業(yè)數(shù)據(jù)合規(guī)流于形式。

（二）算法規(guī)制滯后，技術(shù)壁壘難以突破。

算法“黑箱”特性導(dǎo)致監(jiān)管部門與司法機(jī)關(guān)無法對(duì)其進(jìn)行穿透式審查，難以知曉其模型邏輯、特征權(quán)重等核心內(nèi)容?，F(xiàn)有相關(guān)規(guī)制條款多為原則性規(guī)定，缺乏具體可操作的實(shí)施標(biāo)準(zhǔn)，且算法具有動(dòng)態(tài)迭代的特點(diǎn)，與法律的穩(wěn)定性形成矛盾，進(jìn)一步加劇了規(guī)制的被動(dòng)性。另外，不同領(lǐng)域的算法歧視場景差異較大，未形成分類分級(jí)的規(guī)制體系，企業(yè)在AI合規(guī)過程中缺乏明確依據(jù)，難以精準(zhǔn)避免歧視風(fēng)險(xiǎn)。

（三）歧視邊界難界定，受害者舉證難度大。

實(shí)踐中，如何區(qū)分“合理的差別對(duì)待”與“違法的算法歧視”，是算法歧視認(rèn)定的核心難點(diǎn)。如招聘算法根據(jù)崗位需求，設(shè)置篩選參數(shù)，選定符合條件的求職者，屬于合理的崗位匹配；信貸算法根據(jù)借款人的信用狀況、還款能力進(jìn)行差異化評(píng)定，屬于合理的風(fēng)險(xiǎn)控制。當(dāng)上述差別對(duì)待超出“合理范圍”會(huì)形成對(duì)特定群體的不公平待遇，而構(gòu)成算法歧視，但“合理范圍”缺乏明確的判斷標(biāo)準(zhǔn)，導(dǎo)致司法認(rèn)定存在較大爭議。

算法的“黑箱”特性導(dǎo)致算法歧視案件舉證難度遠(yuǎn)超普通民事案件，給受害者維權(quán)帶來障礙。一方面，受害者難以獲取算法的設(shè)計(jì)邏輯、參數(shù)設(shè)置、數(shù)據(jù)訓(xùn)練過程等商業(yè)秘密，作為其維權(quán)的相關(guān)證據(jù)；另一方面，受害者難以證明自身權(quán)益受損是由算法歧視導(dǎo)致的。

盡管個(gè)人信息保護(hù)法規(guī)定了“過錯(cuò)推定”原則，但在實(shí)踐中，該原則適用仍存在局限，企業(yè)往往以“算法技術(shù)復(fù)雜”“數(shù)據(jù)合法合規(guī)”為由，拒絕提供算法相關(guān)證據(jù)，而法院缺乏有效的強(qiáng)制手段要求企業(yè)披露算法信息，導(dǎo)致“過錯(cuò)推定”原則難以落地。同時(shí)，有關(guān)部門尚未建立統(tǒng)一的算法解釋標(biāo)準(zhǔn)，企業(yè)在履行透明化義務(wù)時(shí)，還面臨與商業(yè)秘密保護(hù)的沖突，合規(guī)成本較高，導(dǎo)致用戶維權(quán)陷入困境。

（四）責(zé)任劃分模糊與責(zé)任形式單一。

算法開發(fā)、運(yùn)營、數(shù)據(jù)提供、使用等相關(guān)責(zé)任主體多元，各主體的責(zé)任邊界劃分不清晰，難以明確歧視行為的具體責(zé)任歸屬。

對(duì)于覆蓋群體廣、持續(xù)時(shí)間長的算法歧視行為，若僅要求企業(yè)賠償單個(gè)受害者、簡單整改算法，無法彌補(bǔ)對(duì)整個(gè)受害群體的權(quán)益損害，也難以倒逼企業(yè)從根源上優(yōu)化算法。

同時(shí)，責(zé)任形式缺乏層次性，未區(qū)分企業(yè)故意嵌入歧視與過失導(dǎo)致偏差的責(zé)任差異，對(duì)惡意歧視行為未設(shè)置更嚴(yán)厲的懲戒措施，且未將算法歧視責(zé)任與企業(yè)信用評(píng)價(jià)、資質(zhì)審核掛鉤，導(dǎo)致部分企業(yè)整改流于形式，難以實(shí)現(xiàn)源頭治理。

完善算法歧視協(xié)同治理體系

破解算法歧視案件的實(shí)務(wù)困境，需要從完善法治和企業(yè)合規(guī)兩個(gè)維度持續(xù)發(fā)力。

首先應(yīng)加強(qiáng)數(shù)據(jù)保護(hù)與隱私立法執(zhí)法，從源頭防治算法歧視風(fēng)險(xiǎn)和危害。應(yīng)完善數(shù)據(jù)相關(guān)法律法規(guī)，明確數(shù)據(jù)收集、存儲(chǔ)、處理和共享的規(guī)范?！渡墒饺斯ぶ悄芊?wù)管理暫行辦法》對(duì)數(shù)據(jù)安全和隱私保護(hù)作出了具體規(guī)定，包括數(shù)據(jù)來源的合法性以及關(guān)于訓(xùn)練數(shù)據(jù)的特性、個(gè)人信息與知識(shí)產(chǎn)權(quán)的保護(hù)規(guī)定，將相關(guān)監(jiān)督檢查和法律責(zé)任納入我國網(wǎng)絡(luò)安全和數(shù)據(jù)隱私保護(hù)的基礎(chǔ)性法律框架內(nèi)。但僅有這些是不夠的，還應(yīng)加快專項(xiàng)立法工作，明確算法歧視的界定標(biāo)準(zhǔn)和規(guī)制規(guī)則。通過明確“算法歧視”的定義、構(gòu)成要件和認(rèn)定標(biāo)準(zhǔn)等，區(qū)分“合理差別對(duì)待”與“違法算法歧視”的邊界，為實(shí)務(wù)提供可遵循的法律依據(jù)。同時(shí)應(yīng)加大監(jiān)管執(zhí)法力度，嚴(yán)厲打擊侵犯個(gè)人隱私的行為，確保法律的有效實(shí)施。

其次，優(yōu)化算法設(shè)計(jì)，應(yīng)要求企業(yè)在算法設(shè)計(jì)、數(shù)據(jù)訓(xùn)練、參數(shù)設(shè)置等環(huán)節(jié)履行合規(guī)審查義務(wù)，從源頭防范算法歧視。其中，重點(diǎn)是落實(shí)算法分類分級(jí)管理和多元主體利益平衡，細(xì)化《互聯(lián)網(wǎng)信息服務(wù)算法推薦管理規(guī)定》中的分類標(biāo)準(zhǔn)，并制定相應(yīng)的風(fēng)險(xiǎn)等級(jí)和監(jiān)管舉措。

值得注意的是，立法還需堅(jiān)持“規(guī)制與賦能并重”原則，避免過度監(jiān)管抑制算法技術(shù)的創(chuàng)新應(yīng)用，實(shí)現(xiàn)算法合規(guī)與技術(shù)創(chuàng)新的良性互動(dòng)。

實(shí)踐中，還應(yīng)優(yōu)化裁判規(guī)則，破解實(shí)務(wù)困境。通過明確算法歧視的認(rèn)定標(biāo)準(zhǔn)、舉證責(zé)任分配規(guī)則和算法解釋等要求，統(tǒng)一司法裁判的尺度。在舉證責(zé)任方面，引入舉證責(zé)任倒置制度，對(duì)于算法歧視案件，由算法開發(fā)者和使用者對(duì)不涉及商業(yè)秘密的算法運(yùn)行原理進(jìn)行解釋。

在算法解釋方面，建立專業(yè)的算法鑒定機(jī)制，組建由法律專家、技術(shù)專家組成的鑒定團(tuán)隊(duì)，對(duì)企業(yè)提供的算法解釋進(jìn)行專業(yè)審查。同時(shí)，加強(qiáng)法院的技術(shù)能力建設(shè)，組建針對(duì)涉人工智能案件的審判團(tuán)隊(duì)，培養(yǎng)兼具法律知識(shí)和技術(shù)知識(shí)的復(fù)合型法官，提高算法歧視案件審理的專業(yè)性和公正性。

推動(dòng)算法歧視治理提質(zhì)增效，需要政府、企業(yè)、行業(yè)協(xié)會(huì)、技術(shù)機(jī)構(gòu)、社會(huì)公眾等多方主體形成治理合力。行業(yè)協(xié)會(huì)應(yīng)發(fā)揮橋梁作用，結(jié)合不同領(lǐng)域算法應(yīng)用特點(diǎn)制定自律公約，引導(dǎo)企業(yè)主動(dòng)履行合規(guī)義務(wù)。同時(shí)，會(huì)同行業(yè)內(nèi)技術(shù)機(jī)構(gòu)定期開展算法公平性培訓(xùn)、技術(shù)研討等活動(dòng)，以提升企業(yè)相關(guān)人員的合規(guī)意識(shí)與技術(shù)能力。社會(huì)公眾層面上，應(yīng)強(qiáng)化監(jiān)督意識(shí)，公眾應(yīng)積極參與算法治理，通過合理表達(dá)訴求、提出意見建議等方式，推動(dòng)算法技術(shù)優(yōu)化。

明確企業(yè)AI合規(guī)邊界

企業(yè)在算法應(yīng)用過程中，應(yīng)明確行為的合規(guī)邊界。

在算法設(shè)計(jì)階段，企業(yè)應(yīng)樹立“公平優(yōu)先”理念，明確算法的設(shè)計(jì)目標(biāo)和公平性要求，杜絕在算法中設(shè)置性別、年齡、地域、種族等歧視性參數(shù)。還應(yīng)采用多樣化的訓(xùn)練數(shù)據(jù)，避免數(shù)據(jù)偏差導(dǎo)致的算法歧視。如在信貸算法的訓(xùn)練數(shù)據(jù)中，涵蓋不同收入、不同地域的用戶樣本，減少數(shù)據(jù)偏差對(duì)算法決策的影響。

在數(shù)據(jù)管理環(huán)節(jié)中，企業(yè)應(yīng)遵守個(gè)人信息保護(hù)法、數(shù)據(jù)安全法等相關(guān)規(guī)定，規(guī)范數(shù)據(jù)收集、存儲(chǔ)、使用和銷毀全流程。定期對(duì)數(shù)據(jù)進(jìn)行清洗，及時(shí)糾正數(shù)據(jù)偏差。

在算法運(yùn)行中，企業(yè)應(yīng)當(dāng)積極履行透明度義務(wù)，保障用戶知情權(quán)。企業(yè)應(yīng)嚴(yán)格履行個(gè)人信息保護(hù)法規(guī)定的透明度義務(wù)，向用戶明確披露算法的決策依據(jù)、邏輯、參數(shù)設(shè)置和可能產(chǎn)生的影響。通過通俗易懂的方式，向用戶闡釋算法決策的過程和結(jié)果。

合規(guī)審查是必要且重要的環(huán)節(jié)。企業(yè)應(yīng)當(dāng)通過建立常態(tài)化的合規(guī)機(jī)制，強(qiáng)化風(fēng)險(xiǎn)防控能力。建立算法合規(guī)部門，配備兼具法律知識(shí)和技術(shù)知識(shí)的復(fù)合型合規(guī)人員，負(fù)責(zé)算法的合規(guī)審查、風(fēng)險(xiǎn)評(píng)估和整改落實(shí)。在此基礎(chǔ)上，建立算法全生命周期合規(guī)審查機(jī)制，對(duì)算法的設(shè)計(jì)、開發(fā)、測試、上線、運(yùn)行、優(yōu)化等各個(gè)環(huán)節(jié)進(jìn)行合規(guī)審查，通過自糾自查及時(shí)發(fā)現(xiàn)并防范算法歧視風(fēng)險(xiǎn)。

關(guān)于作者

陳兵，南開大學(xué)法學(xué)院副院長、教授、博士生導(dǎo)師