隨著我們深入(ru)ML和(he)GenAI領(lǐng)域，對(duì)(dui)數(shù)(shu)據(jù)(ju)質(zhì)(zhi)量的(de)重(zhong)視(shi)變得至(zhi)關(guān)重(zhong)要。KMS Technology高級(jí)技術(shù)(shu)創(chuàng)(chuang)新小組(zu)的(de)首(shou)席(xi)技(ji)術(shù)(shu)官(guan)John Jeske深(shen)入研(yan)究(jiu)了數(shù)據(jù)治(zhi)理方法，如數(shù)(shu)據(jù)(ju)沿(yan)襲跟(gen)蹤(zong)和聯(lián)(lian)合學(xué)習(xí)(xi)，以(yi)確(que)保(bao)頂(ding)級(jí)(ji)模型(xing)的性(xing)能(neng)。
數(shù)(shu)據(jù)(ju)質(zhì)量(liang)是模(mo)型(xing)可(ke)持(chi)續(xù)性(xing)和利益(yi)相(xiang)關(guān)(guan)者信(xin)任的關(guān)鍵(jian)。在(zai)建(jian)模過(guò)程中(zhong)，數(shù)據(jù)質(zhì)量使長(zhǎng)(zhang)期(qi)維護(hù)(hu)變(bian)得(de)更(geng)容易，并(bing)使(shi)你能(neng)夠在利益(yi)相(xiang)關(guān)(guan)者(zhe)社(she)區(qū)中建立用戶(hu)信(xin)心和信(xin)心(xin)。在(zai)包括(kuo)大(da)規(guī)(gui)模(mo)語(yǔ)言和生(sheng)成(cheng)性算(suan)法(fa)在內(nèi)(nei)的(de)復(fù)雜(za)模(mo)型(xing)中，‘垃(la)圾輸(shu)入(ru)，垃圾輸(shu)出’的影響(xiang)會(huì)(hui)加(jia)劇(ju)。“Jeske說(shuō)。
基因(yin)AI偏(pian)向(xiang)與數(shù)據(jù)(ju)代(dai)表性(xing)問(wèn)題(ti)
無(wú)論你(ni)為用例選(xuan)擇(ze)哪種模(mo)型(xing)，糟(zao)糕的(de)數(shù)(shu)據(jù)(ju)質(zhì)(zhi)量(liang)都(dou)不可避(bi)免(mian)地會(huì)(hui)導(dǎo)(dao)致GenAI模型(xing)的(de)扭曲。陷(xian)阱(jing)通常來(lái)自(zi)培訓(xùn)數(shù)據(jù)，這些(xie)數(shù)(shu)據(jù)錯(cuò)(cuo)誤地(di)表示(shi)了公(gong)司的范(fan)圍、客(ke)戶(hu)基礎(chǔ)(chu)或應(yīng)用程序(xu)范(fan)圍(wei)。
真(zhen)正的(de)資產(chǎn)是(shi)數(shù)據(jù)本身(shen)，而(er)不(bu)是曇花(hua)一(yi)現(xiàn)的(de)模型或(huo)建模(mo)架(jia)構(gòu)。最(zui)近幾(ji)個(gè)(ge)月，隨(sui)著(zhe)大(da)量(liang)建模(mo)框(kuang)架的(de)出(chu)現(xiàn)(xian)，數(shù)據(jù)(ju)作(zuo)為(wei)可(ke)貨(huo)幣化資產(chǎn)的一(yi)貫(guan)價(jià)值變得格外明顯。
KMS Technology軟(ruan)件服務(wù)(wu)高(gao)級(jí)(ji)副總裁(cai)Jeff Scott補(bǔ)(bu)充道：“當(dāng)(dang)AI生(sheng)成的(de)內(nèi)容(rong)偏(pian)離預(yù)期輸(shu)出時(shí)(shi)，這不(bu)是算法(fa)的(de)錯(cuò)(cuo)誤(wu)。相反，這反(fan)映了(le)培訓(xùn)數(shù)據(jù)(ju)的不(bu)足(zu)或扭(niu)曲(qu)。
嚴(yán)格的數(shù)(shu)據(jù)完(wan)整(zheng)性治理
數(shù)(shu)據(jù)(ju)治理(li)方(fang)面的最(zui)佳(jia)實(shí)踐(jian)包括(kuo)元數(shù)(shu)據(jù)(ju)管(guan)理、數(shù)據(jù)(ju)管理(li)和部署自(zi)動(dòng)(dong)化質(zhì)量(liang)檢查(cha)等活(huo)動(dòng)。例(li)如，確保數(shù)據(jù)(ju)的來(lái)源(yuan)，在獲(huo)取用(yong)于(yu)培(pei)訓(xùn)和建模(mo)的數(shù)據(jù)(ju)時(shí)(shi)使用(yong)經(jīng)(jing)過(guò)認(rèn)證(zheng)的數(shù)據(jù)(ju)集(ji)，以(yi)及(ji)考(kao)慮(lv)使用自(zi)動(dòng)(dong)化(hua)數(shù)據(jù)質(zhì)(zhi)量工具(ju)。雖然(ran)增加了一層(ceng)復(fù)(fu)雜性，但(dan)這些(xie)工具對(duì)于(yu)實(shí)現(xiàn)(xian)數(shù)據(jù)(ju)完(wan)整性(xing)非常有(you)用(yong)。
為(wei)了提(ti)高(gao)數(shù)據(jù)(ju)質(zhì)量(liang)，我(wo)們(men)使用(yong)了提(ti)供(gong)數(shù)(shu)據(jù)有效(xiao)性、完(wan)整(zheng)性(xing)檢(jian)查和(he)時(shí)(shi)間一(yi)致(zhi)性(xing)等(deng)屬性的工(gong)具，這(zhe)促(cu)進(jìn)了可(ke)靠(kao)、一(yi)致(zhi)的(de)數(shù)(shu)據(jù)，而這(zhe)對(duì)于健(jian)壯的AI模(mo)型來(lái)(lai)說(shuō)是(shi)不(bu)可或(huo)缺的。
AI發(fā)(fa)展中(zhong)的(de)責(zé)任(ren)追究(jiu)和持(chi)續(xù)改(gai)進(jìn)(jin)
數(shù)據(jù)是(shi)每(mei)個(gè)人的問(wèn)(wen)題(ti)，在(zai)公(gong)司(si)內(nèi)分(fen)配(pei)數(shù)(shu)據(jù)治理的責(zé)(ze)任是(shi)一(yi)項(xiàng)(xiang)基(ji)本(ben)任務(wù)(wu)。
最重要的(de)是(shi)確(que)保功(gong)能按(an)設(shè)(she)計(jì)(ji)工作，并(bing)且從潛(qian)在客(ke)戶(hu)的角(jiao)度來(lái)看(kan)，正在(zai)訓(xùn)練的(de)數(shù)(shu)據(jù)(ju)是(shi)合(he)理(li)的。反(fan)饋加強(qiáng)了(le)學(xué)習(xí)，然后在(zai)下(xia)一次訓(xùn)(xun)練模型(xing)時(shí)(shi)考(kao)慮(lv)到(dao)反饋(kui)，從而調(diào)(diao)用持(chi)續(xù)(xu)改(gai)進(jìn)(jin)，直(zhi)到(dao)信任點(diǎn)(dian)。
在我(wo)們(men)的工(gong)作(zuo)流(liu)程中(zhong)，AI和ML模(mo)型在公(gong)開(kāi)推出之(zhi)前(qian)要經(jīng)(jing)過(guò)嚴(yán)(yan)格的(de)內(nèi)部(bu)測(cè)(ce)試。我(wo)們的(de)數(shù)(shu)據(jù)(ju)工(gong)程(cheng)團(tuán)(tuan)隊(duì)不(bu)斷收(shou)到反饋(kui)，允許對(duì)模型進(jìn)行迭(die)代改進(jìn)，以最(zui)大(da)限度地(di)減(jian)少(shao)偏(pian)差和(he)其(qi)他(ta)異常(chang)情(qing)況(kuang)。
風(fēng)(feng)險(xiǎn)(xian)管理(li)與(yu)客戶信(xin)任(ren)
數(shù)據(jù)(ju)治理(li)需(xu)要相(xiang)關(guān)(guan)業(yè)(ye)務(wù)(wu)領(lǐng)域的數(shù)(shu)據(jù)管理，并需(xu)要(yao)主題專(zhuān)(zhuan)家(jia)持(chi)續(xù)參(can)與，這確保了(le)流經(jīng)其團(tuán)(tuan)隊(duì)和系統(tǒng)的(de)數(shù)(shu)據(jù)(ju)得到(dao)適(shi)當(dāng)(dang)整(zheng)理(li)和(he)一致的(de)責(zé)(ze)任(ren)。
必須了(le)解(jie)與接(jie)收(shou)來(lái)(lai)自(zi)技(ji)術(shù)的(de)不準(zhǔn)確結(jié)(jie)果(guo)相(xiang)關(guān)(guan)的(de)風(fēng)(feng)險(xiǎn)，公(gong)司(si)必(bi)須評(píng)(ping)估其(qi)透(tou)明度(du)，從(cong)數(shù)據(jù)(ju)來(lái)源(yuan)和處理知識(shí)(shi)產(chǎn)(chan)權(quán)(quan)到(dao)整體(ti)數(shù)(shu)據(jù)(ju)質(zhì)量(liang)和完整性。
透明度對(duì)客戶的(de)信(xin)任是不(bu)可或(huo)缺(que)的(de)，數(shù)(shu)據(jù)治(zhi)理(li)不僅(jin)僅是(shi)一(yi)項(xiàng)(xiang)技(ji)術(shù)(shu)工(gong)作，由于風(fēng)(feng)險(xiǎn)從(cong)不準(zhǔn)確(que)的AI預(yù)測(cè)(ce)轉(zhuǎn)移(yi)到最終(zhong)用戶，它(ta)還(hai)會(huì)(hui)影(ying)響(xiang)公(gong)司的(de)聲譽(yù)。
總之(zhi)，隨著(zhe)GenAI的不斷(duan)發(fā)展，掌(zhang)握(wo)數(shù)據(jù)(ju)治(zhi)理(li)變得更加關(guān)(guan)鍵，這(zhe)不僅僅(jin)是為了維(wei)護(hù)數(shù)據(jù)(ju)質(zhì)(zhi)量，也是(shi)為了(le)理(li)解這些(xie)數(shù)據(jù)與利(li)用它(ta)的(de)AI模型(xing)之(zhi)間(jian)的(de)復(fù)(fu)雜(za)關(guān)系。這種(zhong)洞察(cha)力(li)對(duì)(dui)于技術(shù)(shu)進(jìn)(jin)步(bu)、業(yè)(ye)務(wù)健康(kang)以(yi)及(ji)維(wei)護(hù)(hu)利益(yi)相(xiang)關(guān)(guan)者和(he)更(geng)廣(guang)泛(fan)公(gong)眾的(de)信任(ren)至(zhi)關(guān)重要(yao)。