據(jù)美國科學(xué)促進(jìn)會旗下網(wǎng)站19日報道，美國普林斯頓大學(xué)和斯坦福大學(xué)團(tuán)隊開發(fā)出一種新壓縮算法CALDERA，能精簡大型語言模型（LLM）的海量數(shù)據(jù)，為LLM“瘦身”。這項算法不僅有助保護(hù)數(shù)據(jù)隱私、節(jié)約能源、降低成本，還能推動LLM在手機(jī)和筆記本電腦上高效使用。
團(tuán)隊舉例稱，當(dāng)人們使用ChatGPT時，請求會被發(fā)送到OpenAI公司的后端服務(wù)器進(jìn)行處理。這一過程不僅成本高昂、能耗巨大，通常還很慢。如果用戶想要使用消費級圖形處理單元運行LLM，就需要對這些LLM進(jìn)行壓縮。
CALDERA算法通過減少LLM冗余并降低信息層的精度來發(fā)揮作用。“瘦身”后的LLM更加精簡，可在手機(jī)或筆記本電腦等設(shè)備上存儲和訪問，同時提供了與未壓縮版本幾乎一樣準(zhǔn)確而微妙的性能。
雖然CALDERA并非首個壓縮LLM的算法，但其獨特之處在于兼具“低精度”和“低排序”兩種特性。其中，“低精度”減少了比特數(shù)，加快了數(shù)據(jù)存儲和處理速度。而“低排序”則降低了LLM數(shù)據(jù)中的冗余。
團(tuán)隊表示，使用CALDERA壓縮的LLM可能適用于那些對精度要求不是最高的場景。此外，用戶可在智能手機(jī)或筆記本電腦等設(shè)備上對壓縮后的LLM進(jìn)行微調(diào)，這使其能根據(jù)特定需求調(diào)整模型來增強(qiáng)隱私，而無需與第三方共享敏感數(shù)據(jù)。
不過團(tuán)隊也提醒道，在智能手機(jī)或筆記本電腦上運行LLM，可能會占用設(shè)備內(nèi)存。（劉霞）
（責(zé)任編輯：蔡文斌）
晉公網(wǎng)安備 14090202000008號 
