香儂科技致力于以自然語言處理為代表的認(rèn)知智能技術(shù)的理論創(chuàng)新與產(chǎn)業(yè)化落地,。大規(guī)模預(yù)訓(xùn)練語言模型作為香儂科技的核心技術(shù),,擁有領(lǐng)先的語言理解能力和內(nèi)容生成能力,。依托自然語言處理技術(shù),,香儂科技將為用戶持續(xù)提供智能化服務(wù)。共生同心,,期待與您共創(chuàng)美好智能未來。
香儂科技將遷移學(xué)習(xí),、模型壓縮與端云協(xié)同技術(shù)結(jié)合,,致力于在有限算力條件下的大規(guī)模語言模型的低成本訓(xùn)練與高性能推理,。依靠高性能計(jì)算技術(shù)搭建眾核多擎的彈性加速的分布式預(yù)訓(xùn)練平臺,高效分配算力資源完成大規(guī)模語言模型訓(xùn)練,。通過結(jié)構(gòu)搜索、知識蒸餾,、RLHF的聯(lián)合進(jìn)化尋優(yōu)機(jī)制,完成預(yù)訓(xùn)練模型在不同自然語言處理領(lǐng)域任務(wù)的模型輕量化能力涌現(xiàn),,大幅度提升推理效率。