北京第二外國語學院發(fā)布大語言模型翻譯質(zhì)量評測報告

中國教育報-中國教育新聞網(wǎng)北京6月23日訊（記者 施劍松）北京第二外國語學院今天發(fā)布《大語言模型翻譯質(zhì)量評測報告 BISU-AiTQA（v1.0）》。該評測突破國際現(xiàn)有評測以英語為核心的現(xiàn)狀，開創(chuàng)性構(gòu)建了以漢語為核心，覆蓋多語種、多領域的大語言模型翻譯質(zhì)量評測體系。從評測結(jié)果來看，即使目前最先進的生成式人工智能 ，也不完全具備處理復雜語言的能力，在借助人工智能技術(shù)時，使用者必須具有判斷力。

近年來，大語言模型在多語種翻譯任務中已接近人類譯者的水平，然而從翻譯學和語言學的角度來看，當前大語言模型無法理解復雜語言結(jié)構(gòu)和深層語義，專業(yè)領域知識薄弱，漢語理解與生成問題突出。北二外大語言模型翻譯質(zhì)量評測集中了英語、日語、俄語、法語、阿拉伯語五個語種師生力量，面向ChatGPT、Claude、Gemini、Grok、DeepSeek和通義千問六個國內(nèi)外語言大模型，從當代文學、黨政文獻和外事新聞三個領域開展翻譯質(zhì)量測評研究。BISU-AiTQA（v1.0），以漢語為核心、以中國特色文本為基礎，從語言特征維度、神經(jīng)網(wǎng)絡維度構(gòu)建了包括詞匯多樣性、句法復雜度、篇章銜接度、語言可接受度等在內(nèi)的六項指標體系，著重關(guān)注譯文的語言使用特性，可有效識別模型在詞法、句法和篇章銜接方面的能力，同時考察模型對語義的理解與語言表達能力，以實證方式檢驗了模型對中國話語、文化意涵與政策表述的處理能力，填補了“以漢語為核心”的多語種評測空白。

北京第二外國語學院相關(guān)課題負責人表示，語言不僅是溝通工具，更是人類思維方式的構(gòu)建者。人工智能時代的外語學習，語言能力仍是外語人才的立身之本，而大語言模型技術(shù)進步是外語發(fā)展的助力，為外語教學與翻譯研究擴寬了路徑。目前，在國家大力推進“人工智能+”戰(zhàn)略背景下，北二外依托60多年來積淀的外語、旅游和區(qū)域國別學科優(yōu)勢，匯聚計算機、數(shù)學及語言學師資，聚焦語言科學與人工智能技術(shù)的融合創(chuàng)新，瞄準北京市重點支持的“AI+X”領域（外語服務、腦機接口、老年康養(yǎng)、智慧文旅），通過“語言+AI+場景”的學科架構(gòu)，建設成立了二外人工智能與語言科學學院。該學院匯聚了認知神經(jīng)科學、生物醫(yī)學工程、信息處理、自然語言處理、計算機科學與技術(shù)、語言學等領域?qū)I(yè)教師，聚焦人工智能與語言健康、人工智能與語言工程、腦科學與智能計算、智能交叉等研究領域，致力于培養(yǎng)具備語言能力與人工智能技術(shù)的復合型高端人才。