科大訊飛獲得 ICFHR 2020 數(shù)學公式識別挑戰(zhàn)賽冠軍!

　　沒錯，我們又拿了第一!

　　近日，科大訊飛A.I.研究院聯(lián)合中科大語音及語言信息處理國家工程實驗室，以顯著優(yōu)勢獲得 ICFHR 2 020 OffRaSHME數(shù)學公式識別挑戰(zhàn)賽冠軍 。

離線手寫數(shù)學公式識別（官方數(shù)據(jù)）榜單

離線手寫數(shù)學公式識別（外源數(shù)據(jù)）榜單

　　注：“Correct”表示公式識別的句正確率，“≤1s.err”和“≤2s.err”分別表示整條公式中允許出現(xiàn)1處和2處錯誤的識別的句正確率

　　此次OffRaSHME數(shù)學公式識別挑戰(zhàn)賽由ICFHR 2020舉辦，除科大訊飛外，韓國三星、東京農(nóng)工大學、華南理工大學、中山大學等多家常年深耕文檔分析理解領域的研究機構(gòu)都參與其中。

　　本次識別挑戰(zhàn)賽「難」在哪里？

　　公式結(jié)構(gòu)復雜，尤其是各種結(jié)構(gòu)的嵌套， 例如：

　　形近字難識別，如X和x，Z和2，γ和r， 例如：

　　本次比賽添加了很多非常規(guī)符號的組合，這些容易和公式混淆， 例如：

　　科大訊飛是如何獲得「冠軍」的？

　　我們在數(shù)學公式識別中創(chuàng)造性地提出了Encoder-TreeDecoder識別算法 。

　　針對有復雜嵌套結(jié)構(gòu)關系的數(shù)學公式識別：

　　我們提出了基于樹形結(jié)構(gòu)信息建模的Encoder-TreeDecoder識別算法，通過使用樹形結(jié)構(gòu)信息對數(shù)學公式的符號和符號間結(jié)構(gòu)關系分別進行建模，來進行數(shù)學公式識別。

　　針對難以辨別的形近字符和非常規(guī)符號的組合：

　　我們使用了基于LaTeX語言模型的數(shù)據(jù)增強策略，對官方提供的數(shù)據(jù)進行合理的拆分分解訓練公式語言模型，并使用語言模型合成出更加合理的符合上下文關聯(lián)性的數(shù)據(jù)，很大程度上緩解形近符號識別困難的問題。

　　通過多項技術能力的綜合運用， 在“能看會認”上，我們做得更好了！

　　——不僅能識別更復雜的數(shù)學公式，還能做到“中文+數(shù)學公式”混合搭配的內(nèi)容識別。

　　數(shù)學公式識別領域的突破，對實際學生作業(yè)試卷文檔的版面結(jié)構(gòu)復雜、書寫風格差異顯著等難點問題，提供更為豐富有效的解決方案。

　　此外，我們還在ICDAR ReCTS評測任務中刷新了 單字識別、文本行識別、文本行檢測和端到端識別全部 四項榜單世界紀 錄， 使得我們的系統(tǒng)在解決復雜場景下文字檢測和識別的難題中更為游刃有余。

　　應用立地，更有A.I.的產(chǎn)品等你體驗

　　“技術頂天，應用立地”，基于在圖文識別等核心技術上取得的持續(xù)突破，我們打造出了一批具備“能看會認”能力的A.I.產(chǎn)品。

　　▌訊飛智能學習機

　　我們在此次「數(shù)學公式識別任務」 中突破了諸多關鍵技術。依托這些技術，訊飛智能學習機幫助學生精確地進行大數(shù)據(jù)學情分析找到知識點的薄弱項，實現(xiàn)“個性化精準學”，提升學習效率、鞏固學習效果。

　　手寫數(shù)學題解答功能即將開放

　　▌訊飛智能辦公本

　　我們實現(xiàn)了手寫圖文識別也與智能語音等關鍵技術深度融合。依托這些技術，“出口成章，躍然紙上”的訊飛智能辦公本可以實現(xiàn)語音直接搜索手寫筆記內(nèi)容，「一句話找到手寫筆記」 ，滿足用戶在更多筆記場景下的記錄、寫作、搜索、多端同步需求，有效提高辦公效率。

　　▌訊飛翻譯機

　　我們基于注意力機制的Encoder-Decoder模型在「自然場景文字識別任務」 上，通過融合語言模型進行端到端訓練，使得拍照模糊的文字也能通過語言模型“聯(lián)想”而被正確識別。依托此項技術，訊飛翻譯機拍照翻譯更清晰更準確，能夠滿足更多消費者在國外旅游、購物的場景應用需求。

　　▌訊飛輸入法

　　我們在「在線手寫字符識別任務」 上取得突破性進展，將輕量級的卷積神經(jīng)網(wǎng)絡首次在手機設備上實際應用。依托此項技術，訊飛輸入法手寫輸入體驗顯著提升。

　　堅守人工智能道路21年，我們不斷攀越技術高峰，在智能語音、計算機視覺、自然語言理解等技術領域摘得一項又一項桂冠，但這并不是終點。

　　我們將始終秉承“頂天立地”的技術信仰，打造一件件“能聽會說”“能看會認”“能理解會思考”的人工智能產(chǎn)品，用人工智能點亮人間煙火。