如何評價AI相關(guān)論文中的novelty，什么樣的工作才可以不被稱為“novelty is limited”？

【資料圖】

電光幻影煉金術(shù)（香港中文大學 CS Phd在讀）回答：

這是個好問題，也是我第一次被噴novelty is limited+reject之后折磨了我?guī)讉€月的問題。

為什么novelty的問題這么讓人難受

難受點1：novelty問題沒法給我有用的梯度，讓我改進工作。比如說，我哪個實驗做得不好，做得不夠，比較地不公平。這些都可以很快地加以解決，解決思路幾乎是不言而明的。但是如果審稿人/老板噴novelty的問題，我該怎么變novel呢？這個就沒那么容易了。創(chuàng)新其實是蠻難的。

難受點2：novelty問題往往看上去是全盤否定，做了幾個月的工作，最后拿到的意見就是沒有novelty，看上去就像是否定了整個項目的意義，感覺幾個月甚至一年做的啥東西都不是。

難受點3: 剛開始做科研的時候，往往覺得自己創(chuàng)新點特別多。很多做科研的同學，本科都是佼佼者，或者都是認真學習的，自然能發(fā)現(xiàn)很多新問題，提出很多新解法。我作為當年做競賽的同學，也是喜歡做新問題的。但是第一次吃了頂會的reject，是因為不夠創(chuàng)新，看上去又確實不夠創(chuàng)新，讓我感覺我“覺得自己很會創(chuàng)新”的信念受到了打擊。

怎么客觀定量衡量novelty

novelty這個問題本身是有一定主觀性的，就現(xiàn)在的投票決定中稿而言，想要中頂會不能有一個審稿人覺得novelty嚴重不足。novelty如果有問題，可能就意味著洗稿等學術(shù)不端問題，是嚴重的（盡管可能我們是獨立地把一個工作做了一遍）。

衡量novelty，最重要的是憑審稿人的感覺。這是讓科研區(qū)別于工程的一個重要不同，科研是一種文化的傳播，不是像工程一樣做計算和復現(xiàn)。啥叫做文化，維基百科定義，來源于古羅馬哲學家西塞羅使用的拉丁文“cultura animi”定義，原意是“靈魂的培養(yǎng)”，由此衍生為生物在其發(fā)展過程中積累起跟自身生活相關(guān)的知識或經(jīng)驗，使其適應自然或周圍的環(huán)境。一言以蔽之，novelty的衡量主要靠審稿人的直覺、知識或者經(jīng)驗。

那么novelty是不是不可以衡量，不可以說道理的呢？也不是，畢竟交大的博士學長已經(jīng)證明了，相聲的笑果都可以用公式建模呢。

本文簡單使用一個公式（下面稱為novelty公式）：

Novelty=基礎(chǔ)分+正分-負分

以10分為上限的衡量系統(tǒng)為例，基礎(chǔ)分是5分，5分算拒絕，6分以上算接受，越高越好。

正分加分項：

提出了完全全新的問題，真的別人沒研究過，而且不是“茴香豆的茴有幾種寫法“這種無聊的問題。新的越本質(zhì)加分越多。

提出了顛覆前人理解的新結(jié)論。比如vit。

提出了一個全新的，很好用的，很本質(zhì)的概念。比如fasterrcnn里的anchor。

有全新的、重要的實驗發(fā)現(xiàn)。比如樂透猜想。

提出了一個全新的更好的解決辦法。雖然大多數(shù)論文都在搞這個，但是這個是最難加分的，因為新意很難體現(xiàn)。一個普遍的衡量方式是估計代碼的復雜度，因為審稿人都會碼代碼。如果說這個東西復現(xiàn)就是在原有代碼上加一兩行，那多半不行。

負分減分項：

文章中概念都是很舊的，特別是標題里。比如標題是“一種比LSTM更好的時序建模方法”，我不否認確實LSTM現(xiàn)在還有提升的空間，但是LSTM本身是13年的工作（上世紀提出，13年谷歌用于機器翻譯），后面提升LSTM的工作太多太多了，這個標題可以套用在很多方法上，感覺是18-19年穿越過來的，沒有新意。

單純的應用型文章。比如標題是“solving XXX via cnn"看上去就不是很好。當然如果文章做的特別好，不是簡單地拿來用，也是可以的。

單純地A+B。比如發(fā)現(xiàn)兩個模塊非常好，然后把他們放在一起水一篇新的，這樣看上去就很容易被懟。

實驗效果跟之前的沒啥差別，比如漲了0.1%。那就是說跟之前的沒本質(zhì)區(qū)別。

衡量novelty的常見主觀錯誤：

resnet的新意在第三點，提出了新的本質(zhì)概念：短路，而且通用有效。不代表加幾行代碼的一定就可以算novel。事實上大部分novel的發(fā)現(xiàn)都需要很多代碼。

目前審稿人很可能來自于不同領(lǐng)域，最好是能用通俗易懂的方法讓不同領(lǐng)域的人明白。

方法是方法，novelty是novelty，要一針見血地指出來novelty在哪里，而不是一大段不novel的贅述，讓審稿人也不知道哪一部分是已有的，哪一部分是提出來的。

就大部分實驗型的文章來看，不漲點的算個減分項，如果沒有其他加分項，就算不novel。另外本文只討論是否novel，現(xiàn)在“中稿是隨機過程，好文章不一定被接受，但壞文章總是被拒絕”（李飛飛的話）。

根據(jù)上面公式可以看出，idea只占很小的一部分，可以有很多不同的方式突出novelty。

怎么解決novelty的問題

1.多讀文獻加總結(jié)是科研有突破的重要途徑。建議從早期的文章開始讀，讀的時候想象自己穿越回當時，能不能發(fā)現(xiàn)問題在哪里，有沒有什么新的想法。然后再找后面的文章查對一下，看看自己的想法對不對。通過這種方式促使自己學會發(fā)現(xiàn)問題，找到創(chuàng)新點。

2.多閱讀一些專業(yè)的審稿意見，訓練自己的鑒賞能力。很多未解決的問題都能從審稿意見中發(fā)掘出來。歡迎關(guān)注我的系列視頻欄目「從審稿到中稿」，帶大家從審稿意見中發(fā)現(xiàn)問題，最終實現(xiàn)中稿。

3.多讀讀arxiv，最好培養(yǎng)定期翻看arxiv最新文章的習慣。很多厲害的文章都會先放在arxiv上，而做研究掌握一個好的timing至關(guān)重要，早點入局就能搶到先手。另一方面，arxiv上很多文章做的不夠好，問題沒做完，自己多想想努力一下就能有更好的結(jié)果。當然別忘了引用arxiv的文章并討論區(qū)別。

4.培養(yǎng)自己對科研問題的格局把握，具體說，判斷一個問題是三個月之內(nèi)可以解決的，還是三年可以解決的，還是三十年也解決不了的。不要憑自己的主觀臆斷來判斷，多看看大佬怎么說。如果很多大佬都覺得一個問題三年之內(nèi)可以解決，并且很有趣，那么就是一個很好的入手問題。

5.有人說，看到很多論文準確率都很高了，不知道該咋辦。這是個新手非常常見的問題，我想引用一個著名的比喻來回答。一個問題的模型，就好比一架很復雜的波音飛機，有幾百上千個按鈕，有的重要，有的不重要。你現(xiàn)在看到的，就好比看到有那么一架飛機飛的很快。但是更有意義的問題是，你對這架飛機的性能完全了解嗎？哪些部分是真正起作用的？能不能造一架更簡單但是飛的更快的飛機？如果不能，瓶頸在哪里？這架飛機是不是足夠魯棒，在任何條件下都能飛得很好？

6.有人說準確率已經(jīng)很高了，比如說達到了95%。一個事實：如果把5%的錯誤樣本拿出來構(gòu)成一個數(shù)據(jù)集，那么它的正確率將是0%。

所以關(guān)鍵不在準確率多高，而在失敗的樣本是不是重要。在真實的自動駕駛或者機器人中，有1%的失誤可能會導致很快報廢。

7.永遠關(guān)注交叉領(lǐng)域或者新領(lǐng)域，并大膽提出新想法?？赡苄孪敕〞涣硪粋€領(lǐng)域的人爆錘，不要灰心，這是常態(tài)，并不要怕碰壁成為作為阻止你學習的理由。不要自己給自己設置壁壘。

8.可能導師會覺得研究另一個領(lǐng)域會投入很多資源（比如算力或者他開會的時間），但是他擋不住你學習另一個領(lǐng)域的論文。資源可以受限，但是思想不會受限。特別是一個領(lǐng)域的突破性進展，往往可以影響其他領(lǐng)域。

9.把卡住自己的問題記錄下來，之后會有意想不到的影響。我跟swin transformer(今年獲得了比best paper很難得的馬爾獎)的作者聊過，他們是怎么想到swin transformer的？他們說，之前就有想過把self attention替換cnn，但是瓶頸是計算量會大很多，看到谷歌出了vit，算的很快，解決了他們之前的瓶頸，就是self-attention也可以很快還很好，這樣他們就產(chǎn)生了swin的想法。

10.人的創(chuàng)造力是無窮的，科研更多是一種文化，比賽才要刷點。比如同一屆的會議有很多論文在imagenet上點數(shù)都差不多，但是都各有亮點。百花齊放，百家爭鳴，而不要內(nèi)卷。

11.多復現(xiàn)一些代碼，很多論文都是表面好看，實質(zhì)代碼一跑就有很多問題。

12.歷史是會循環(huán)的，舊的領(lǐng)域的突破往往可以適用于新的領(lǐng)域。因此多看看經(jīng)典論文很有幫助。

13.要掌握一門到兩門可以泛化的，經(jīng)過大量事實驗證有效的方法論。舉個例子，比如加速計算的cuda編程等一系列方法，在不同的領(lǐng)域都可以試用。

14、很多好的idea都是在討論和碰撞中產(chǎn)生的。盡量多和研究者討論，方式不限于

（1）實驗室交流

（2）參加討論會或者研討會

（3）微信群組討論，可以看評論區(qū)加入我的討論群

（4）參加一些國際頂級學術(shù)會議，不需要發(fā)表論文也可以參加

（5）網(wǎng)上看workshop的錄像

15、沒有比較就沒有傷害，把同一個頂會做同一個任務的論文放到一起，高下立判。

16、想到什么好的idea，馬上去試，不要猶豫。沒有不好的idea，只有不明確的idea。

17、如果單個數(shù)據(jù)集不能做好，嘗試做更多數(shù)據(jù)集，甚至是跨領(lǐng)域數(shù)據(jù)集。小數(shù)據(jù)集上有用的，不一定大數(shù)據(jù)集有用。

多謝大家點贊～關(guān)于更多利用統(tǒng)計信息分析審稿過程，請關(guān)注我的視頻連載欄目《從審稿到中稿》。

Simon Jia 回答：

Novelty在于Difference，在于Advance。

Novelty在于你的動機Motivation，你Diss（當然不要說得太直白）哪些工作。

對于某一個研究領(lǐng)域，假如此研究領(lǐng)域有3大類方法，每一大類方法中又有很多此類的代表作。

如果你的Motivation僅僅是Diss某一類方法中的某一種方法，這就是小的Novelty，你僅僅是針對這種方法做了一個Incremental的工作，但這也是有Novelty。

如果你的Motivation是Diss某一類工作，那你的Novelty比較充足。

如果你的Motivation是Diss此領(lǐng)域中的所有工作，你的研究為此領(lǐng)域帶來了New Insight（例如機器翻譯中提出了Attention），推動了此領(lǐng)域的發(fā)展，是Revolutionary的工作，那你的Novelty非常充足，足夠嘗試各種頂會頂刊。

從上面也能看出，你要想能夠快速（5min之內(nèi)）評價一項工作的Novelty，你首先得對此領(lǐng)域非常了解，只有這樣你才能看出Difference。所以剛開始研究一個領(lǐng)域或者問題的時候，基礎(chǔ)要打好，多讀論文、多總結(jié)，這樣你才能摒棄一些不切實際的IDEA，你才能評估自己工作的Novelty，將自己的工作賣個好價錢。

另外一種Novelty是你直接開辟了新領(lǐng)域，挖了新坑（例如提出了聯(lián)邦學習、提出了元學習、提出了Manifold），這絕對是有Novelty，你可能成為這個新領(lǐng)域的祖師爺，但一般你要達到一定境界才能做出挖坑級別的工作。