2019骞�ML & NLP棰�������澶х��绌剁����

浣���锛� Sebastian Ruder 2020-01-13 12:00:06

2019 年ML & NLP领域十大研究热点

����潘����烽��缃�锛�濡���潘�潘借�疯�抽�烽��缃�疏浚�缃��宠�锋������

 NLP �ュ����涓� Sebastian Ruder ��骞村害�ュ��锛�

2019 骞磋��讳�锛�瀵逛� AI ����瑷�锛�杩��荤��涓�骞村��璋���“婵�娴���杩�”��涓�骞达�涓��归��锛��翠釜 AI ������绌舵��缁�楂�娑�锛��ㄥ�ㄤ� AI ������杩�����灞�锛���涓��归��锛�杩�����灞�������锛�������灞����т��ョ���告�撅���绌惰��浠���瀵硅�河渠�灞����т��ㄧН���㈢储锛�骞跺���捐韩���版���轰�涓�璁″�舵�扮演���版�规�����绌舵�瑰����

浣��戒�涓��遍����哄苟浜х��杈�澶у奖�������规�����绌舵�瑰��锛�������河渠�锛��煎��ㄦ���ヤ�骞翠腑缁х图娣卞�ユ�㈢储������澶�广大�锛�

NLP 棰����ュ����涓� Sebastian Ruder ��澹�广大卞�轰�浠�����绌跺伐浣��板��河渠�涓�浠姐��2019骞�ML & NLP 棰�����澶х��绌剁���无边�����荤��ラ����

��浠���浠���涔�璇达�

杩�绡���绔�姹��讳���璁や负 2019 骞村��ML �� NLP 棰����雾�扮演����涓�����濂�河渠哄����锋��褰卞��������绌舵�瑰������瀵规��涓����戊寅���浼��荤��ㄨ��讳�骞存����寰���涓昏�杩�灞�锛�绠�杩颁负浣���璁や负�堕��瑕�锛�骞跺�规���ュ��涓�涓�广大�广大���灞�����

浠ヤ���杩���涓���绌剁���戊寅�

  1. ���ㄦ�����i�璁�缁�
  2. “涓�濂�褰╃エ”海洋�缃�缁�
  3. 绁�缁�姝e����
  4. �����e�璇�瑷�海洋�涔�
  5. �拈�妫����哄���版����
  6. �ㄤ�绉�海洋���绌剁��ML��NLP
  7. 淇�澶�NLG涓���瑙g����璇�
  8. 澧�寮洪�璁�缁�妯″��
  9. 楂������跨���Transformer
  10. �村�����������规�

涓������ㄦ�����i�璁�缁� 

1������河渠�浠�涔�锛�

����BERT (Devlin绛�河渠�, 2019)���跺��浣�澶х����褰卞��锛�杩��讳�骞翠腑锛������i�璁�缁���NLP 棰���涓���涓�涓�娴�琛�����绌舵�瑰������绉� BERT ��浣��ㄥ�ㄤ�澶�妯℃������澧�涓�锛�涓昏��ㄦ����惧��锛�瑙�棰�浠ュ��������澧�锛�濡�涓��炬��绀猴���

2019 骞�ML & NLP棰�����澶х��绌剁����

VideoBERT锛�Sun绛�河渠猴�2019骞达�锛�涓�绉����扮演��BERT澶�妯℃����浣�锛��规�����戊寅�涓���锛�����瑙�棰�“浠ょ��”锛�骞舵�规��瑙�棰�浠ょ��锛�涓���锛�棰�娴�涓����堕�村昂搴������ヤ维护����

�����i�璁�缁�涔�寮�彭�“�ヤ镜”浠ュ���辩���f�规���涓诲�煎�颁���棰�����姣�濡�锛�

�ㄧ���╁��涓�锛�����绌惰���ㄨ���借川搴���涓�棰�璁�缁�Transformer璇�瑷�妯″��锛�Rives绛�河渠猴�2019锛�锛�

�ㄨ�$���鸿�瑙�涓�锛�涔�����绌惰���╃�ㄥ����CPC锛�Hénaff 绛�河渠猴�2019锛�锛�MoCo锛�He绛�河渠猴�2019锛���PIRL锛�Misra锛�van der Maaten锛�2019锛�浠ュ�� BigBiGAN ������锛� Donahue锛�Simonyan锛�2019锛��ㄥ���������f�规���楂� ImageNet 涓����锋���������瑰���惧������锛�

�ㄨ���虫�归��锛�浣跨�ㄥ�灞�CNN锛�Schneider绛�河渠猴�2019锛�������CPC锛�Kawakami绛�河渠猴�2019锛���海洋�寰���琛ㄧず锛��ㄦ�村�璁�缁��版��涓���琛ㄧ�颁�河渠�褰�����濂芥ā����

2��涓轰�涔���瑕�锛�

�����i�璁�缁���浠ュ�ㄥ甫���村���璁版�锋�����版��涓�璁�缁�妯″��锛�杩�涓轰互����娉�婊¤冻�版����姹���璁稿�涓���棰���涓���搴��ㄦ��岛�河渠��扮演�����芥�с��

3���ヤ��ユ��浠�涔�锛�

�����i�璁�缁�浠���寰�澶х��杩�姝ョ┖�达�广大界�¤�浠�涓烘�㈠���ㄥ��涓�棰����藉��寰�河渠�寰�澶ц�姝ワ����ュ����规�惧�ㄥ�浣��寸揣瀵��伴����澶�妯℃���版��锛�广大���涓�涓���瓒g����棰���

河渠���“涓�濂�褰╃エ”海洋�缃�缁�

1������河渠�浠�涔�锛�

Frankle �� Carbin ��2019 骞寸����绌朵腑���颁�“涓�濂�褰╃エ”�拌薄锛��充�涓����哄��彭�����瀵�����兄弟�缃�缁�涓���涓�河渠�海洋�缃�缁�杩���濂界����彭���锛�浠ヨ�充�����璁�缁�杩�河渠�海洋�缃�广大卞��杈惧�颁�璁�缁��翠釜缃�缁�绫讳技����纭���锛�濡�涓��炬��绀恒�� 

2019 骞�ML & NLP棰�����澶х��绌剁����

�ㄤ�����������涓�娴�璇�涓�濂�褰╃エ海洋�缃�缁�锛�疏浚�绾匡�涓����洪���山��缃�锛���绾匡�����纭��э�Frankle锛�Carbin锛�2019锛���

�界�舵����������绋�搴�浠����ㄤ�广大���瑙�瑙�浠诲�★�浣����ョ��宸ヤ�锛�Frankle绛�河渠猴�2019锛��ㄨ��缁����╂��������彭����跺��ㄤ慨��锛�杩�浣垮�����绋�搴���浠ユ�惧�版�存繁灞�妯″����广大���海洋�缃���Yu绛�河渠猴�锛�2019锛�涔���NLP��RL妯″��涓����颁�LSTM��Transformer��“涓�濂�褰╃エ”��彭�����

广大界��“涓�濂�褰╃エ”浠��跺��炬�撅�浣�濂芥�����杩�河渠�“涓�濂�褰╃エ”浼间��ㄤ����版������浼����ㄤ��村�锋����潘�绉绘�э�Morcos绛�河渠猴�2019锛���

2��涓轰�涔���瑕�锛�

�颁�绁�缁�缃�缁���寰�瓒��ヨ�澶э��ㄤ�璁�缁���棰�娴�������涔�瓒��ヨ�楂����ヨ�借�����哄�锋����姣��ц�界��广大���海洋�缃�锛�岛垮��浠ョ�ㄦ�村���璧�婧�杩�琛�璁�缁����ㄧ��锛�浠�����浠ュ��蹇�妯″����杩�浠i��搴�锛�骞朵负璁惧�涓�璁$����杈圭�璁$����岛��扮演��搴��ㄥ�烘����

3���ヤ��ユ��浠�涔�锛�

�����惧��“涓�濂�褰╃エ”��浠d环浠��跺お楂�锛���娉��ㄨ�$��璧�婧���涔���澧�涓���岛�疏浚�����濂藉���淇���杩�绋�涓�涓�������澹板奖��涓��拈�妫���涓�娆℃�т慨���规�����缂�瑙h�绉����点��

��绌朵娇“涓�濂�褰╃エ”�瑰��������锛���璁歌��藉府�╂��浠��村ソ�扮演��瑙g�缁�缃�缁�����彭���浠ュ���跺��涔��ㄥ��海洋��� 

涓���绁�缁�姝e����

1������河渠�浠�涔�锛�

杩�涓���绌舵�瑰�����芥���瑰���磋�锛��蜂��ヨ�村氨������疏浚界��绁�缁�缃�缁�姣�绐���绁�缁�缃�缁��村�规��浠���璁轰�杩�琛���绌躲��

��绌惰〃��锛��ㄦ����疏浚界�����仪式�锛�绁�缁�缃�缁���浠ヨ�浼间负甯���绁�缁�姝e���� (Neural Tangent Kernel 锛�NTK; Jacot绛�河渠�, 2018锛���绾挎�фā����涓��炬���惰��缁�杩�绋����ㄦ���剧ず��

�朵腑�ㄥ�惧��浠ユ�ョ������

�锋��涓��� α ��海洋��� NTK 绾挎�фā�����ㄦ��海洋�涔�杩�绋�锛� NTK ��瑙���涓烘き��褰�锛��ユ�锛�Rajat����疏浚�锛���

�惰���ㄥ��璺典腑锛�杩�河渠�妯″����琛ㄧ�颁�濡�����娣卞害妯″��锛�Novak绛�河渠猴�2019; Allen-Zhu绛�河渠猴�2019锛�Bietti锛�Mairal锛�2019锛�锛�杩����朵�广大��板���板��ㄤ������规���

浣���杩���宸ヤ�锛�Li 绛�河渠猴�2019锛�Arora 绛�河渠猴�2019锛�宸插ぇ澶х缉灏�河渠�涓������规����ц�藉樊璺�锛��蜂�璇峰����Chip Huyen��瀵瑰�朵��稿�崇��NeurIPS 2019璁烘����������锛�https://huyenchip.com/2019/12/18/key-trends-neurips-2019.html锛���

2��涓轰�涔���瑕�锛�

NTK涔�璁告����浠�����绁�缁�缃�缁���璁鸿�涓虹����寮哄ぇ��宸ュ�凤�广大界�″�����跺����э��冲������绁�缁�缃�缁�浠��舵�� NTK 瀵瑰����规���琛ㄧ�版�村ソ��

�界�跺�扮演����涓烘�㈣�ョ��绌舵�瑰����璁轰���瑙�瑙h�娌℃��潘���涓虹�楠�涓����惰�凤�浣�杩����芥���╀���浠���寮�娣卞害瀛�涔���榛��e����

3��涓�涓�姝ユ��浠�涔�锛�

涓������规���宸�璺�锛�浼间�涓昏��变�姝ょ把�规�������疏浚藉害��瀵艰�达�杩�河渠����戒��ㄥ��ョ��宸ヤ�涓�浣��板�烘�ャ��杩�杩�广大�����甯��╁�����疏浚藉害���朵���涓�河渠���璁轰���瑙�瑙h浆�㈠��寸����疏浚���璁剧疆��

��缁�锛�NTK ����涓烘��浠�����绁�缁�缃�缁���璁�缁��ㄥ��海洋���娉���琛�涓恒��

���������e�璇�瑷�海洋�涔�

1������河渠�浠�涔�锛�

澶�骞存�ワ�璺ㄨ��瑷�琛ㄧず涓昏���涓��ㄥ��璇�绾у��涓���琛ㄧず���ㄦ�����i�璁�缁����雾�涓�锛�杩��荤��涓�骞磋�璇�河渠�璇稿�澶�璇�瑷�BERT锛�XLM锛�Conneau锛�Lample锛�2019锛��� XLM-R锛�Conneau绛�河渠猴�2019锛�绛�璺ㄨ��瑷�妯″����娣卞�ュ��灞���

�界�惰�河渠�妯″��娌℃��浣跨�ㄤ换浣���纭���璺ㄨ��瑷�淇″�凤�浣�疏浚�浠��充究�ㄦ病魔���变韩璇�姹�������璁�缁����仪式�疏浚��扮演��璺ㄨ��瑷���娉�������锛�岛��т维护浜烘��璁讹�Artetxe 绛�河渠猴�2019; Karthikeyan绛�河渠猴�2019; Wu绛�河渠猴�2019 锛���

杩�河渠�娣卞害妯″��杩�甯��ヤ������� MT ���硅�锛�Song 绛�河渠猴�2019; Conneau锛�Lample锛�2019锛�锛��ㄥ��骞达�2018骞达���寰�河渠��胯冻��杩�姝ュ�雾�涓�锛��ㄥ�诲勾��浠�缁�璁″��绁�缁��规����村�����х���涓�锛��山�河渠��硅�锛� Artetxe 绛�河渠猴�2019锛���

��涓�涓�浠や男子��濂���杩�灞�����锛�浠��版����棰�璁�缁��辫��琛ㄧず涓�寮�浼稿�烘繁灞�澶�璇�瑷�妯″��锛�Artetxe绛�河渠猴�2019; Tran锛�2020锛�锛�濡�涓��炬��绀恒�� 

2019 骞�ML & NLP棰�����澶х��绌剁����

Artetxe绛�河渠猴�2019锛�����璇�绉�杩�绉绘�规�����姝ラ�ゃ��

2��涓轰�涔���瑕�锛�

�崇�ㄥ��璺ㄨ��瑷�琛ㄧず浣胯��缁�妯″�����������辫��璇�瑷��锋���村���姝ゅ�锛��ュ��浠ヤ娇�ㄨ�辫����璁扮���版��锛���杩�河渠��规���疏浚��板��涔���璐圭���舵�锋��潘�绉汇����缁�锛�杩�河渠��规���浠ュ府�╂��浠��村ソ�扮演��瑙d���璇�瑷�涔��寸���崇郴��

3��涓�涓�姝ユ��浠�涔�锛�

����广大�涓�娓�妤�涓轰�涔�杩�河渠��规��ㄦ病魔��浠讳�璺ㄨ��瑷����g�����仪式�濡�姝ゆ�������村ソ�颁�瑙h�河渠��规���宸ヤ��瑰�锛�广大�浣挎��浠��藉�璁捐�″�哄���芥�村己澶х���规�锛�杩������芥��绀哄�哄�充�涓���璇�瑷�缁�����涓�河渠�瑙�瑙c��

��澶�锛���浠�涓�浠�搴�璇ヤ�娉ㄤ��舵�锋��潘�绉伙�杩�搴�璇ュ�ㄧ����璇�瑷�涓�����广大��锋��海洋�涔���棰���

河渠����拈�妫����哄���版����

褰�涓�����灞�锛�疏浚���河渠�涔�涓���绯���河渠�����

—Nie et al. (2019) 锛�寮��� Shakespeare����彭��风�无边��锛�There is something rotten in the state of Denmak锛�涓归害�介��锛�疏浚���河渠�涔�涓���绯���河渠�锛�

1������河渠�浠�涔�锛�

 ��瀵规��杩��板����烘�ョ�� NLP �版����濡� HellaSWAG (Zellers et al., 2019) 锛�褰�������杩���妯″��涔��句互搴�瀵广��

��绌惰����瑕�河渠哄伐杩�婊ゆ�锋��锛�浠���河渠��颁����d�褰�������杩�妯″��澶���澶辫触���锋��锛�璇峰����涓��㈢��绀轰�锛�����浠ラ��澶�澶�娆�“河渠哄�ㄥ����”��瀵规��绠$��杩�绋�锛��ュ��寤哄�瑰����规��村�锋�����х���版����锛�岛�濡��ㄦ��杩����雾���� Adversarial NLI锛�Nie绛�河渠猴�2019锛��哄��娴�璇�涓�锛�广大卞��浠ュ���拌�涓��无边��

2019 骞�ML & NLP棰�����澶х��绌剁����

�ヨ��HellaSWAG�版������澶�椤归���╁�ヨˉ�ㄧず岛��充娇瀵逛����扮演��妯″��涔�寰��惧��绛���澶у��板�伴�剧��岛�海洋��戒�河渠�涓�涓�澶�����“��广大�寰锋�����”锛�澶ц�寸�变�涓�涓�涓����ュ����涓や锅�������ュ��缁���锛�Zellers绛�河渠猴�2019锛���

2��涓轰�涔���瑕�锛�

璁稿���绌朵汉��宸茬�瑙�瀵��起�褰�����NLP妯″��骞舵病��海洋��伴���海洋��扮演����疏浚癸��������ㄦ�灞�����骞剁����版��涓���琛ㄥ�绾跨储���规�锛���绉颁负“����姹����跺��”锛��������版������寰��村��椴�妫��惧��锛���浠�甯���锛��借揩浣匡�妯″����缁��诲��涔��版��涓���姝g��娼��ㄥ�崇郴��

3��涓�涓�姝ユ��浠�涔�锛�

����妯″����寰��村ソ锛�澶у��版�版����广大���瑕�涓����硅�锛�����广大变�寰�蹇�杩��躲��涓��ㄧ���雾�璁炬�藉��宸ュ�山�逛�淇�杩�姝よ�绋�寰���蹇�瑕���

姝ゅ�锛�搴��ㄦ�版����涓���杩�琛��������哄���规�锛�岛�濡�锛�����浣跨�ㄤ����版����浣�锛�岛�濡�杈��ヤ�疏浚��达���绠����规���妯″��锛�浠ヤ娇�版��������彭�����广大藉���介�妫���

�����ㄤ�绉�海洋���绌剁�� ML �� NLP

1������河渠�浠�涔�锛�

�哄�ㄥ��涔�宸插�ㄥ�雾�绉�海洋���棰�涓���寰�河渠�涓�河渠���澶ц�灞���岛�濡�锛�����绌讹�Pfau绛�河渠猴�2019锛�广大�娣卞�绁�缁�缃�缁�搴��ㄤ����借川������澶��靛��Schrödinger�圭���

�ㄨ���惰��瑷�澶����归��锛��充究��涓�河渠������规�锛��ㄧ���棰���涓�涓��ヨ������河渠х����褰卞��涔��戒护浜哄�村����朵腑��涓�椤圭��绌朵娇�ㄨ��稳定��ユ�����ュ��������绉�海洋�����涓���娼��ㄧ�ヨ��锛�Tshitoyan绛�河渠猴�2019锛�锛�浠ュ��剁�ㄤ�棰�娴����������锋����河渠��规�э�璇峰��瑙�涓��撅���

2019 骞�ML & NLP棰�����澶х��绌剁����

浣跨�ㄥ�ㄤ����堕�存�电����瑕�涓�璁�缁�寰��扮演��璇�稳定��ラ�娴�广大��ㄦ���ョ����瑕�涓���绌跺��河渠�����浣�涓洪���垫����锛�a锛�锛���浼�����锛�b锛�������缁�缂�浣�锛�c 锛�锛�涓��������������告��锛��存�����藉�瑰��50涓�棰�娴�����杩�琛���绌讹�Tshitoyan绛�河渠猴�2019锛���

�ㄧ���╁��涓�锛�璁稿��版��锛�岛�濡��哄�������借川锛���璐ㄤ���搴����版������姝わ����跺��广大�LSTM��Transformers绛�NLP�规��ㄤ����借川��绫伙�Strodthoff绛�河渠猴�2019; Rives绛�河渠猴�2019锛���

2��涓轰�涔���瑕�锛�

绉�海洋���浠ヨ�存��ML����褰卞������搴��ㄩ���涔�涓���瑙e�虫�规���瀵硅�稿��朵�棰���河渠х����澶у奖��锛�骞朵����╀�瑙e�冲������棰���

3��涓�涓�姝ユ��浠�涔�锛�

浠�瀵圭�╃����棰�涓����介��寤烘ā锛�Greydanus绛�河渠猴�2019锛��版�瑙e井���圭�锛�Lample锛�Charton锛�2020锛�锛�ML�规�涓��村�ㄧ�海洋����板��ㄤ腑涓����╁ぇ������2020骞村�ㄥ��绉���棰�涓���搴��ㄥ�浼�河渠х����澶х��褰卞��涔����烘��瓒g����

涓���淇�澶� NLG 涓���瑙g����璇�

1������河渠�浠�涔�锛�

广大界�″���借��ヨ�寮哄ぇ锛�浣����惰��瑷�����锛�NLG锛�妯″��浠��剁�甯镐骇����澶����¤�涔辫��锛�濡�涓��炬��绀恒��

2019 骞�ML & NLP棰�����澶х��绌剁����

GPT-2浣跨�ㄥ������绱㈠��绾�锛�璐�濠�锛����蜂骇������澶�锛����诧����¤�涔辫��锛�绾㈣�诧�锛�Holtzman绛�河渠猴�2019锛���

河渠�疏浚�琛ㄦ��锛�杩�涓昏�����澶т技�惰��缁���缁�������寰�楂��寸���板凡缁���涓�河渠��ㄥ�ㄦ�瑰��杩�涓��圭����绌跺伐浣�锛�涓�姝ゅ���讹��ㄥ缓妯℃�归��涔���寰�河渠�涓�河渠�杩�灞���杩�绉��硅�������杩����ㄦ�伴���风���规��山�锛�岛�濡��搁���凤�Holtzman绛�河渠猴�2019锛�锛�������杩�浣跨�ㄦ�扮演����澶卞�芥�拌�山�锛�Welleck绛�河渠猴�2019锛���

��涓�涓�浠や男子��璁剁�����版��锛��村ソ����绱�涓�浼�甯��ユ�村ソ������锛�褰���妯″���ㄦ��绉�绋�搴�涓�岛�璧�河渠�涓�疏浚�����绱㈠��娉㈡����绱㈤��璇����ㄦ�哄�ㄧ炕璇������仪式�锛�绮剧‘��绱㈤��甯镐�杩���绌虹炕璇�锛�Stahlberg锛�Byrne锛�2019锛���杩�琛ㄦ����绱㈠��寤烘ā�归�㈢��杩�姝ュ�椤婚�澶村苟杩���

2��涓轰�涔���瑕�锛�

���惰��瑷�������NLP涓���������浠诲�′�涓����� NLP �� ML ��绌朵腑锛�澶у��拌�烘���介��涓��ㄦ�硅�妯″��涓�锛���娴�绋�涓����朵��ㄥ����甯歌�蹇界�ャ��

瀵逛�NLG锛���瑕�娉ㄦ������锛���浠���妯″��浠��跺���ㄧ己�凤�骞朵���浠ラ��杩�淇�澶���绱㈡��璁�缁�杩�绋��ユ�瑰��杈��恒��

3��涓�涓�姝ユ��浠�涔�锛�

广大界�℃���村己澶х��妯″��浠ュ��杩�绉诲��涔���NLG������搴���锛�Song绛�河渠猴�2019; Wolf绛�河渠猴�2019锛�锛�妯″��棰�娴�浠��跺���ㄨ�稿����碉�璇�������瑙f�ょ把���电������锛�广大������ラ��瑕�����绌舵�瑰����

����澧�寮洪�璁�缁�妯″��

1������河渠�浠�涔�锛�

�ㄨ��讳�骞达���寰�楂��寸���扮演��绌惰��涓洪�璁�缁�妯″�����轰�澧����板���界���规���涓�河渠��规��ㄧ�ヨ��搴�澧�寮轰�棰�璁�缁�妯″��锛�浠ユ�瑰��疏浚�浣���绉板缓妯★�Liu绛�河渠猴�2019锛���河渠�疏浚���蹇�锛�Logan 绛�河渠猴�2019锛����跺����绌跺��浣块�璁�缁�妯″���藉���杩�璁块��璁稿�棰�疏浚�涔������ц���绋�搴�锛��ユ�ц�绠�����绠����ㄧ��锛�Andor 绛�河渠猴�2019锛���

�变�澶у��版ā���锋��杈�寮辩��褰�绾冲��宸�骞跺��浠ヤ��版��涓�海洋�涔�澶у��扮演�ヨ��锛���姝ゅ�寮洪�璁�缁�妯″������涓�绉��规���澧�寮鸿��缁��版����韬�锛�岛�濡�����甯歌��锛�Bosselut绛�河渠猴�2019锛�锛�濡�涓��炬��绀恒��

2019 骞�ML & NLP棰�����澶х��绌剁����

�锋��澶�澶存敞��������Transformer��缁�杩�璁�缁���妯″����浠ユ�规��缁�疏浚���涓婚����崇郴�ラ�娴��ヨ��搴�涓���缁���瀵硅薄锛�Bosselut绛�河渠猴�2019锛���

2��涓轰�涔���瑕�锛�

妯″��姝e��寰�瓒��ヨ�寮哄ぇ锛�浣���妯″����娉�浠�����涓�海洋��板�澶�涓�瑗裤���瑰�����ㄥ����村�����浠诲�℃�讹����ㄦ�版�����藉��������锛�浠ヨ�充���娉�浣跨�ㄤ�疏浚���甯歌���ュ��寰��惧����ㄧ��锛�骞朵����界�甯搁��瑕��村己��褰�绾冲��宸���

3��涓�涓�姝ユ��浠�涔�锛�

����广大�妯″��搴��ㄤ��村�锋�����х����棰�锛�瀵圭���杩�琛�淇��瑰���寰�瓒��ヨ���蹇�瑕���广大��ワ���浠����戒�缁������藉己澶х��棰�璁�缁�妯″������海洋�涔���缁���绋�搴�锛�Pierrot绛�河渠猴�2019锛���

涔���楂����跨��� Transformer

1������河渠�浠�涔�锛�

杩��讳�骞翠腑锛�Transformer �舵��疏浚��颁�涓�河渠��硅�锛�Vaswani绛�河渠猴�2017锛���岛�濡�Transformer-XL锛�Dai绛�河渠猴�2019锛���Compressive Transformer锛�Rae绛�河渠猴�2020锛�浣胯�ユ�舵���藉��村ソ�版���烽�跨�岛�璧��崇郴��

2019 骞�ML & NLP棰�����澶х��绌剁����

��缂╃��Transformer广大�锛�缁�绮�搴���海洋���锛�杩��荤��婵�娲诲��缂╀负涓�涓��寸�绯�����缂╁��海洋�锛�Rae绛�河渠猴�2020锛���

涓�姝ゅ���讹�璁稿��规�璇��鹃��杩�浣跨�ㄤ�����锛���甯告��绋�����锛�娉ㄦ�����哄�舵�ユ��楂� Transformer ������锛�岛�濡��╃�ㄨ����搴�绋���娉ㄦ����锛�Correia绛�河渠猴�2019锛�锛�����搴�娉ㄦ����璺ㄥ害锛�Sukhbaatar绛�河渠猴�2019锛�锛�涔�绉���娉ㄦ����锛� Lample绛�河渠猴�2019锛�锛�浠ュ��灞��ㄦ������甯�锛�Kitaev绛�河渠猴�2020锛�绛��规�锛��ユ��楂� Transformer ������

�ㄥ�轰�Transformer ��棰�璁�缁��归��锛��雾�颁��存��������浣�锛�岛�濡�浣跨�ㄥ���板�变韩��ALBERT锛�Lan绛�河渠猴�2020锛���浣跨�ㄤ��存������棰�璁�缁�浠诲�$��ELECTRA锛�Clark绛�河渠猴�2020锛���涓�杩�锛�涔���涓�河渠�棰�璁�缁�妯″���界�朵�浣跨��Transformer锛�浣����村������锛�岛�濡�涓�����浠舵ā�� VAMPIRE锛�Gururangan绛�河渠猴�2019锛����轰�QRNN��MultiFiT锛�Eisenschlos绛�河渠猴�2019锛���

璇ラ�������涓�涓�瓒��挎��锛�广大�澶у�� BERT 妯″�����兼��杈�广大���妯″��锛�Tang绛�河渠猴�2019; Tsai绛�河渠猴�2019; Sanh绛�河渠猴�2019锛���

2��涓轰�涔���瑕�锛�

Transformer �舵�������轰互�ワ�涓��存���山奖������疏浚���NLP涓�澶у��版���版ā����缁����ㄥ��锛�骞朵�宸叉����搴��ㄤ�璁稿��朵�棰���锛�璇峰��瑙�绗�1��绗�6��锛�����姝わ�瀵� Transformer 浣�绯荤�����浠讳��硅��芥�����戒骇��寮虹����“娉㈢汗��搴�”��

3��涓�涓�姝ユ��浠�涔�锛�

浠�涓���浠� Transformer ��寰���浠ヤ��硅�涓��风�����借���瑕�涓�娈垫�堕�达�浣����翠�棰�璁�缁�妯″���������у�����ㄦ�э�杩�娈垫�堕�翠�涓�浼�澶��裤��

�讳���瑷�锛�寮鸿�������妯″���舵����甯���缁х图��涓哄�虫敞�����戊寅�绋����у�����抽��瓒��夸�涓���

�����村�����������规�

1������河渠�浠�涔�锛�

杩��荤��涓�骞翠腑锛�ML �� NLP ��绌剁��涓昏�瓒��夸�涓���锛�����妯″����璁烘���伴���ㄥ�����

疏浚���涓�锛�杩�����涓�骞翠腑������娆㈢����绡�璁烘��锛�广大辨��杩�绫诲����妯″����璁烘����2019 骞存�╀��跺��锛�Belinkov �� Glass �鹃��瀵瑰�����规���河渠�涓�浠介��甯稿�鸿�茬��璋��ユ�ュ����

�ㄦ�����拌薄涓�锛�杩��讳�骞撮�娆″�雾�板�澶��村��河渠�������涓�妯″�� BERT ��璁烘�����拌薄锛�姝ょ把璁烘��琚�绉颁负 BERTology锛����ㄨ�绉����仪式�锛��ㄥ�ㄤ�瑙fā��������杩�棰�娴���河渠�灞��ф�ユ���山舰����璇�娉�绛����㈤��锛�宸叉��涓轰�绉�甯哥�ㄥ伐�凤���瑙�涓��撅���

2019 骞�ML & NLP棰�����澶х��绌剁����

�ㄤ���绌惰〃绀轰腑璇�瑷��ヨ�����㈤����璁剧疆锛�Liu绛�河渠猴�2019锛���

���瑰��璧�璧�浣挎�㈤���村������璁烘��锛�Liu 绛�河渠猴�2019 ; Hewitt锛�Liang锛�2019锛����������т�姝f��瀵硅��棰�����灞���璺�涓��充�娉ㄦ���������芥��岛�����涔�瑙i������绌朵富棰�锛�Jain锛�Wallace锛�2019; Wiegreffe锛�Pinter锛�2019; Wallace锛�2019锛���

��杩�ACL 2020 涓��充� NLP 妯″������瑙i���у��妯″��������Track 璁烘��锛�广大辨��河渠轰滑瀵瑰�����规�����缁��磋叮����濂戒�璇���

2��涓轰�涔���瑕�锛�

疏浚���涓�锛�褰�������杩��������规�浣跨�ㄨ捣�ュ�寰���涓�涓�榛��e����涓轰�寮����村ソ��妯″��骞跺�ㄧ�板��涓���涓�搴��ㄥ��浠�锛���浠���瑕�河渠�瑙d负浠�涔�妯″��浼����烘��河渠��冲�����惰��锛���浠������ㄤ�瑙i��妯″��棰�娴����规�浠��跺����������

3��涓�涓�姝ユ��浠�涔�锛�

��浠���瑕����烘�村���宸ヤ��ヨВ����瑙������翠�澶���棰�娴�锛���涓鸿�河渠�棰�娴���甯告��涓���������杩�涓��瑰��涓���涓�涓���瑕�瓒��挎��锛��村��版����姝e�ㄦ��岛�河渠轰负瑙i��锛�Camburu绛�河渠猴�2018; Rajani绛�河渠猴�2019; Nie绛�河渠猴�2019锛���   

������涓����扮演���稿�宠�烘����宸ヤ�锛���浠ュ��寰������板�� https://ruder.io/research-highlights-2019/ �山����

AI �版�� 河渠哄伐�鸿��
涓�涓�绡�锛��充�2020骞翠汉宸ユ�鸿�借�涓���涓���棰�瑷� 涓�涓�绡�锛�河渠鸿�歌��������锛�������涓�������
璇�璁�
��娑�
����璇�璁猴�蹇��绘��涓虹��涓�涓�璇�璁虹��河渠哄��

�村�璧�璁��ㄨ��

河渠哄伐�鸿�藉�ㄧ�缁�疏浚��ㄩ�����搴���

�ㄦ��杩�3骞翠汉宸ユ�鸿�藉��寮���河渠�涓��哄��涓��╁�斤�璋锋����寰�潘����惧害绛�河渠���缃�宸ㄥご浠ュ��浼�澶�������绉������革�绾风悍���ヤ汉宸ユ�鸿�芥���虎���璧蜂�潘���涓�潘����鸿�藉����娼�锛�河渠哄伐�鸿�芥����宸茬�寮�彭�搴��ㄥ�ㄥ��琛���涓�锛��ㄧ�缁���疏浚��ㄩ�������绌跺��搴��ㄤ�寰��颁���绉������哥����瑙�锛��跺��ㄤ环�煎�彭�娴��般��

�抽《缃� 路� 17h��
涓�������河渠哄伐�鸿�界����涓��抽��姒�蹇靛��疏浚���AI椤圭����涓�涓�娉ㄦ��河渠�椤�

�ㄦ��璁稿凡缁���璇磋��哄�ㄥ��涔���河渠哄伐�鸿��(AI)��������杩�涓や锅����姒�蹇碉�宸茬�寮�璧蜂��ㄤ������虫敞�����ㄩ┚椹舵苯杞���河渠哄舰�哄�ㄤ男子��璁惧�棰�娴�缁存�も����杩�河渠�搴��ㄤ�浠�浠���河渠�娑�璐硅��棰���锛�宸ヤ���涔�寮�彭�����河渠���������杩�涓昏�宸ヤ��雾���╃��璇稿�澶存�℃�伴�诲氨�ラ��河渠���

�у�跺伐绋�涓���缃� 路� 18h��
����楂��版����河渠�锛�AI甯�浣�瑙f�圭�

杩��ワ�Facebook AI疏浚e�寤虹��河渠�绗�涓�涓�浣跨�ㄧ���锋�ㄧ��瑙e�抽��绾ф�板���圭�寮���AI绯荤�锛���纭���纰惧��Mathematica��Matla������楂��版����河渠�锛�

浣��� 路� 1澶╁��
�充�河渠哄伐�鸿�斤�2020骞村�������澶ц���

涓��ヤ�瑙�锛�2019宸插交搴�绂绘��浠�杩��队���椤捐��荤��涓�骞达�河渠哄伐�鸿�芥����������2019骞寸����榧��抽��璇���

璇昏���� 路� 1澶╁��
2020骞翠汉宸ユ�鸿�藉�浣���灞�锛�杩�6澶ц��夸�涓���涓���

2019骞存��河渠哄伐�鸿�芥�����藉�扮演����娆�涔�骞达��d�����2019骞寸��杩��队�2020骞磋�涓���广大����板�哄��河渠��拌��垮��锛�������广大�寤剁画��河渠��板��灞���锛���浠�涓�濡ㄤ�璧锋�ョ��涓�涓��э�

�板����浼�涓� 路� 1澶╁��
AI���插氨���辩�瑰��寮���椋�琛�疏浚�楠�锛�姊��崇�浼��版�ワ�������瑕��堕��

瑭瑰Ξ寮�路�圭撼(Jennifer Turner)��浠f�拌�炬�句�搴�璁╀男子����娆茬�★�濂圭��璁稿�海洋����介�句互淇���娓�����濡�浠�锛��版�������雾�起�����浣跨�ㄤ汉宸ユ�鸿�介┍�ㄧ��绋�搴��ヨ��╂��海洋�锛�海洋���浠�寮�彭���寰���寰�娲昏�璧锋�ワ�娉ㄦ����涔��村����涓�河渠���

������ 路� 1澶╁��
AI 涓���楂�澶т� �磋创杩���娲�

杩��ュ�� 2020 骞达�AI �ㄨ�涓�涓�����灞�宸茬�瓒��变���绾��������板��绐��寸�����达�����璧板��河渠у����河渠т�����锛�骞剁�辨�や��板�哄��涓����ヤ环�笺���辨�わ�AI ����涓����藉�起�瓒��ヨ���涓鸿 ��涓�疏浚剁���宸ㄥご�ㄦ�������ャ��河渠у��瑙�����������寤虹���归�㈢患��疏浚������抽��������

I/O 路� 1澶╁��
河渠哄伐�鸿�藉���╄��缃��瑰��姹芥补�跺��琛�涓�

姹芥补�跺��涓�缁�杩��扮演���板����潘�������浠ユ�����烘���ョ��姹芥补�跺��绔�(��娌圭��)����岛��扮演�����村ソ��疏浚㈡�蜂�楠���涓昏��ㄥ�ㄥ����绗����镐俊锛�瑕�杈惧�拌�涓�����广大卞�椤讳娇�ㄥ���村ソ�板�╃�ㄧ�╄��缃�(IOT)璁惧���浠峰�笺��

�抽《缃� 路� 1澶╁��
Copyright漏2005-2020 51CTO.COM �������� ��缁�璁稿�� 璇峰�胯浆杞�


    1. <hr id="95eb9b0a"></hr>