2019骞�ML & NLP棰�������澶х��绌剁����

浣���锛� Sebastian Ruder 2020-01-13 12:00:06

2019 年ML & NLP领域十大研究热点

����潘����烽��缃�锛�濡���潘�潘借�疯�抽�烽��缃�疏浚�缃��宠�锋������

 NLP �ュ����涓� Sebastian Ruder ��骞村害�ュ��锛�

2019 骞磋��讳�锛�瀵逛� AI ����瑷�锛�杩��荤��涓�骞村��璋���“婵�娴���杩�”��涓�骞达�涓��归��锛��翠釜 AI ������绌舵��缁�楂�娑�锛��ㄥ�ㄤ� AI ������杩�����灞�锛���涓��归��锛�杩�����灞�������锛�������灞����т��ョ���告�撅���绌惰��浠���瀵硅�河渠�灞����т��ㄧН���㈢储锛�骞跺���捐韩���版���轰�涓�璁″�舵�扮演���版�规�����绌舵�瑰����

浣��戒�涓��遍����哄苟浜х��杈�澶у奖�������规�����绌舵�瑰��锛�������河渠�锛��煎��ㄦ���ヤ�骞翠腑缁х图娣卞�ユ�㈢储������澶�广大�锛�

NLP 棰����ュ����涓� Sebastian Ruder ��澹�广大卞�轰�浠�����绌跺伐浣��板��河渠�涓�浠姐��2019骞�ML & NLP 棰�����澶х��绌剁���无边�����荤��ラ����

��浠���浠���涔�璇达�

杩�绡���绔�姹��讳���璁や负 2019 骞村��ML �� NLP 棰����雾�扮演����涓�����濂�河渠哄����锋��褰卞��������绌舵�瑰������瀵规��涓����戊寅���浼��荤��ㄨ��讳�骞存����寰���涓昏�杩�灞�锛�绠�杩颁负浣���璁や负�堕��瑕�锛�骞跺�规���ュ��涓�涓�广大�广大���灞�����

浠ヤ���杩���涓���绌剁���戊寅�

  1. ���ㄦ�����i�璁�缁�
  2. “涓�濂�褰╃エ”海洋�缃�缁�
  3. 绁�缁�姝e����
  4. �����e�璇�瑷�海洋�涔�
  5. �拈�妫����哄���版����
  6. �ㄤ�绉�海洋���绌剁��ML��NLP
  7. 淇�澶�NLG涓���瑙g����璇�
  8. 澧�寮洪�璁�缁�妯″��
  9. 楂������跨���Transformer
  10. �村�����������规�

涓������ㄦ�����i�璁�缁� 

1������河渠�浠�涔�锛�

����BERT (Devlin绛�河渠�, 2019)���跺��浣�澶х����褰卞��锛�杩��讳�骞翠腑锛������i�璁�缁���NLP 棰���涓���涓�涓�娴�琛�����绌舵�瑰������绉� BERT ��浣��ㄥ�ㄤ�澶�妯℃������澧�涓�锛�涓昏��ㄦ����惧��锛�瑙�棰�浠ュ��������澧�锛�濡�涓��炬��绀猴���

2019 骞�ML & NLP棰�����澶х��绌剁����

VideoBERT锛�Sun绛�河渠猴�2019骞达�锛�涓�绉����扮演��BERT澶�妯℃����浣�锛��规�����戊寅�涓���锛�����瑙�棰�“浠ょ��”锛�骞舵�规��瑙�棰�浠ょ��锛�涓���锛�棰�娴�涓����堕�村昂搴������ヤ维护����

�����i�璁�缁�涔�寮�彭�“�ヤ镜”浠ュ���辩���f�规���涓诲�煎�颁���棰�����姣�濡�锛�

�ㄧ���╁��涓�锛�����绌惰���ㄨ���借川搴���涓�棰�璁�缁�Transformer璇�瑷�妯″��锛�Rives绛�河渠猴�2019锛�锛�

�ㄨ�$���鸿�瑙�涓�锛�涔�����绌惰���╃�ㄥ����CPC锛�Hénaff 绛�河渠猴�2019锛�锛�MoCo锛�He绛�河渠猴�2019锛���PIRL锛�Misra锛�van der Maaten锛�2019锛�浠ュ�� BigBiGAN ������锛� Donahue锛�Simonyan锛�2019锛��ㄥ���������f�规���楂� ImageNet 涓����锋���������瑰���惧������锛�

�ㄨ���虫�归��锛�浣跨�ㄥ�灞�CNN锛�Schneider绛�河渠猴�2019锛�������CPC锛�Kawakami绛�河渠猴�2019锛���海洋�寰���琛ㄧず锛��ㄦ�村�璁�缁��版��涓���琛ㄧ�颁�河渠�褰�����濂芥ā����

2��涓轰�涔���瑕�锛�

�����i�璁�缁���浠ュ�ㄥ甫���村���璁版�锋�����版��涓�璁�缁�妯″��锛�杩�涓轰互����娉�婊¤冻�版����姹���璁稿�涓���棰���涓���搴��ㄦ��岛�河渠��扮演�����芥�с��

3���ヤ��ユ��浠�涔�锛�

�����i�璁�缁�浠���寰�澶х��杩�姝ョ┖�达�广大界�¤�浠�涓烘�㈠���ㄥ��涓�棰����藉��寰�河渠�寰�澶ц�姝ワ����ュ����规�惧�ㄥ�浣��寸揣瀵��伴����澶�妯℃���版��锛�广大���涓�涓���瓒g����棰���

河渠���“涓�濂�褰╃エ”海洋�缃�缁�

1������河渠�浠�涔�锛�

Frankle �� Carbin ��2019 骞寸����绌朵腑���颁�“涓�濂�褰╃エ”�拌薄锛��充�涓����哄��彭�����瀵�����兄弟�缃�缁�涓���涓�河渠�海洋�缃�缁�杩���濂界����彭���锛�浠ヨ�充�����璁�缁�杩�河渠�海洋�缃�广大卞��杈惧�颁�璁�缁��翠釜缃�缁�绫讳技����纭���锛�濡�涓��炬��绀恒�� 

2019 骞�ML & NLP棰�����澶х��绌剁����

�ㄤ�����������涓�娴�璇�涓�濂�褰╃エ海洋�缃�缁�锛�疏浚�绾匡�涓����洪���山��缃�锛���绾匡�����纭��э�Frankle锛�Carbin锛�2019锛���

�界�舵����������绋�搴�浠����ㄤ�广大���瑙�瑙�浠诲�★�浣����ョ��宸ヤ�锛�Frankle绛�河渠猴�2019锛��ㄨ��缁����╂��������彭����跺��ㄤ慨��锛�杩�浣垮�����绋�搴���浠ユ�惧�版�存繁灞�妯″����广大���海洋�缃���Yu绛�河渠猴�锛�2019锛�涔���NLP��RL妯″��涓����颁�LSTM��Transformer��“涓�濂�褰╃エ”��彭�����

广大界��“涓�濂�褰╃エ”浠��跺��炬�撅�浣�濂芥�����杩�河渠�“涓�濂�褰╃エ”浼间��ㄤ����版������浼����ㄤ��村�锋����潘�绉绘�э�Morcos绛�河渠猴�2019锛���

2��涓轰�涔���瑕�锛�

�颁�绁�缁�缃�缁���寰�瓒��ヨ�澶э��ㄤ�璁�缁���棰�娴�������涔�瓒��ヨ�楂����ヨ�借�����哄�锋����姣��ц�界��广大���海洋�缃�锛�岛垮��浠ョ�ㄦ�村���璧�婧�杩�琛�璁�缁����ㄧ��锛�浠�����浠ュ��蹇�妯″����杩�浠i��搴�锛�骞朵负璁惧�涓�璁$����杈圭�璁$����岛��扮演��搴��ㄥ�烘����

3���ヤ��ユ��浠�涔�锛�

�����惧��“涓�濂�褰╃エ”��浠d环浠��跺お楂�锛���娉��ㄨ�$��璧�婧���涔���澧�涓���岛�疏浚�����濂藉���淇���杩�绋�涓�涓�������澹板奖��涓��拈�妫���涓�娆℃�т慨���规�����缂�瑙h�绉����点��

��绌朵娇“涓�濂�褰╃エ”�瑰��������锛���璁歌��藉府�╂��浠��村ソ�扮演��瑙g�缁�缃�缁�����彭���浠ュ���跺��涔��ㄥ��海洋��� 

涓���绁�缁�姝e����

1������河渠�浠�涔�锛�

杩�涓���绌舵�瑰�����芥���瑰���磋�锛��蜂��ヨ�村氨������疏浚界��绁�缁�缃�缁�姣�绐���绁�缁�缃�缁��村�规��浠���璁轰�杩�琛���绌躲��

��绌惰〃��锛��ㄦ����疏浚界�����仪式�锛�绁�缁�缃�缁���浠ヨ�浼间负甯���绁�缁�姝e���� (Neural Tangent Kernel 锛�NTK; Jacot绛�河渠�, 2018锛���绾挎�фā����涓��炬���惰��缁�杩�绋����ㄦ���剧ず��

�朵腑�ㄥ�惧��浠ユ�ョ������

�锋��涓��� α ��海洋��� NTK 绾挎�фā�����ㄦ��海洋�涔�杩�绋�锛� NTK ��瑙���涓烘き��褰�锛��ユ�锛�Rajat����疏浚�锛���

�惰���ㄥ��璺典腑锛�杩�河渠�妯″����琛ㄧ�颁�濡�����娣卞害妯″��锛�Novak绛�河渠猴�2019; Allen-Zhu绛�河渠猴�2019锛�Bietti锛�Mairal锛�2019锛�锛�杩����朵�广大��板���板��ㄤ������规���

浣���杩���宸ヤ�锛�Li 绛�河渠猴�2019锛�Arora 绛�河渠猴�2019锛�宸插ぇ澶х缉灏�河渠�涓������规����ц�藉樊璺�锛��蜂�璇峰����Chip Huyen��瀵瑰�朵��稿�崇��NeurIPS 2019璁烘����������锛�https://huyenchip.com/2019/12/18/key-trends-neurips-2019.html锛���

2��涓轰�涔���瑕�锛�

NTK涔�璁告����浠�����绁�缁�缃�缁���璁鸿�涓虹����寮哄ぇ��宸ュ�凤�广大界�″�����跺����э��冲������绁�缁�缃�缁�浠��舵�� NTK 瀵瑰����规���琛ㄧ�版�村ソ��

�界�跺�扮演����涓烘�㈣�ョ��绌舵�瑰����璁轰���瑙�瑙h�娌℃��潘���涓虹�楠�涓����惰�凤�浣�杩����芥���╀���浠���寮�娣卞害瀛�涔���榛��e����

3��涓�涓�姝ユ��浠�涔�锛�

涓������规���宸�璺�锛�浼间�涓昏��变�姝ょ把�规�������疏浚藉害��瀵艰�达�杩�河渠����戒��ㄥ��ョ��宸ヤ�涓�浣��板�烘�ャ��杩�杩�广大�����甯��╁�����疏浚藉害���朵���涓�河渠���璁轰���瑙�瑙h浆�㈠��寸����疏浚���璁剧疆��

��缁�锛�NTK ����涓烘��浠�����绁�缁�缃�缁���璁�缁��ㄥ��海洋���娉���琛�涓恒��

���������e�璇�瑷�海洋�涔�

1������河渠�浠�涔�锛�

澶�骞存�ワ�璺ㄨ��瑷�琛ㄧず涓昏���涓��ㄥ��璇�绾у��涓���琛ㄧず���ㄦ�����i�璁�缁����雾�涓�锛�杩��荤��涓�骞磋�璇�河渠�璇稿�澶�璇�瑷�BERT锛�XLM锛�Conneau锛�Lample锛�2019锛��� XLM-R锛�Conneau绛�河渠猴�2019锛�绛�璺ㄨ��瑷�妯″����娣卞�ュ��灞���

�界�惰�河渠�妯″��娌℃��浣跨�ㄤ换浣���纭���璺ㄨ��瑷�淇″�凤�浣�疏浚�浠��充究�ㄦ病魔���变韩璇�姹�������璁�缁����仪式�疏浚��扮演��璺ㄨ��瑷���娉�������锛�岛��т维护浜烘��璁讹�Artetxe 绛�河渠猴�2019; Karthikeyan绛�河渠猴�2019; Wu绛�河渠猴�2019 锛���

杩�河渠�娣卞害妯″��杩�甯��ヤ������� MT ���硅�锛�Song 绛�河渠猴�2019; Conneau锛�Lample锛�2019锛�锛��ㄥ��骞达�2018骞达���寰�河渠��胯冻��杩�姝ュ�雾�涓�锛��ㄥ�诲勾��浠�缁�璁″��绁�缁��规����村�����х���涓�锛��山�河渠��硅�锛� Artetxe 绛�河渠猴�2019锛���

��涓�涓�浠や男子��濂���杩�灞�����锛�浠��版����棰�璁�缁��辫��琛ㄧず涓�寮�浼稿�烘繁灞�澶�璇�瑷�妯″��锛�Artetxe绛�河渠猴�2019; Tran锛�2020锛�锛�濡�涓��炬��绀恒�� 

2019 骞�ML & NLP棰�����澶х��绌剁����

Artetxe绛�河渠猴�2019锛�����璇�绉�杩�绉绘�规�����姝ラ�ゃ��

2��涓轰�涔���瑕�锛�

�崇�ㄥ��璺ㄨ��瑷�琛ㄧず浣胯��缁�妯″�����������辫��璇�瑷��锋���村���姝ゅ�锛��ュ��浠ヤ娇�ㄨ�辫����璁扮���版��锛���杩�河渠��规���疏浚��板��涔���璐圭���舵�锋��潘�绉汇����缁�锛�杩�河渠��规���浠ュ府�╂��浠��村ソ�扮演��瑙d���璇�瑷�涔��寸���崇郴��

3��涓�涓�姝ユ��浠�涔�锛�

����广大�涓�娓�妤�涓轰�涔�杩�河渠��规��ㄦ病魔��浠讳�璺ㄨ��瑷����g�����仪式�濡�姝ゆ�������村ソ�颁�瑙h�河渠��规���宸ヤ��瑰�锛�广大�浣挎��浠��藉�璁捐�″�哄���芥�村己澶х���规�锛�杩������芥��绀哄�哄�充�涓���璇�瑷�缁�����涓�河渠�瑙�瑙c��

��澶�锛���浠�涓�浠�搴�璇ヤ�娉ㄤ��舵�锋��潘�绉伙�杩�搴�璇ュ�ㄧ����璇�瑷�涓�����广大��锋��海洋�涔���棰���

河渠����拈�妫����哄���版����

褰�涓�����灞�锛�疏浚���河渠�涔�涓���绯���河渠�����

—Nie et al. (2019) 锛�寮��� Shakespeare����彭��风�无边��锛�There is something rotten in the state of Denmak锛�涓归害�介��锛�疏浚���河渠�涔�涓���绯���河渠�锛�

1������河渠�浠�涔�锛�

 ��瀵规��杩��板����烘�ョ�� NLP �版����濡� HellaSWAG (Zellers et al., 2019) 锛�褰�������杩���妯″��涔��句互搴�瀵广��

��绌惰����瑕�河渠哄伐杩�婊ゆ�锋��锛�浠���河渠��颁����d�褰�������杩�妯″��澶���澶辫触���锋��锛�璇峰����涓��㈢��绀轰�锛�����浠ラ��澶�澶�娆�“河渠哄�ㄥ����”��瀵规��绠$��杩�绋�锛��ュ��寤哄�瑰����规��村�锋�����х���版����锛�岛�濡��ㄦ��杩����雾���� Adversarial NLI锛�Nie绛�河渠猴�2019锛��哄��娴�璇�涓�锛�广大卞��浠ュ���拌�涓��无边��

2019 骞�ML & NLP棰�����澶х��绌剁����

�ヨ��HellaSWAG�版������澶�椤归���╁�ヨˉ�ㄧず岛��充娇瀵逛����扮演��妯″��涔�寰��惧��绛���澶у��板�伴�剧��岛�海洋��戒�河渠�涓�涓�澶�����“��广大�寰锋�����”锛�澶ц�寸�变�涓�涓�涓����ュ����涓や锅�������ュ��缁���锛�Zellers绛�河渠猴�2019锛���

2��涓轰�涔���瑕�锛�

璁稿���绌朵汉��宸茬�瑙�瀵��起�褰�����NLP妯″��骞舵病��海洋��伴���海洋��扮演����疏浚癸��������ㄦ�灞�����骞剁����版��涓���琛ㄥ�绾跨储���规�锛���绉颁负“����姹����跺��”锛��������版������寰��村��椴�妫��惧��锛���浠�甯���锛��借揩浣匡�妯″����缁��诲��涔��版��涓���姝g��娼��ㄥ�崇郴��

3��涓�涓�姝ユ��浠�涔�锛�

����妯″����寰��村ソ锛�澶у��版�版����广大���瑕�涓����硅�锛�����广大变�寰�蹇�杩��躲��涓��ㄧ���雾�璁炬�藉��宸ュ�山�逛�淇�杩�姝よ�绋�寰���蹇�瑕���

姝ゅ�锛�搴��ㄦ�版����涓���杩�琛��������哄���规�锛�岛�濡�锛�����浣跨�ㄤ����版����浣�锛�岛�濡�杈��ヤ�疏浚��达���绠����规���妯″��锛�浠ヤ娇�版��������彭�����广大藉���介�妫���

�����ㄤ�绉�海洋���绌剁�� ML �� NLP

1������河渠�浠�涔�锛�

�哄�ㄥ��涔�宸插�ㄥ�雾�绉�海洋���棰�涓���寰�河渠�涓�河渠���澶ц�灞���岛�濡�锛�����绌讹�Pfau绛�河渠猴�2019锛�广大�娣卞�绁�缁�缃�缁�搴��ㄤ����借川������澶��靛��Schrödinger�圭���

�ㄨ���惰��瑷�澶����归��锛��充究��涓�河渠������规�锛��ㄧ���棰���涓�涓��ヨ������河渠х����褰卞��涔��戒护浜哄�村����朵腑��涓�椤圭��绌朵娇�ㄨ��稳定��ユ�����ュ��������绉�海洋�����涓���娼��ㄧ�ヨ��锛�Tshitoyan绛�河渠猴�2019锛�锛�浠ュ��剁�ㄤ�棰�娴����������锋����河渠��规�э�璇峰��瑙�涓��撅���

2019 骞�ML & NLP棰�����澶х��绌剁����

浣跨�ㄥ�ㄤ����堕�存�电����瑕�涓�璁�缁�寰��扮演��璇�稳定��ラ�娴�广大��ㄦ���ョ����瑕�涓���绌跺��河渠�����浣�涓洪���垫����锛�a锛�锛���浼�����锛�b锛�������缁�缂�浣�锛�c 锛�锛�涓��������������告��锛��存�����藉�瑰��50涓�棰�娴�����杩�琛���绌讹�Tshitoyan绛�河渠猴�2019锛���

�ㄧ���╁��涓�锛�璁稿��版��锛�岛�濡��哄�������借川锛���璐ㄤ���搴����版������姝わ����跺��广大�LSTM��Transformers绛�NLP�规��ㄤ����借川��绫伙�Strodthoff绛�河渠猴�2019; Rives绛�河渠猴�2019锛���

2��涓轰�涔���瑕�锛�

绉�海洋���浠ヨ�存��ML����褰卞������搴��ㄩ���涔�涓���瑙e�虫�规���瀵硅�稿��朵�棰���河渠х����澶у奖��锛�骞朵����╀�瑙e�冲������棰���

3��涓�涓�姝ユ��浠�涔�锛�

浠�瀵圭�╃����棰�涓����介��寤烘ā锛�Greydanus绛�河渠猴�2019锛��版�瑙e井���圭�锛�Lample锛�Charton锛�2020锛�锛�ML�规�涓��村�ㄧ�海洋����板��ㄤ腑涓����╁ぇ������2020骞村�ㄥ��绉���棰�涓���搴��ㄥ�浼�河渠х����澶х��褰卞��涔����烘��瓒g����

涓���淇�澶� NLG 涓���瑙g����璇�

1������河渠�浠�涔�锛�

广大界�″���借��ヨ�寮哄ぇ锛�浣����惰��瑷�����锛�NLG锛�妯″��浠��剁�甯镐骇����澶����¤�涔辫��锛�濡�涓��炬��绀恒��

2019 骞�ML & NLP棰�����澶х��绌剁����

GPT-2浣跨�ㄥ������绱㈠��绾�锛�璐�濠�锛����蜂骇������澶�锛����诧����¤�涔辫��锛�绾㈣�诧�锛�Holtzman绛�河渠猴�2019锛���

河渠�疏浚�琛ㄦ��锛�杩�涓昏�����澶т技�惰��缁���缁�������寰�楂��寸���板凡缁���涓�河渠��ㄥ�ㄦ�瑰��杩�涓��圭����绌跺伐浣�锛�涓�姝ゅ���讹��ㄥ缓妯℃�归��涔���寰�河渠�涓�河渠�杩�灞���杩�绉��硅�������杩����ㄦ�伴���风���规��山�锛�岛�濡��搁���凤�Holtzman绛�河渠猴�2019锛�锛�������杩�浣跨�ㄦ�扮演����澶卞�芥�拌�山�锛�Welleck绛�河渠猴�2019锛���

��涓�涓�浠や男子��璁剁�����版��锛��村ソ����绱�涓�浼�甯��ユ�村ソ������锛�褰���妯″���ㄦ��绉�绋�搴�涓�岛�璧�河渠�涓�疏浚�����绱㈠��娉㈡����绱㈤��璇����ㄦ�哄�ㄧ炕璇������仪式�锛�绮剧‘��绱㈤��甯镐�杩���绌虹炕璇�锛�Stahlberg锛�Byrne锛�2019锛���杩�琛ㄦ����绱㈠��寤烘ā�归�㈢��杩�姝ュ�椤婚�澶村苟杩���

2��涓轰�涔���瑕�锛�

���惰��瑷�������NLP涓���������浠诲�′�涓����� NLP �� ML ��绌朵腑锛�澶у��拌�烘���介��涓��ㄦ�硅�妯″��涓�锛���娴�绋�涓����朵��ㄥ����甯歌�蹇界�ャ��

瀵逛�NLG锛���瑕�娉ㄦ������锛���浠���妯″��浠��跺���ㄧ己�凤�骞朵���浠ラ��杩�淇�澶���绱㈡��璁�缁�杩�绋��ユ�瑰��杈��恒��

3��涓�涓�姝ユ��浠�涔�锛�

广大界�℃���村己澶х��妯″��浠ュ��杩�绉诲��涔���NLG������搴���锛�Song绛�河渠猴�2019; Wolf绛�河渠猴�2019锛�锛�妯″��棰�娴�浠��跺���ㄨ�稿����碉�璇�������瑙f�ょ把���电������锛�广大������ラ��瑕�����绌舵�瑰����

����澧�寮洪�璁�缁�妯″��

1������河渠�浠�涔�锛�

�ㄨ��讳�骞达���寰�楂��寸���扮演��绌惰��涓洪�璁�缁�妯″�����轰�澧����板���界���规���涓�河渠��规��ㄧ�ヨ��搴�澧�寮轰�棰�璁�缁�妯″��锛�浠ユ�瑰��疏浚�浣���绉板缓妯★�Liu绛�河渠猴�2019锛���河渠�疏浚���蹇�锛�Logan 绛�河渠猴�2019锛����跺����绌跺��浣块�璁�缁�妯″���藉���杩�璁块��璁稿�棰�疏浚�涔������ц���绋�搴�锛��ユ�ц�绠�����绠����ㄧ��锛�Andor 绛�河渠猴�2019锛���

�变�澶у��版ā���锋��杈�寮辩��褰�绾冲��宸�骞跺��浠ヤ��版��涓�海洋�涔�澶у��扮演�ヨ��锛���姝ゅ�寮洪�璁�缁�妯″������涓�绉��规���澧�寮鸿��缁��版����韬�锛�岛�濡�����甯歌��锛�Bosselut绛�河渠猴�2019锛�锛�濡�涓��炬��绀恒��

2019 骞�ML & NLP棰�����澶х��绌剁����

�锋��澶�澶存敞��������Transformer��缁�杩�璁�缁���妯″����浠ユ�规��缁�疏浚���涓婚����崇郴�ラ�娴��ヨ��搴�涓���缁���瀵硅薄锛�Bosselut绛�河渠猴�2019锛���

2��涓轰�涔���瑕�锛�

妯″��姝e��寰�瓒��ヨ�寮哄ぇ锛�浣���妯″����娉�浠�����涓�海洋��板�澶�涓�瑗裤���瑰�����ㄥ����村�����浠诲�℃�讹����ㄦ�版�����藉��������锛�浠ヨ�充���娉�浣跨�ㄤ�疏浚���甯歌���ュ��寰��惧����ㄧ��锛�骞朵����界�甯搁��瑕��村己��褰�绾冲��宸���

3��涓�涓�姝ユ��浠�涔�锛�

����广大�妯″��搴��ㄤ��村�锋�����х����棰�锛�瀵圭���杩�琛�淇��瑰���寰�瓒��ヨ���蹇�瑕���广大��ワ���浠����戒�缁������藉己澶х��棰�璁�缁�妯″������海洋�涔���缁���绋�搴�锛�Pierrot绛�河渠猴�2019锛���

涔���楂����跨��� Transformer

1������河渠�浠�涔�锛�

杩��讳�骞翠腑锛�Transformer �舵��疏浚��颁�涓�河渠��硅�锛�Vaswani绛�河渠猴�2017锛���岛�濡�Transformer-XL锛�Dai绛�河渠猴�2019锛���Compressive Transformer锛�Rae绛�河渠猴�2020锛�浣胯�ユ�舵���藉��村ソ�版���烽�跨�岛�璧��崇郴��

2019 骞�ML & NLP棰�����澶х��绌剁����

��缂╃��Transformer广大�锛�缁�绮�搴���海洋���锛�杩��荤��婵�娲诲��缂╀负涓�涓��寸�绯�����缂╁��海洋�锛�Rae绛�河渠猴�2020锛���

涓�姝ゅ���讹�璁稿��规�璇��鹃��杩�浣跨�ㄤ�����锛���甯告��绋�����锛�娉ㄦ�����哄�舵�ユ��楂� Transformer ������锛�岛�濡��╃�ㄨ����搴�绋���娉ㄦ����锛�Correia绛�河渠猴�2019锛�锛�����搴�娉ㄦ����璺ㄥ害锛�Sukhbaatar绛�河渠猴�2019锛�锛�涔�绉���娉ㄦ����锛� Lample绛�河渠猴�2019锛�锛�浠ュ��灞��ㄦ������甯�锛�Kitaev绛�河渠猴�2020锛�绛��规�锛��ユ��楂� Transformer ������

�ㄥ�轰�Transformer ��棰�璁�缁��归��锛��雾�颁��存��������浣�锛�岛�濡�浣跨�ㄥ���板�变韩��ALBERT锛�Lan绛�河渠猴�2020锛���浣跨�ㄤ��存������棰�璁�缁�浠诲�$��ELECTRA锛�Clark绛�河渠猴�2020锛���涓�杩�锛�涔���涓�河渠�棰�璁�缁�妯″���界�朵�浣跨��Transformer锛�浣����村������锛�岛�濡�涓�����浠舵ā�� VAMPIRE锛�Gururangan绛�河渠猴�2019锛����轰�QRNN��MultiFiT锛�Eisenschlos绛�河渠猴�2019锛���

璇ラ�������涓�涓�瓒��挎��锛�广大�澶у�� BERT 妯″�����兼��杈�广大���妯″��锛�Tang绛�河渠猴�2019; Tsai绛�河渠猴�2019; Sanh绛�河渠猴�2019锛���

2��涓轰�涔���瑕�锛�

Transformer �舵�������轰互�ワ�涓��存���山奖������疏浚���NLP涓�澶у��版���版ā����缁����ㄥ��锛�骞朵�宸叉����搴��ㄤ�璁稿��朵�棰���锛�璇峰��瑙�绗�1��绗�6��锛�����姝わ�瀵� Transformer 浣�绯荤�����浠讳��硅��芥�����戒骇��寮虹����“娉㈢汗��搴�”��

3��涓�涓�姝ユ��浠�涔�锛�

浠�涓���浠� Transformer ��寰���浠ヤ��硅�涓��风�����借���瑕�涓�娈垫�堕�达�浣����翠�棰�璁�缁�妯″���������у�����ㄦ�э�杩�娈垫�堕�翠�涓�浼�澶��裤��

�讳���瑷�锛�寮鸿�������妯″���舵����甯���缁х图��涓哄�虫敞�����戊寅�绋����у�����抽��瓒��夸�涓���

�����村�����������规�

1������河渠�浠�涔�锛�

杩��荤��涓�骞翠腑锛�ML �� NLP ��绌剁��涓昏�瓒��夸�涓���锛�����妯″����璁烘���伴���ㄥ�����

疏浚���涓�锛�杩�����涓�骞翠腑������娆㈢����绡�璁烘��锛�广大辨��杩�绫诲����妯″����璁烘����2019 骞存�╀��跺��锛�Belinkov �� Glass �鹃��瀵瑰�����规���河渠�涓�浠介��甯稿�鸿�茬��璋��ユ�ュ����

�ㄦ�����拌薄涓�锛�杩��讳�骞撮�娆″�雾�板�澶��村��河渠�������涓�妯″�� BERT ��璁烘�����拌薄锛�姝ょ把璁烘��琚�绉颁负 BERTology锛����ㄨ�绉����仪式�锛��ㄥ�ㄤ�瑙fā��������杩�棰�娴���河渠�灞��ф�ユ���山舰����璇�娉�绛����㈤��锛�宸叉��涓轰�绉�甯哥�ㄥ伐�凤���瑙�涓��撅���

2019 骞�ML & NLP棰�����澶х��绌剁����

�ㄤ���绌惰〃绀轰腑璇�瑷��ヨ�����㈤����璁剧疆锛�Liu绛�河渠猴�2019锛���

���瑰��璧�璧�浣挎�㈤���村������璁烘��锛�Liu 绛�河渠猴�2019 ; Hewitt锛�Liang锛�2019锛����������т�姝f��瀵硅��棰�����灞���璺�涓��充�娉ㄦ���������芥��岛�����涔�瑙i������绌朵富棰�锛�Jain锛�Wallace锛�2019; Wiegreffe锛�Pinter锛�2019; Wallace锛�2019锛���

��杩�ACL 2020 涓��充� NLP 妯″������瑙i���у��妯″��������Track 璁烘��锛�广大辨��河渠轰滑瀵瑰�����规�����缁��磋叮����濂戒�璇���

2��涓轰�涔���瑕�锛�

疏浚���涓�锛�褰�������杩��������规�浣跨�ㄨ捣�ュ�寰���涓�涓�榛��e����涓轰�寮����村ソ��妯″��骞跺�ㄧ�板��涓���涓�搴��ㄥ��浠�锛���浠���瑕�河渠�瑙d负浠�涔�妯″��浼����烘��河渠��冲�����惰��锛���浠������ㄤ�瑙i��妯″��棰�娴����规�浠��跺����������

3��涓�涓�姝ユ��浠�涔�锛�

��浠���瑕����烘�村���宸ヤ��ヨВ����瑙������翠�澶���棰�娴�锛���涓鸿�河渠�棰�娴���甯告��涓���������杩�涓��瑰��涓���涓�涓���瑕�瓒��挎��锛��村��版����姝e�ㄦ��岛�河渠轰负瑙i��锛�Camburu绛�河渠猴�2018; Rajani绛�河渠猴�2019; Nie绛�河渠猴�2019锛���   

������涓����扮演���稿�宠�烘����宸ヤ�锛���浠ュ��寰������板�� https://ruder.io/research-highlights-2019/ �山����

AI �版�� 河渠哄伐�鸿��
涓�涓�绡�锛��充�2020骞翠汉宸ユ�鸿�借�涓���涓���棰�瑷� 涓�涓�绡�锛�河渠鸿�歌��������锛�������涓�������
璇�璁�
��娑�
����璇�璁猴�蹇��绘��涓虹��涓�涓�璇�璁虹��河渠哄��

�村�璧�璁��ㄨ��

��绉�浣跨�ㄧ�╄��缃���河渠哄伐�鸿�藉�����山��浠峰�肩�������规�

��杩�锛�璇�棰�潘���浼�涓�濡�浣����芥�村揩锛��存�����拌�山�����╃�ㄧ�╄��缃�璁″����瑙�瑙c���╄��缃���河渠哄伐�鸿�界��缁���涓轰�涓�疏浚��拌�涓�棰���������岛�河渠���寰���疏浚���涓�锛�杩�涓ょ��������歌��告����锛�搴�璇ョ揣瀵��歌���

浣��� 路� 1澶╁��
AIoT锛�郭�璋�

浠�涔���AIoT锛�疏浚��藉��浠�涔�锛�杩�河渠�广大辨����浠�浠�澶╄�绡���绔�瑕�瑙e�崇����棰���

iothome 路� 1澶╁��
骞茶揣锛�浠�0��1��浣�����涓�涓�浠や汉涓��剧����澶╂�哄�ㄤ男子锛�

����骞存�ワ���浠�涓��拈�芥���存�ラ��杩�瀵硅���ヨВ�抽��棰�������澶╂�哄�ㄤ男子锛�Chatbots锛����雾�板����涓�����褰��颁���绠�����宀�����

������ 路� 1澶╁��
娌绘��澶ц��锛�河渠烘�哄�辩��锛�椹�����涓衡�����烘�ュ�b��杈╂��

����浠�骞村勾���规����涓��藉伐��姝e�寮�彭�河渠や��规���� model3 ���风�靛�ㄦ苯杞�锛��规�������″�间���椋���锛�涓�姝ゅ���剁�规������椹�����涔��ㄦ�伴�诲��浣�涓�璧�瓒充��肩����

海洋����� 路� 1澶╁��
�变�杈惧�灞�绀�6娆炬�哄�ㄤ男子锛���河渠哄ぇ广大�锛���涓惧���も����

�や��惧�′�澶�锛���榛�杩���骞翠�瓒��ヨ��虫敞AI涓��哄�ㄤ男子锛��ㄤ���涓捐���GTC 2020涓�锛��变�杈惧�e�广大��冲�灞�绀�6娆炬�哄�ㄤ男子锛�疏浚�浠�楂���������涓���锛��山�涓��������姐��

浣��� 路� 1澶╁��
�村�g僵�句互�疯�告��浠� �锋��琛�涓�琛�锛�

河渠哄伐�鸿�芥�����ョ��娣卞�ョ��娲荤�����讹���浼�����绉���蹇т�瓒��ヨ�����河渠鸿�镐�涓虹���╄�����瑰��版����涓�绉�锛�涓��朵�璇����瑰��告���锋���村�规���拈�层���句互�存�圭���规�э���浼�瀵圭�稿�崇���堕��浣跨�ㄦ大人�ㄥ氨�翠负�������d�锛���娌℃���朵���浠��瑰�?

浣��� 路� 1澶╁��
浠�TensorFlow��Theano锛�妯���瀵规��涓�澶ф繁搴�海洋�涔�妗���

��杩�锛��ヨ���版��绉�海洋����� Silicon Valley Data Science ���版��宸ョ�甯� Matt Rubashkin锛�UC Berkeley ��澹�锛�涓烘��浠�甯��ヤ�娣卞害瀛�涔� 7 绉�娴�琛�妗��剁��娣卞害妯���瀵规��锛�甯��������藉�逛�甯��ュ府�┿��

AI广大�甯�寮� 路� 1澶╁��
AI椹卞�ㄧ��缃�缁�疏浚��ㄥ�㈤���村��河渠�河渠虹被寮哄��

�ㄥ�澶��朵�琛�涓�锛�娴�绋����ㄥ����AI棰�绀虹��宸ヤ��轰�����广大�锛�浣�涓�涔�涓�������锛�濞������ョ�����ユ��寮哄��河渠虹被锛���涓�����浠d男子绫汇���ㄨ��归��锛���浠�����绌跺���颁互涓�涓�涓�涓昏�������

�归�� 路� 1澶╁��
Copyright漏2005-2020 51CTO.COM �������� ��缁�璁稿�� 璇峰�胯浆杞�


<sub id="012e8eee"></sub>
  •