ALBERT Pwmp hydrolig ABT1-55-4R02-Z11 ALBERT ABT1-25-1R{4}}B10E ABT1-55-2R02-Pwmp ceiliog pwmp servo hydrolig C1.

Mae cynyddu maint model wrth raghyfforddi cynrychioliadau iaith naturiol yn aml yn arwain at berfformiad gwell ar dasgau i lawr yr afon. Fodd bynnag, ar ryw adeg mae codiadau model pellach yn dod yn anoddach oherwydd cyfyngiadau cof GPU / TPU a

amseroedd hyfforddi hirach. Er mwyn mynd i'r afael â'r problemau hyn, rydym yn cyflwyno dwy dechneg lleihau paramedr i leihau'r defnydd o gof a chynyddu'r hyfforddiant

cyflymder BERT (Devlin et al., 2019). Dengys tystiolaeth empirig gynhwysfawr

bod ein dulliau arfaethedig yn arwain at fodelau sydd ar raddfa llawer gwell o gymharu â

y BERT gwreiddiol. Rydym hefyd yn defnyddio colled hunan-oruchwyliol sy'n canolbwyntio ar fodelu

cydlyniad rhwng brawddegau, a dangos ei fod yn gyson yn helpu tasgau i lawr yr afon gyda

mewnbynnau aml frawddeg. O ganlyniad, mae ein model gorau yn sefydlu newydd o'r radd flaenaf

canlyniadau ar y meincnodau GLUE, RACE, a SQuAD tra bod ganddynt lai o baramedrau o'i gymharu â BERT-mawr. Mae'r cod a'r modelau sydd wedi'u hyfforddi ymlaen llaw ar gael