Gopher DeepMind: Ein natürliches Sprachmodell auf menschlichem Niveau
Was ist Gopher?
Gopher ist ein großes natürliches Sprachmodell, das von DeepMind entwickelt und am 8. Dezember 2021 veröffentlicht wurde. Während des Trainings verwendete Gopher 2.800 Milliarden Parameter und übertraf damit seinen Hauptkonkurrenten GPT-3 mit 1.750 Milliarden Parametern. DeepMind behauptet, dass Gopher bestehende große natürliche Sprachmodelle bei vielen Aufgaben übertrifft, insbesondere bei der Beantwortung von Fragen im Zusammenhang mit logischem Denken und geisteswissenschaftlichen Fächern, wobei die Antworten der Genauigkeit auf menschlichem Niveau nahe kommen.
Gopher wurde mit einer modifizierten Sprachmodellarchitektur namens Retrieval-Enhanced Transformer (RETRO) trainiert. RETRO verwendet einen Abrufmechanismus auf Internetebene für das Vortraining, der es ermöglicht, produzierten Text mit den Absätzen zu vergleichen, von denen RETRO für die Generierung abhängig ist. Diese Funktion ähnelt dem menschlichen Gedächtnis, was äußerst hilfreich ist, um zu verstehen, wie große Sprachmodelle nachgelagerte Schäden verursachen und wie man sie lösen kann.
Preis: Unbekannt
Tag: Modell
Teilen Sie Gopher Deepmind
Die Verwendung von Gophers
Gopher ist derzeit nicht für die öffentliche Nutzung verfügbar. Weitere Informationen finden Sie in der offiziellen Ankündigung
