GPT (Generative Pre-trained Transformer) je umělá inteligence, konkrétně předtrénovaný neuronový model založený na transformer architektuře, který je schopen generovat lidským jazykem podobné texty na základě předchozího kontextu.
GPT funguje tak, že je trénován na velkém množství textových dat, jako jsou například články, knihy, novinky nebo internetové stránky. Během trénování modelu je využíváno tzv. bezkontextového a kontextového předtrénování.
Při bezkontextovém předtrénování se model učí identifikovat základní vlastnosti jazyka jako jsou slova, věty, syntax a gramatika, ale není přitom brán v úvahu žádný konkrétní kontext nebo význam. Při kontextovém předtrénování je modelu předáván určitý kontext a úkol, jako například dokončení věty nebo odpověď na otázku. Model se snaží najít nejpravděpodobnější odpověď na základě předchozího textu a kontextu.
Jakmile je model předtrénován, může být použit k různým úkolům, jako je například generování textu, překládání jazyků, klasifikace a rozpoznávání jazyka. Při generování textu se modelu předá určitý kontext a on vytváří odpovídající text, který odpovídá kontextu a má vysokou pravděpodobnost podobného jazyka jako vstupní text.
Celkově lze říci, že GPT funguje jako „předpovídání“ dalšího slova nebo věty na základě předchozího kontextu, což umožňuje generování přirozených textů, které jsou pro člověka snadno srozumitelné.