Transformer деген не? Transformer модельдері қалай жұмыс істейді

Transformer — деректердің бөліктері, әсіресе мәтін сияқты тізбектер арасындағы байланыстарды түсінуге арналған нейрондық желі архитектурасы.

Transformer қазіргі үлкен тілдік модельдердің көбінің негізінде жатыр. Ол сондай-ақ сөйлеуді өңдеуде, компьютерлік көруде, аудармада, код генерациялауда және басқа да көптеген AI жүйелерінде қолданылады.

Негізгі идея — attention, яғни назар аудару механизмі. Transformer сөйлемді тек сөзбе-сөз, бірінен кейін бірін оқып шықпайды: ол көптеген токен арасындағы байланысты бір мезетте көріп, контексттің қай бөліктері маңыздырақ екенін анықтай алады.

Жеңілдетіп айтқанда, деректер Transformer ішінде былай жүреді:

1. Мәтін токендерге бөлінеді.
2. Әр токен вектор — embedding-ке айналады, оған орын туралы ақпарат қосылады.
3. Transformer қабаттары екі қадамды қайталайды: алдымен attention, содан кейін feed-forward өңдеу.
4. Нәтижесінде әр токен контексті ескеретін көрініске ие болады.
5. Модель осы көріністі пайдаланып болжам жасайды немесе нәтиже шығарады.

Дәл осы дизайн қазіргі AI-дің бейнесін өзгертті.

Transformer қайдан пайда болды?

Transformer архитектурасы 2017 жылы «Attention Is All You Need» зерттеу мақаласында ұсынылды.

Ол кезде көптеген тілдік жүйелер рекурренттік нейрондық желілерге — RNN-дерге сүйенетін. RNN тізбекті қадам-қадаммен өңдейді: алдымен бірінші токенді, кейін екіншісін, одан кейін үшіншісін және т.с.с.

Бұл тәсіл жақсы жұмыс істеуі мүмкін, бірақ бірізді есептеу көптеген позицияны қатар өңдеуді қиындатады және бір-бірінен алыс бөліктер арасындағы байланысты үйренуді күрделендіруі мүмкін.

Transformer басқа жолмен жүрді. Рекуренттіліктің орнына ол тізбек ішіндегі байланыстарды модельдеу үшін негізінен attention механизмдеріне сүйенді.

Бұл training-ті әлдеқайда параллель орындауға мүмкіндік берді және модельге мәтіннің бір-бірінен алыс бөліктеріндегі ақпаратты байланыстырудың күшті жолын ұсынды.

Attention деген не?

Attention — модельге кірістің қай бөліктері бір-бірі үшін ең маңызды екенін анықтауға көмектесетін механизм.

Мына сөйлемді қарастырайық:

«Жануар көшеден өтпеді, себебі ол шаршаған еді.»

Мұндағы «ол» кімге қатысты екенін түсіну үшін модельге сөйлемнің алдыңғы бөлігіндегі контекст керек. Жақсы модель «ол» мен «жануар» арасындағы байланысқа қатысы жоқ сөздерге қарағанда көбірек маңыз беруі тиіс.

Attention осы байланыстарды есептеуге мүмкіндік береді. Жеңілдетіп айтқанда, ол төрт қадаммен жұмыс істейді:

1. Ағымдағы токенді алу.
2. Оны басқа токендермен салыстыру.
3. Әрқайсысына маңыздылық бағасын беру.
4. Ең пайдалы контексті біріктіру.

Нәтижесінде әр токеннің көрінісі басқа қатысты токендерден алынған ақпаратты да қамтиды.

Self-attention деген не?

Attention сол бір тізбектің ішіндегі элементтерді өзара салыстырса, ол self-attention деп аталады.

Мысалы, кіріс мынадай болсын (ағылшынша “bank” сөзі банкті де, өзен жағасын да білдіреді):

“The bank raised interest rates.” (Банк пайыздық мөлшерлемені көтерді.)

Осы сөйлемдегі “bank” сөзін өңдегенде модель басқа токендерге қарап, қаржы ұйымы туралы айтылып тұрғанын түсіне алады. Енді салыстырыңыз:

“The boat reached the river bank.” (Қайық өзен жағасына жетті.)

Мұнда айналасындағы токендер басқа мағынаға — өзен жағасына меңзейді.

Self-attention токен көрінісінің тізбектің қалған бөлігіне қарай өзгеруіне мүмкіндік береді. Transformer модельдердің тілмен жақсы жұмыс істейтін себептерінің бірі осы: сөздер жеке емес, контекст ішінде түсіндіріледі.

Query, key және value деген не?

Transformer-дегі attention көбіне үш ұғым арқылы түсіндіріледі. Математикасы күрделі болуы мүмкін, бірақ негізгі мағынасын түсіну қиын емес:

• Query (Q): мен қандай ақпарат іздеп тұрмын?
• Key (K): бұл токен қандай ақпарат ұсынады?
• Value (V): қандай ақпарат әрі қарай берілуі керек?

Әр токен үшін модель query, key және value көріністерін жасайды.

Query key-лермен салыстырылып, бір токен екіншісіне қанша attention бөлуі керектігі бағаланады. Кейін осы бағалар арқылы value-лар біріктіріледі.

Модель пайдалы Q, K және V көріністерін қалай жасау керектігін training кезінде үйренеді.

Неліктен бірнеше attention head қолданылады?

Transformer attention-ды әдетте бір рет қана орындамайды. Ол multi-head attention қолданады: бірнеше attention есебі қатар орындалады, әрқайсысының өз үйренілетін параметрлері бар.

Әртүрлі head-тер әртүрлі байланыстарды ұстауды үйренуі мүмкін. Мысалы, бір head жақын грамматикалық байланыстарға пайдалы болса, екіншісі алыстағы тәуелділіктерге, есімдер мен оларға сілтемелерге, сөйлем құрылымына немесе мағыналық қатынастарға көмектесуі мүмкін.

Әр head міндетті түрде адамға түсінікті бір ғана анық рөл атқарады деп кепілдік беруге болмайды. Бірақ бірнеше head модельге бір тізбекті бірнеше тәсілмен талдау мүмкіндігін береді.

Transformer сөздердің ретін қалай біледі?

Self-attention өздігінен қай токен бұрын, қайсысы кейін келгенін білмейді. Бірдей токендер басқа ретпен берілсе, модель айырмашылықты ажырата алуы керек.

Сондықтан әр токеннің мағынасына позициялық ақпарат қосылады, содан кейін ғана оны Transformer қабаттары өңдейді.

Түпнұсқа Transformer positional encoding қолданған. Қазіргі модельдерде бірнеше тәсіл бар. Ең жиі кездесетіндерінің бірі — RoPE (rotary positional embeddings); ол attention-ға токендердің бір-біріне қатысты орнын ескеруге көмектеседі.

Позициялық ақпараттың арқасында Transformer “Dog bites man” (ит адамды тістейді) және “Man bites dog” (адам итті тістейді) сөйлемдерін, екеуінде де бірдей үш сөз болса да, ажырата алады. Ағылшын тілінде бұл айырманы дәл сөздер реті белгілейді.

Transformer қабатының ішінде не бар?

Transformer қайталанатын блоктардан тұрады. Жеңілдетілген блок екі негізгі бөліктен тұрады: attention қадамы және одан кейінгі feed-forward желі.

Нақты Transformer блоктарында normalization және residual connection-дер де бар: олар терең желіде ақпарат пен градиенттің тұрақты өтуіне көмектеседі.

Attention бөлігі токендер арасындағы ақпаратты араластырады. Feed-forward бөлігі әр позицияда қосымша үйренілген түрлендірулерді орындайды.

Көп Transformer блогын бірінің үстіне бірін қою модельге кіріс деректің барған сайын пайдалырақ көріністерін құруға мүмкіндік береді.

Encoder, decoder және decoder-only Transformer

Түпнұсқа Transformer машиналық аударма үшін жасалған және екі негізгі бөліктен тұрған. Encoder кіріс сөйлемді оқып, оның контекстік көрінісін құрды. Decoder осы көрініс негізінде аударылған сөйлемді жасады.

Encoder

Encoder кіріс тізбегін оқып, контекстке бай көріністер құрады.

Encoder-ге негізделген модельдер негізінен кірісті түсіну немесе жіктеу қажет болғанда пайдалы.

Decoder

Decoder шығыс тізбегін жасайды.

Мәтін генерациялағанда ол әдетте causal mask қолданады: ол модельге әлі генерацияланбаған келесі токендерге қарауға жол бермейді.

Decoder-only

Көптеген қазіргі LLM-дер decoder-only Transformer қолданады. Бөлек encoder мен decoder орнына олар causal Transformer блоктарының тізбегін пайдаланып, келесі токенді қайта-қайта болжайды.

Жеңілдетілген LLM процесі мынадай:

1. Prompt токендерге бөлінеді.
2. Токендер Transformer блоктарынан өтеді.
3. Модель келесі токеннің ықтималдықтарын шығарады.
4. Бір токен таңдалады.
5. Таңдалған токен мәтінге қосылады да, процесс 2-қадамнан қайта басталады.

Осылайша Transformer архитектурасы біздің бұрынғы LLM және токенизация туралы мақалаларымызда түсіндірілген келесі токенді болжау процесімен тікелей байланысады.

Неліктен Transformer модельдері соншалықты маңызды болды?

Transformer модельдерін әсіресе пайдалы еткен бірнеше қасиет бар.

1. Олар алыс байланыстарды модельдей алады

Attention тізбектің бір-бірінен алыс бөліктеріндегі ақпараттың өзара тікелей әсер етуіне мүмкіндік береді. Абзацтың соңындағы токен қажет болса, әлдеқайда ертерек келген ақпаратқа attention бөле алады.

2. Training-ті жоғары деңгейде параллельдеуге болады

Дәстүрлі рекурренттік өңдеуден айырмашылығы, Transformer training-і кезінде көптеген токен позициясын бірге өңдеуге болады. Бұл қазіргі GPU мен AI үдеткіштеріне жақсы сәйкес келеді.

Мәтін генерациялау басқаша: decoder-only модель жоғарыдағы процестегідей, бәрібір бір уақытта бір ғана токен жасайды.

3. Олар жақсы масштабталады

Зерттеушілер Transformer модельдерінің көбірек дерек, параметр және есептеу қуатынан айтарлықтай пайда көре алатынын анықтады. Бұл архитектураны үлкен тілдік модельдердің жылдам өсуіне қолайлы етті.

4. Архитектура икемді

Transformer енді аудармамен немесе тіпті тек мәтінмен шектелмейді. Attention-ның бір ғана негізгі идеясын әртүрлі деректерге бейімдеуге болады.

Барлық Transformer модельдері LLM ме?

Жоқ. LLM — Transformer технологиясының қолданылу бағыттарының бірі ғана.

Transformer мына салаларда да қолданылады:

• computer vision: суретті жіктеу және Vision Transformer;
• сөйлеу: сөйлеуді тану және аудионы модельдеу;
• аударма: мәтінді бір тілден екінші тілге түрлендіру;
• код: кодты толықтыру және генерациялау;
• multimodal AI: мәтінді, суретті, аудионы немесе видеоны біріктіру;
• уақыттық қатарларды талдау: реттелген өлшемдер арасындағы байланысты модельдеу.

Сондықтан бұл екі терминді синоним деп қарауға болмайды:

• Transformer — архитектура.
• LLM — осы архитектураны жиі қолданатын тілдік модель түрі.

Бұл нақты NeuronAI моделінде қалай көрінеді?

Transformer идеялары NeuronAI-дың өз LLM жұмыстарына да тікелей қатысты.

MustaqiLLM — 36 блоктан тұратын decoder-only Transformer. Оның Hugging Face бетіндегі модель карточкасында Grouped-Query Attention (GQA) көрсетілген: 28 query head 4 ортақ key/value head-ті пайдаланады, ал позициялық ақпарат үшін RoPE қолданылады.

GQA — attention-ның заманауи нұсқасы. Стандартты multi-head attention-мен салыстырғанда key/value head саны аз болғандықтан, ол модель мәтін генерациялағанда қолданатын жад көлемін азайтады.

Бұлар Transformer-ге балама емес, Transformer үлгісіндегі тілдік модельдердің ішінде тиімділікті арттыру және токендер реті туралы ақпаратты өңдеу үшін қолданылатын заманауи дизайн шешімдері. Олар 2017 жылғы бастапқы архитектураның қатып қалмай, дамып келе жатқанын көрсетеді.

Transformer модельдері мінсіз бе?

Жоқ. Күшті жақтарымен бірге шектеулері де бар.

Стандартты self-attention әр токенді басқа әр токенмен салыстырады, сондықтан есептеу көлемі шамамен тізбек ұзындығының квадратына қарай өседі. Тізбек ұзарған сайын бұл әлдеқайда көп есептеу мен жадты қажет етуі мүмкін.

Үлкен Transformer модельдері мыналарды да талап етуі мүмкін:

• өте үлкен оқыту деректер жинақтары;
• қымбат үдеткіш жабдық;
• inference кезінде көп жад;
• мұқият оңтайландыру;
• көп энергия мен инфрақұрылым.

Transformer модельдері қате немесе адастыратын жауап та бере алады. Архитектура қуатты, бірақ ол фактілердің дұрыстығына да, адамға ұқсас түсінуге де кепілдік бермейді.

Сондықтан зерттеушілер тиімдірек attention әдістерін, жад техникаларын, sparsity, жақсырақ позициялық әдістер мен балама архитектураларды дамытуды жалғастыруда.

Transformer модельдері тілді адам сияқты түсіне ме?

Адамша мағынада — жоқ. Transformer өзінің оқыту деректеріндегі статистикалық және құрылымдық байланыстарды үйренеді.

Self-attention оған контексттің өте бай көріністерін құруға мүмкіндік береді, бірақ мұны автоматты түрде адамша түсіну немесе ойлау деп қабылдауға болмайды. Transformer ағымды әрі нанымды жауап беріп, бәрібір қателесуі мүмкін.

Бұл айырманы, әсіресе, модельдер білім беру немесе медицина сияқты маңызды шешімдерде қолданылғанда ескеру керек.

Есте сақтаудың ең оңай жолы

Бір ғана ойды есте сақтасаңыз, мынау болсын:

Transformer — attention арқылы тізбектің әртүрлі бөліктері бір-бірімен қалай байланысқанын анықтайтын нейрондық желі архитектурасы.

Немесе одан да қарапайым: токендер кіреді, модель олардың өзара байланысына қарайды, контекст құрады, содан кейін нәтижені болжайды немесе жасайды.

Бұл архитектура алғашында машиналық аудармаға жаңа тәсіл ретінде пайда болды. Бүгін Transformer модельдері қазіргі AI-дің үлкен бөлігінің негізінде жатыр: LLM мен чат-боттардан бастап сөйлеуге, кодқа, суретке және multimodal жүйелерге дейін.

Атауы күрделі естілуі мүмкін, бірақ басты идея таңқаларлықтай түсінікті: әр токенді жеке қарамаңыз, модельге неге назар аудару керектігін үйренуге мүмкіндік беріңіз.