GAYA

01Խնդիրը

Մեկ լուսանկարով հասկանալ, թե ինչից է բաղկացած ծաղկեփունջը՝ ինչ ծաղիկներ և քանիսը, գույներ, փաթեթավորում, ժապավեն և տարա։ Արագ, էժան և առանց լուսանկարներն ուրիշի ամպ ուղարկելու։

02Լուծումը

Ոչ թե մեկ մեծ ցանց, այլ մի քանի փոքր մասնագիտացված մոդել մեկ շղթայում՝ գլխիկների դետեկտոր → սեփական տեսողության մոդել («աչք») → 47 առաջադրանքի գլուխ → յուրաքանչյուր գլխիկի տեսակ → ցողունների հաշվարկ → խիստ JSON՝ վստահության աստիճաններով։ Յուրաքանչյուր փուլ բացատրված է ճարտարապետության էջում։

Ելքում երկու արդյունք կա՝ ծաղկեփնջի նկարագրությունը (տեսակներ և սորտեր, գլխիկների և ցողունների քանակ, գույն, փաթեթավորում, ժապավեն, տարա, ձև, առիթ, ոճ) և բաղադրատոմս, որով 3D կոնստրուկտորը հավաքում է նույն ծաղկեփունջը։

03Տեխնիկական լուծումներ

• Մեծ մոդելները միայն ուսուցիչներ են։ Ուսուցման տվյալները նշագրել են Meta-ի SAM 3-ը և SAM 3D-ն (գլխիկների դիմակներ և ձև, փաթեթավորում) և Qwen3-VL-ը (կազմ, փաթեթավորում), իսկ «աչքը» փոքր ViT-S է՝ դիստիլացված Google-ի SigLIP 2-ից, որը լրացուցիչ ուսուցանվել է ծաղկեփնջերի վրա։ Ոչ մի ուսուցիչ մոդելի մեջ չի մտնում․ նրանցից յուրաքանչյուրը կշռում է 3-ից 17 ԳԲ, ամբողջ GAYA-ն՝ 268 ՄԲ։
• «Աչքի» մեկ անցում ամեն ինչի համար։ Ամբողջ լուսանկարի հատկանիշները և յուրաքանչյուր գլխիկի թոքենները ստացվում են մեկ անցումով՝ մոտ 0,5 վ նոութբուքի պրոցեսորի վրա։
• Գլխիկները՝ առանձին։ U-Net (ResNet34) դետեկտորը գտնում է յուրաքանչյուր գլխիկի կենտրոնը, եզրագիծը և չափը, նաև մասամբ թաքնվածներինը, իսկ տեսակը որոշվում է յուրաքանչյուրի համար․ խառը ծաղկեփունջը դառնում է ճշգրիտ ցուցակ։
• Սորտը, ոչ միայն տեսակը։ 101 տեսակ և 72 սորտ․ դասակարգող գլուխներից բացի մոդելը համեմատում է նաև նմուշների բանկի հետ։
• Ցողուններ՝ բուստինգ մաքուր NumPy-ով, առանց ծանր կախվածությունների։
• Տվյալներ։ Ազատ արտոնագրերով բաց լուսանկարներ (Wikimedia Commons, iNaturalist, Open Images) և սեփական նշագրում։ Ուսուցումն ու քննությունները նույնպես իմն են․ սերվերի պատասխանները ստուգվում են վերահսկիչ լուսանկարների էտալոնով, ուստի կշիռների թարմացումը ոչինչ աննկատ չի փչացնում։
• Սերվեր առանց վիդեոքարտի՝ ~2 վ մեկ լուսանկարի համար 6 միջուկանի VPS-ում, 2 ԳԲ հիշողություն, 268 ՄԲ կշիռներ։ Նախորդ տարբերակի համեմատ պրոցեսորի վրա ժամանակը կրճատվել է 1,5-ից 0,5 վ, հիշողությունը՝ 4,2-ից 2 ԳԲ։

04Արդյունքը

Մոդելն աշխատում է արտադրական միջավայրում՝ առանձին սերվերի վրա։ Փորձեք ձեր լուսանկարով կամ տեսեք համեմատությունը ամպային LLM-ների, YOLO-ի և CLIP-ի հետ։

Շապիկի լուսանկարը՝ [Maja Dumat](https://commons.wikimedia.org/wiki/File:Blumenstrau%C3%9F_-_Flickr_-_blumenbiene.jpg), CC BY 2.0, նշագրումը՝ GAYA-ի պատասխանը։