Са задовољством објављујемо испоруку документа Design of the AI Gateway у оквиру активности радног пакета 3 пројекта SAIFA под називом SAIFA Integrated HPC and AI runtime environment.
SAIFA AI Gateway ће обезбедити заједнички кориснички оријентисан слој приступа основним могућностима, укључујући пројектну инфраструктуру, секторски специфичне апликације, услуге подршке и везе ка ресурсима Европских фабрика вештачке интелигенције. Овај приступ смањује фрагментацију и омогућава корисницима из истраживања, индустрије и јавне управе да прате структурисане путеве од почетног упознавања до валидираних радних токова заснованих на вештачкој интелигенцији.
Национална инфраструктура и рачунарско окружење
SAIFA ће користити HPC кластер PARADOX којим управља IPB и инфраструктуру за ВИ рачунарство, којом управља ИТЕ, за развој, интеграцију и прелиминарно тестирање. Обе инфраструктуре обезбеђују наменско рачунарско време и складишне ресурсе за пројектне активности.Планирана веза капацитета 100 Gbps између дата центара ИПБ-а и ИТЕ-а, успостављена уз подршку АМРЕС-а, омогућава ефикасан пренос и синхронизацију пројектних података. Завршна валидација и тестирање перформанси такође ће користити инфраструктуре ВИ фабрика у Грчкој и Италији, у складу са аранжманима приступа и интероперабилности развијеним у оквиру пројекта SAIFA.
Постојећи системи за распоређивање послова и управљање ресурсима биће прилагођени да подрже доделу ресурса засновану на приоритетима и карактеристикама радних оптерећења. Корисници ће подносити послове са дефинисаним захтевима у погледу процесорских језгара (CPU), графичких процесора (GPU), меморије и времена извршавања, док ће основни системи за распоређивање остати задужени за управљање редовима чекања, попуњавање слободних термина (backfilling), политике квалитета услуге (QoS) и правичну употребу расположивих капацитета.
Рачунарско окружење ће подржавати извршавање у контејнерима, како би се апликације и њихове зависности могле репродуковати на компатибилним платформама. За различите типове радних оптерећења могу се користити услуге засноване на Kubernetes-у и постојећи системи за распоређивање послова на кластерима. Унапред припремљене слике за широко коришћене оквире вештачке интелигенције поједноставиће укључивање нових корисника и обезбедити поновљива почетна окружења.
Напредни корисници могу такође регистровати одобренa прилагођена окружења када одређени доменски радни ток захтева специфичне библиотеке или верзије алата. Процес одобравања и извршавања мора обезбедити очување безбедности, репродуктивности и компатибилности са изабраним рачунарским окружењем.
Слој AI Gateway-а
AI Gateway ће се налазити изнад рачунарске и податковне инфраструктуре као посреднички слој (middleware): јединствени слој за приступ и интеграцију који прихвата захтеве корисника или апликација, примењује заједничке политике и метаподатке и прослеђује захтеве одговарајућој повезаној услузи или извршном окружењу. Он може да омогући приступ апликацијама, радним токовима, поново употребљивим алатима, претходно обученим моделима, скуповима података припремљеним за вештачку интелигенцију, као и ресурсима за подршку и обуку, без имплементације њихове доменски специфичне логике.
Типичне одговорности АI Gateway-a укључују спровођење управљања идентитетом и контроле приступа, управљање каталогом и метаподацима, валидацију и усмеравање захтева, проверу квота и политика, подношење задатака и обједињавање информација о њиховом статусу, надзор, ревизију и праћење порекла података и процеса, доследан приступ путем портала и API-ја, као и примену заједничких правила за контролисано дељење ресурса. Доменске апликације, механизми за извршавање радних токова, системи за послуживање модела, рачунарска окружења и овлашћени кориснички код остају одговорни за научне или индустријске алгоритме, припрему података, извршавање модела, доменску валидацију и тумачење резултата.
Федерација са европским инфраструктурама за вештачку интелигенцију.
AI Gateway може обезбедити техничку интероперабилност са платформама Pharos, IT4LIA, AI-on-Demand Platform и другим EuroHPC фабрикама и антенама за вештачку интелигенцију. У зависности од потврђених интерфејса партнерских система и услова управљања, могуће функије интеграције укључују:
Федерација каталога. Одобрени модели, скупови података, радни токови и услуге могу бити доступни за претрагу путем повезаних каталога, уз очување информација о пореклу, верзији, следљивости и условима коришћења.
Мапирање метаподатака и приступа. Метаподаци каталога и захтеви за приступ могу се преводити између платформе SAIFA и партнерских платформи.
Размена доказа о валидацији. Одобрени резултати тестирања и подаци о перформансама могу се преносити ради подршке интероперабилности и унапређења услуга.
Контролисана размена података и модела. Синтетички или други ресурси погодни за објављивање могу се преносити само када то дозвољавају правни, етички, лиценцни и политички услови.
Приступ документацији. Релевантна техничка документација и упутства могу бити доступни путем АI Gateway-a.
Приступ услугама обуке. Релевантни партнерски ресурси за обуку могу бити повезани када су одговарајуће интеграције доступне.
Откривање спољних услуга. Релевантне партнерске услуге могу бити представљене корисницима без рекреирања њихове интерне функционалности.
За више информација о документу Design of the AI Gateway, молимо вас да нас контактирате на адресу info@saifa.rs.