Институтът за компютърни науки, изкуствен интелект и технологии (INSAIT) към Софийския университет "Св. Климент Охридски", съвместно с водещи международни научни институции, представя SceneSplat-49k - най-голямата публично достъпна колекция от висококачествени и сложни 3D сцени във формат Gaussian Splatting. Представя и SceneSplat-Benchmark - цялостна платформа за оценка на модели за Language Gaussian Splatting. SceneSplat-49k включва 48 856 реконструирани сцени от реалния свят, обхващащи както закрити, така и открити пространства, като 12 061 от тях са обогатени с езикови характеристики.
Създаването на набора от данни е резултат от значителен човешки труд и изчислителни ресурси в размер на 861 GPU-дни, което гарантира високо ниво на реализъм и разнообразие.
Language Gaussian Splatting позволява на системите с изкуствен интелект да взаимодействат с 3D среди чрез естествен език и да разбират пространствени и семантични отношения директно в три измерения. До момента развитието на такива системи беше ограничено поради липсата на мащабни, висококачествени 3D данни и стандартизирани методи за оценка.
Снимка: INSAIT
Още: Милион долара за наука: Google с ново дарение за българския институт INSAIT
SceneSplat-Benchmark адресира този проблем, като въвежда значително по-реалистични и предизвикателни условия за оценяване. Той обхваща 1060 сцени и 325 семантични класа и позволява директна оценка на моделите в 3D среда вместо чрез 2D проекции, което осигурява по-точна и надеждна оценка на разбирането на сцени на ниво пространство.
Участват няколко университета
Проектът е резултат от съвместната работа на INSAIT, Амстердамския университет, ETH Цюрих (Лаборатория по компютърно зрение), Нанкинския университет по аеронавтика и астронавтика, Университета „Джонс Хопкинс“, Университета в Пиза и Университета в Тренто.
Той представлява важна стъпка към развитието на следващото поколение 3D системи за изкуствен интелект с приложения в роботиката, виртуалната и добавената реалност и естественото взаимодействие между хора и машини.
Още: Български научен пробив: ИИ учи роботи да разбират заповеди и да управляват други роботи
