Firma Microsoft stworzyła technologię opartą o sztuczną inteligencję, która jest w stanie narysować obraz w oparciu o tekstowy opis.

Na fotografii przedstawiono przykład żółtego ptaszka z czarnymi skrzydłami i krótkim dzióbkiem). Wg badań programiści poprawili niemal 3 krotnie jakość tworzonych obrazów.

Bot oparty jest na technologii GAN (Generative Adversarial Network) zawiera w sobie modele uczenia maszynowego, z których jeden generuje obraz z opisu a drugi ocenia niezawodność. Obie metody współpracując razem poprawiają jakość wynikowych rysunków. Naukowcy opracowali również specjalny algorytm AttnGAN, który pozwala nie przetwarzać całego zdania tylko podzielić je na odrębne wyrażenia.

Co więcej Bot potrafi narysować obiekty pasujące do kompozycji. Przykładowo na fotografii bot narysował gałązkę na której siedzi ptak. Technologia może dodać element pomimo, że nie został on wymieniony w zadaniu.

Technologia konwersji tekstu na obrazy może być wykorzystana do pomocy projektantom i artystom. Wg twórców jeżeli mamy dostępna dużą moc obliczeniową algorytm będzie w stanie tworzyć animacje.

Źródło: microsoft.com