Ministerstwo Cyfryzacji zaprezentowało polski model językowy PLLuM oraz plan jego rozwoju. Od dziś model dostępny jest dla wszystkich.
PLLuM (Polish Large Language Model) to rodzina modeli sztucznej inteligencji, która pozwala przetwarzać i generować teksty w języku polskim. Modele stworzone przez polskich ekspertów i ekspertki z dziedziny IT i lingwistyki, wesprą rozwój kompetencji cyfrowych oraz innowacje w administracji publicznej i biznesie. Ogłoszenie rozpoczęcia prac nad tym modelem miało miejsce w grudniu 2023 roku:
Powstanie PLLuM – polski otwarty wielki model językowy
– PLLuM to dowód na to, iż możemy rozwijać nowoczesne technologie na własnych warunkach, w naszym języku, z korzyścią dla obywatelek i obywateli. Tworzymy fundament pod inteligentne usługi publiczne i innowacje, które będą realnym wsparciem zarówno dla administracji, jak i biznesu – mówi wicepremier i minister cyfryzacji Krzysztof Gawkowski.
Zależnie od wybranego wariantu, modele PLLuM są dostępne w odmianach od 8 do 70 miliardów parametrów (dla porównania GPT-3.5 to model ze 175 miliardami parametrów, a aktualny GPT-4 ma 100 bilionów parametrów). PLLuM jest modelem elastycznym i skalowalnym, mniejsze modele zdaniem ministerstwa sprawdzają się w szybkich zadaniach, podczas gdy większe oferują wyższą precyzję i kontekstową spójność w rozumieniu języka polskiego.
W rodzinie modeli PLLuM znajdują się m.in. modele w architekturze MoE (ang. Mixture of Experts) ze zrównoważonym wyborem ekspertów oraz wyspecjalizowane modele RAG (ang. Retrieval Augmented Generation).
Twórcy PLLuM podkreślają, iż ich grupa modeli bazuje na etycznym pozyskiwaniu danych – wersje do użytku komercyjnego wykorzystują zasoby tekstowe od właścicieli, którzy udzielili licencji konsorcjum, a także zasoby, które, zgodnie z ustawą o prawie autorskim i prawach pokrewnych oraz przepisami UE, mogą być wykorzystane do budowy w pełni otwartego modelu.
Modele naukowe PLLuM (tj. udostępniane na licencjach, które nie pozwalają na zastosowania komercyjne) korzystają także z ogólnodostępnych zbiorów danych, takich jak Common Crawl.
Według resortu cyfryzacji, PLLuM wspólnie z modelem Bielik mogą promować sztuczną inteligencję tworzoną w Polsce, wspierając się wzajemnie w lepszym procesie trenowania i dalszym pozyskiwaniu oraz otwieraniu danych, potrzebnych by #AIMadeInPoland było coraz lepsze – dla administracji publicznej, biznesu i społeczeństwa.
Oto Bielik – Polacy też mają swoją własną AI opartą na LLM
– Rozwój PLLuM to inwestycja w cyfrowe państwo. Do tej pory przeznaczyliśmy na ten projekt 14,5 mln zł, a teraz idziemy krok dalej – kolejne 19 mln zł pozwoli na wdrożenie modelu w administracji publicznej i rozszerzenie współpracy o nowych partnerów, takich jak COI i Cyfronet. Dzięki temu PLLuM stanie się kluczowym elementem cyfryzacji usług publicznych i rozwoju krajowego ekosystemu AI – powiedział wiceminister cyfryzacji Dariusz Standerski.
Projekt realizowany jest na zlecenie Ministerstwa Cyfryzacji, które jest właścicielem wyników i kontroluje rozwój PLLuM. Projekt realizowany był do tej pory przez konsorcjum sześciu podmiotów:
- Politechnika Wrocławska (lider projektu)
- Instytut Podstaw Informatyki PAN
- Instytut Slawistyki PAN
- Naukowa i Akademicka Sieć Komputerowa (NASK-PIB)
- Ośrodek Przetwarzania Informacji (OPI-PIB)
- Uniwersytet Łódzki
Gdzie trafi PLLuM? Jednym z pomysłów jest funkcja wirtualnego asystenta wbudowana w przyszłe iteracje aplikacji mObywatel, co ma ułatwić użytkownikom dostęp do informacji publicznych. Ministerstwo widzi również zastosowanie gotowej do użycia rodziny polskich modeli AI w sektorach administracji czy w edukacji.
PLLuM jest dostępny na stronie: http://pllum.clarin-pl.eu. Modele można pobrać na Hugging Face.
Jeśli artykuł Ministerstwo Cyfryzacji ogłasza PLLuM – rodzinę polskich modeli sztucznej inteligencji – już można z nich korzystać nie wygląda prawidłowo w Twoim czytniku RSS, to zobacz go na iMagazine.
