Strona główna » Ai e-book o sztucznej inteligencji » BioCoder – rozwój modeli sztucznej inteligencji dla bioinformatyki.

BioCoder – rozwój modeli sztucznej inteligencji dla bioinformatyki.

by kapdes
BioCoder

BioCoder to benchmark zaprojektowany w celu wspierania rozwoju modeli sztucznej inteligencji dla bioinformatyki.

Naukowcy z Uniwersytetu Yale i Google Deepmind przedstawiają BioCoder, benchmark do testowania zdolności modeli sztucznej inteligencji do generowania kodu specyficznego dla bioinformatyki. Zespół twierdzi, że wraz ze wzrostem możliwości ChatGPT lub wyspecjalizowanych modeli kodu, modele te będą wykorzystywane do coraz bardziej złożonych zadań.

Generowanie funkcjonalnych programów w bioinformatyce jest poważnym wyzwaniem ze względu na ilość wiedzy dziedzinowej, potrzebę złożonych operacji na danych i złożone zależności funkcjonalne między operacjami.

BioCoder został zaprojektowany, aby pomóc przetestować te możliwości – a tym samym wspierać rozwój takich modeli. Test porównawczy obejmuje 2269 problemów z kodowaniem i integruje rzeczywiste wyzwania, takie jak zależności, import i zmienne globalne, aby lepiej zbadać pragmatyczne możliwości kodowania modeli sztucznej inteligencji.

Opiera się on na 1026 funkcjach i 1243 metodach w Pythonie i Javie, pochodzących z bioinformatycznych repozytoriów GitHub i będących częścią recenzowanych publikacji. Na ich podstawie zespół stworzył problemy z kodem z podpowiedziami, kontekstem i przykładowymi rozwiązaniami.

bio

ChatGPT jest obecnie liderem w benchmarku BioCoder

BioCoder został wykorzystany do przetestowania InCoder, CodeGen, CodeGen2, SantaCoder, StarCoder, StarCoder+, InstructCodeT5+ i ChatGPT. GPT-3.5 Turbo firmy OpenAI pokonał pozostałe generatory kodu tak łatwo, że zespół nazwał tę różnicę „zaskakującą”. „Ten wyraźny kontrast podkreśla kluczową rolę zarówno rozmiaru zbioru danych, jak i rozmiaru parametrów modeli bazowych w realizacji podpowiedzi generowania kodu w domenie zamkniętej” – mówi zespół.

W jednym eksperymencie zespół był jednak w stanie poprawić wydajność StarCodera poprzez precyzyjne dostrojenie. Tak więc sukces w wyspecjalizowanych dziedzinach, takich jak bioinformatyka, jest możliwy nie tylko z dużymi modelami językowymi, takimi jak ChatGPT, ale także z mniejszymi, wyspecjalizowanymi modelami. W przyszłości zespół planuje przetestować inne otwarte modele, takie jak LLamA2 firmy Meta, i oczekuje ulepszeń od modeli o dłuższych kontekstach.

BioCoder pozostał jednak wyzwaniem dla ChatGPT, ponieważ model osiągnął dokładność tylko nieco poniżej 50 procent. GPT-4 nie został jeszcze przetestowany.

Pozostałe artykuły