Media90 (media90.id) – Apple baru-baru ini mengumumkan peluncuran empat model AI berbasis open source yang diharapkan dapat meningkatkan akurasi dalam proses kueri.
Langkah ini dianggap sebagai kontribusi yang signifikan dalam pengembangan teknologi kecerdasan buatan di masa mendatang.
Dikenal sebagai Open Source Efficient LLMs, atau OpenELMs, model-model ini telah disediakan secara terbuka di platform kolaboratif Hugging Face.
Hugging Face bertindak sebagai tuan rumah untuk model-model ini, memfasilitasi pelatihan, penggunaan, dan pengembangan lebih lanjut oleh komunitas.
OpenELMs menggunakan pendekatan yang menggabungkan beberapa model bahasa besar (LLM) menggunakan algoritme evolusioner.
Keempat model ini memanfaatkan strategi penskalaan berdasarkan lapisan untuk mengalokasikan parameter dalam lapisan model transformator, yang pada gilirannya meningkatkan akurasi.
Model-model ini telah dilatih menggunakan pustaka CoreNet. Apple menyediakan model-model pra-pelatihan serta model-model yang dapat disesuaikan sesuai dengan kebutuhan, dengan parameter yang berkisar dari 270 juta hingga 3 miliar.
Proses pelatihan menggunakan kumpulan data yang beragam, termasuk subset Dolma v1.6, RefinedWeb, deduplicated PILE, dan subset RedPajama.
Kombinasi ini menghasilkan kumpulan data dengan sekitar 1,8 triliun token.
Para peneliti yang terlibat dalam pengembangan proyek ini menekankan pentingnya reproduktivitas dan transparansi dalam model bahasa besar.
Hal ini tidak hanya memastikan hasil yang dapat diandalkan, tetapi juga memungkinkan penelitian lebih lanjut terhadap bias dan risiko model.
Dalam hal akurasi, OpenELMs menunjukkan peningkatan yang signifikan. Dibandingkan dengan model OLMo, dengan anggaran parameter sebesar satu miliar, OpenELMs menunjukkan peningkatan akurasi sebesar 2,36%, sambil menggunakan setengah dari jumlah token pra-pelatihan.
Ini bukan kali pertama Apple memberikan kontribusi dalam bidang kecerdasan buatan. Sebelumnya, mereka telah membagikan model LLM open source bernama Ferret, yang diperbarui untuk meningkatkan analisis gambar.
Pada April tahun ini, versi terbaru Ferret juga diperkenalkan dengan kemampuan tambahan untuk memahami tata letak aplikasi dan memproses tangkapan layar.
Langkah Apple dalam merilis model-model AI open source ini diharapkan dapat mempercepat perkembangan teknologi kecerdasan buatan secara global, serta membuka pintu bagi kolaborasi lebih lanjut dalam bidang ini.
