Fine-Tuning LLaMA-2-Chat untuk ChatBot Penerjemah Bahasa Gaul menggunakan LoRA dan QLoRA

ANDRI SUSILO, VINY CHRISTANTI, MANATAP DOLOK LAURO

Sari


Abstrak

Bahasa gaul, yang berkembang pesat di kalangan generasi Z dan Alpha, sering kali sulit dipahami oleh generasi lain atau dalam konteks formal. Bahasa ini memiliki variasi yang tidak terstruktur dan terus berubah, memerlukan model bahasa yang adaptif untuk memahaminya. Penelitian ini bertujuan untuk mengukur kualitas hasil terjemahan fine-tuning model LLaMA-2 dalam menerjemahkan bahasa gaul ke bahasa formal, dengan menggunakan metrik evaluasi BLEU Score sebagai alat utama. Selain itu, pendekatan LoRA dan QLoRA digunakan untuk meningkatkan efisiensi fine-tuning dengan mengurangi kebutuhan komputasi dan memori. Dataset yang digunakan terdiri dari data media sosial dan data buatan yang diformat dalam bentuk percakapan untuk menangkap konteks secara lebih baik. Hasil evaluasi menunjukkan skor BLEU terbaik sebesar 0.0369, yang menegaskan bahwa model masih perlu disempurnakan untuk menghasilkan terjemahan bahasa gaul yang optimal.

Kata kunci: bahasa gaul, LLaMA-2, LoRA, QLoRA

Abstract
Slang, which is growing rapidly among generations Z and Alpha, is often difficult for other generations to understand or in formal contexts. This language has unstructured variations and is constantly changing, requiring adaptive language models to understand it. This research aims to measure the quality of the translation results of fine-tuning the LLaMA-2 model in translating slang into formal language, using the BLEU Score evaluation metric as the main tool. Additionally, LoRA and QLoRA approaches are used to improve fine-tuning efficiency by reducing computing and memory requirements. The dataset used consists of social media data and artificial data formatted in conversational form to better capture context. The evaluation results show the best BLEU score of 0.0369, which confirms that the model still needs to be refined to produce optimal slang translations.

Kata Kunci: slang language, LLaMA-2, LoRA, QloRA


Teks Lengkap:

PDF

Referensi


Church, K. W. (2021). Emerging trends: A gentle introduction to fine-tuning. Natural Language Engineering, 27, 763-778.

Dettmers, T. a. (2024). Qlora: Efficient finetuning of quantized llms. Advances in Neural Information Processing Systems, 36.

Dewi, A. C. (2023). Penggunaan Bahasa Gaul di Kalangan Remaja. Nusantara Journal of Multidisciplinary Science, 1, 1032-1043.

Ding, N. a.-M. (2023). Parameter-efficient fine-tuning of large-scale pre-trained language models. Nature Machine Intelligence, 5, 220-235.

Dutta, S., & Klakow, D. (2019). Evaluating a neural multi-turn chatbot using BLEU score. Dutta, Sourav and Klakow, Dietrich, 1-12.

Ghassemiazghandi, M. (2024). An Evaluation of ChatGPT's Translation Accuracy Using BLEU Score. Theory and Practice in Language Studies, 985-994.

Han, Z. a. (2024). Parameter-efficient fine-tuning for large models: A comprehensive survey. arXiv preprint arXiv:2403.14608.

Jayaseelan, N. (2023). LLaMA 2: The New Open Source Language Model. Journal of Machine Learning Research, 24, 1-15.

Li, Y. a. (2023). Loftq: Lora-fine-tuning-aware quantization for large language models. arXiv preprint arXiv:2310.08659.

Li, Z. a.-l. (2023). Label supervised llama finetuning. arXiv preprint arXiv:2310.01208.

Mathur, B. N. (2020). Tangled up in BLEU: Reevaluating the evaluation of automatic machine translation evaluation metrics. arXiv preprint arXiv:2006.06264.

Minaee, S. a. (2024). Large language models: A survey. arXiv preprint arXiv:2402.06196.

Nagel, M. a. (2021). A white paper on neural network quantization. arXiv preprint arXiv:2106.08295.

Roumeliotis, K. I. (2023). Llama 2: Early Adopters' Utilization of Meta's New Open-Source Pretrained Model.

Satriani, A. D. (2023). Dampak dan transformasi perkembangan bahasa gaul dalam bahasa Indonesia modern. Jurnal Pengabdian West Science, 2, 421-426.

Sun, Z. a. (2021). A computational framework for slang generation. Transactions of the Association for Computational Linguistics, 9, 462-478.

Touvron, H. a. (2023). Llama 2: Open foundation and fine-tuned chat models. arXiv preprint arXiv:2307.09288.

Zhang, B. a. (2019). Root mean square layer normalization. Advances in Neural Information Processing Systems, 32.




DOI: https://doi.org/10.26760/mindjournal.v9i2.248-260

Refbacks

  • Saat ini tidak ada refbacks.


____________________________________________________________

ISSN (cetak) : 2338-8323  |  ISSN (elektronik) :  2528-0902

diterbitkan oleh:

Informatika Institut Teknologi Nasional Bandung

Alamat : Gedung 2 Jl. PHH. Mustofa 23 Bandung 40124

Kontak : Tel. 7272215 (ext. 181)  Fax. 7202892

Email : mind.journal@itenas.ac.id

____________________________________________________________

Statistik Pengunjung :

Flag Counter

  Web
Analytics Statistik Pengunjung

 Jurnal ini terlisensi oleh Creative Commons Attribution-ShareAlike 4.0 International License.

Creative Commons License