Mengapa ChatGPT Melupakan Apa yang Anda Katakan? Kebenaran Mengejutkan Tentang Batas Memorinya!

Di era di mana AI percakapan tidak lagi hanya sebuah konsep futuristik, melainkan sebuah kenyataan sehari-hari, ChatGPT berdiri sebagai pencapaian yang luar biasa. Kemampuannya untuk memahami, berinteraksi, dan merespons dengan ketepatan seperti manusia telah memikat pengguna di seluruh dunia. Namun, bahkan sistem AI yang paling canggih pun memiliki keterbatasan. Pernahkah Anda bertanya-tanya mengapa ChatGPT, terlepas dari kecanggihannya, tampaknya ‘melupakan’ bagian-bagian dari percakapan Anda, terutama ketika percakapan itu menjadi panjang? Artikel ini menyelidiki dunia ChatGPT yang menarik, mengungkap misteri teknis di balik keterbatasan panjang konteks dan kemampuan memorinya. Mulai dari menjelajahi mekanisme rumit kekuatan pemrosesannya hingga memeriksa kemajuan terbaru yang bertujuan untuk mendorong batas-batas ini, kami mengungkap kerumitan yang membuat ChatGPT menjadi fenomena AI yang penuh teka-teki namun menarik.

Memahami Panjang Konteks dalam GPT

Panjang konteks dalam Generative Pre-trained Transformers (GPT) adalah istilah yang menunjukkan jumlah maksimum token (kata atau bagian dari kata) yang dapat dipertimbangkan oleh model sekaligus saat menghasilkan atau memproses teks. Dalam ranah pemrosesan bahasa alami (NLP), khususnya untuk model bahasa seperti GPT, konsep ini memainkan peran penting.

Pentingnya Panjang Konteks:

1. Koherensi dan Relevansi: Panjang konteks adalah kunci dari seberapa banyak teks sebelumnya yang dapat dirujuk oleh model ketika membuat teks baru atau menganalisis teks yang sudah ada. Konteks yang lebih panjang memungkinkan model untuk mempertahankan koherensi pada rentang teks yang lebih besar, memastikan bahwa konten yang dihasilkan atau ditafsirkan relevan dengan bagian teks sebelumnya. Hal ini sangat penting untuk tugas-tugas yang kompleks seperti bercerita, terlibat dalam percakapan yang mendetail, atau meringkas dokumen yang panjang di mana kesinambungan sangat penting.
2. Menangkap Ketergantungan Jarak Jauh: Dalam bahasa, makna sering kali bergantung pada elemen yang muncul jauh di belakang dalam teks. Panjang konteks yang lebih panjang memberdayakan GPT untuk memahami ketergantungan jarak jauh ini, sehingga menghasilkan pemrosesan bahasa yang lebih akurat secara kontekstual.
3. Pemahaman Bahasa yang Ditingkatkan: Dengan kemampuan untuk merujuk pada rentang teks yang lebih panjang, GPT mendapatkan pemahaman yang lebih baik tentang nuansa seperti nada, gaya, dan elemen tematik. Kemampuan ini sangat penting untuk pembuatan dan analisis bahasa yang canggih, terutama dalam aplikasi NLP tingkat lanjut.

Implikasi Praktis:

• Dalam skenario dengan konteks yang pendek, model hanya dapat mempertimbangkan kalimat atau paragraf terbaru. Meskipun hal ini mungkin cukup untuk tugas-tugas yang lebih sederhana, hal ini dapat menyebabkan masalah seperti pengulangan atau kurangnya koherensi dalam skenario teks yang lebih kompleks.
• Sebaliknya, dengan konteks yang diperluas, model GPT dapat mengingat dan memanfaatkan informasi yang diperkenalkan lebih awal. Misalnya, dalam sebuah dialog, model ini dapat mengingat detail dari percakapan sebelumnya, atau dalam sebuah narasi, model ini dapat secara konsisten mengembangkan alur cerita dan karakter melalui teks yang diperpanjang.

Secara keseluruhan, panjangnya konteks dalam GPT pada dasarnya memengaruhi kemampuan mereka untuk menghasilkan dan memahami bahasa secara koheren dan relevan secara kontekstual. Ini adalah faktor penting dalam keefektifan mereka di berbagai tugas NLP, terutama yang melibatkan pemahaman atau menghasilkan teks yang lebih besar atau mempertahankan kesinambungan dalam narasi atau dialog yang panjang.

Keterbatasan dan Tantangan dalam Memperpanjang Panjang Konteks di GPT-4

Keterbatasan panjang konteks dalam model seperti GPT-4 terutama merupakan hasil dari desain inheren arsitektur transformator yang dibangun di atasnya dan tantangan komputasi dan memori yang dihasilkan. Mari kita pelajari mengapa batasan ini ada dan apa yang membuat perluasannya menjadi tantangan.

Arsitektur Transformator dan Perhatian Diri

1. Kompleksitas Kuadratik: Inti dari batasan ini terletak pada mekanisme perhatian diri transformer. Mekanisme ini menghitung skor perhatian untuk setiap pasangan token dalam urutan input. Hasilnya, jika panjang urutan (atau panjang konteks) menjadi dua kali lipat, maka kebutuhan komputasi dan memori akan meningkat secara kuadratik, yang menyebabkan pertumbuhan empat kali lipat. Untuk GPT-4 dan model-model yang serupa, ini berarti menangani urutan yang sangat panjang menjadi sangat intensif secara komputasi dan memori.
2. Batasan Memori: Seiring dengan kompleksitas komputasi, ada juga peningkatan yang signifikan dalam kebutuhan memori. Model perlu menyimpan nilai perhatian dan gradien untuk setiap pasangan token, yang bertambah secara kuadratik dengan panjang urutan. GPU dan TPU modern, meskipun kuat, memiliki kapasitas memori yang terbatas, sehingga sulit untuk mengakomodasi urutan yang sangat panjang.

Tantangan Praktis dalam Memperpanjang Panjang Konteks

1. Keterbatasan Data Pelatihan: Sebagian besar set data pelatihan terdiri dari urutan yang relatif pendek. Memperpanjang panjang konteks melebihi titik tertentu tidak selalu menguntungkan model jika model jarang menemukan urutan yang panjang selama pelatihan. Model biasanya dioptimalkan untuk jenis data yang paling sering dilatih.
2. Keterbatasan Perangkat Keras: Perangkat keras yang tersedia memberikan batasan yang signifikan. Peningkatan kuadratik dalam memori dan kebutuhan komputasi berarti bahwa, di luar titik tertentu, perangkat keras yang ada (GPU/TPU) mungkin tidak dapat secara efisien mendukung konteks yang sangat panjang. Keterbatasan ini bukan hanya tentang kekuatan pemrosesan tetapi juga melibatkan faktor-faktor seperti konsumsi energi dan pembuangan panas.
3. Pengembalian yang Semakin Menurun: Sering kali ada titik penurunan hasil dalam memperpanjang panjang konteks. Untuk banyak aplikasi praktis, seperti percakapan atau pembuatan teks pendek, konteks yang diperluas secara besar-besaran mungkin tidak menghasilkan peningkatan kinerja yang proporsional atau bahkan dapat menimbulkan kerumitan yang tidak perlu.

Tantangan Algoritmik dan Efisiensi

1. Batasan Pengoptimalan: Meskipun teknik seperti gradient checkpointing dan pelatihan presisi campuran dapat mengoptimalkan penggunaan memori dan komputasi, teknik-teknik tersebut hanya dapat berjalan sejauh ini. Teknik-teknik ini membantu sampai tingkat tertentu tetapi tidak mengubah sifat kuadratik mendasar dari kebutuhan sumber daya mekanisme perhatian diri.
2. Menyeimbangkan Tindakan: Memperpanjang panjang konteks membutuhkan keseimbangan yang rumit. Ini bukan hanya tentang meningkatkan jumlah token yang dapat ditangani oleh model; ini juga tentang memastikan bahwa model masih dapat secara efisien mempelajari dan memproses token-token ini. Hal ini melibatkan pertimbangan arsitektur dan algoritmik yang cermat untuk menghindari kemacetan kinerja.

Singkatnya, batas panjang konteks pada GPT-4 dan model serupa terutama disebabkan oleh komputasi kuadratik dan persyaratan memori dari mekanisme perhatian diri transformator, ditambah dengan kendala praktis yang terkait dengan data pelatihan, kemampuan perangkat keras, dan keseimbangan antara memperpanjang panjang konteks dan mempertahankan efisiensi model. Untuk mengatasi tantangan ini, tidak hanya dibutuhkan perangkat keras yang lebih kuat, tetapi juga kemajuan arsitektur dan algoritme yang inovatif.

Peran Perhatian Diri dalam Pembatasan Panjang Konteks

Mekanisme self-attention dalam transformer, yang merupakan inti dari model seperti GPT-4, memainkan peran penting dalam pembatasan panjang konteks. Untuk memahami hal ini, sangat penting untuk mempelajari cara kerja perhatian diri dan mengapa hal tersebut memberikan batasan.

Memahami Perhatian Diri dalam Transformers

1. Tinjauan Mekanisme: Dalam model transformator, mekanisme perhatian diri memungkinkan setiap token dalam urutan input untuk berinteraksi dengan setiap token lainnya. Interaksi ini adalah kunci dari kemampuan model untuk memahami konteks dan hubungan antara bagian-bagian yang berbeda dari teks input.
2. Dinamika Komputasi: Untuk setiap pasangan token dalam urutan, model menghitung skor perhatian, yang menentukan berapa banyak fokus yang harus diberikan ke bagian lain dari urutan saat memproses token tertentu. Proses ini melibatkan komputasi satu set vektor kueri, kunci, dan nilai untuk setiap token dan kemudian menghitung skor perhatian berdasarkan vektor-vektor ini.
3. Pentingnya Pemahaman Kontekstual: Mekanisme ini memungkinkan GPT-4 untuk memiliki pemahaman yang mendalam tentang teks yang dihasilkan atau diprosesnya. Hal ini memungkinkan model untuk menangkap nuansa, referensi, dan ketergantungan yang dapat menjangkau seluruh konteks yang diberikan.

Berkontribusi pada Keterbatasan Panjang Konteks

1. PenskalaanKuadratik: Tantangan mendasar yang ditimbulkan oleh self-attention adalah penskalaan kuadratiknya sehubungan dengan panjang urutan. Jika urutan memiliki N token, mekanisme perhatian perlu menghitung dan menyimpan skor perhatian 2N^2. Hubungan kuadratik ini merupakan faktor pembatas yang signifikan untuk panjang konteks, karena kebutuhan komputasi dan memori meningkat dengan cepat dengan urutan yang lebih panjang.
2. Memori Intensif: Menyimpan skor perhatian untuk urutan yang besar dapat dengan cepat melebihi kapasitas memori bahkan GPU atau TPU yang paling canggih sekalipun. Hal ini sangat menantang selama pelatihan, di mana model tidak hanya harus menyimpan skor ini tetapi juga gradien untuk setiap parameter untuk backpropagation.
3. Daya dan Waktu Pemrosesan: Waktu yang dibutuhkan untuk menghitung skor ini, dan operasi selanjutnya di lapisan transformator, juga meningkat dengan urutan yang lebih panjang. Hal ini dapat memperlambat pelatihan dan inferensi, terutama untuk aplikasi real-time.

Mengatasi Keterbatasan

1. PengoptimalanEfisiensi: Berbagai pengoptimalan dapat meringankan beban komputasi sampai batas tertentu. Sebagai contoh, teknik seperti pelatihan presisi campuran dapat mengurangi jejak memori, dan pengoptimalan dalam operasi matriks dapat mempercepat komputasi.
2. Inovasi Arsitektur: Di luar pengoptimalan, perubahan arsitektur yang signifikan sering kali diperlukan untuk mengatasi keterbatasan ini secara mendasar. Ini termasuk inovasi seperti pola perhatian yang jarang, yang akan kita bahas lebih rinci nanti, yang mengurangi jumlah perhitungan perhatian yang diperlukan.

Intinya, meskipun mekanisme perhatian mandiri memberi GPT-4 kemampuan pemrosesan bahasa yang kuat, mekanisme ini juga secara inheren membatasi panjang konteks karena kebutuhan komputasi dan memori kuadratiknya. Mengatasi keterbatasan ini adalah tugas kompleks yang melibatkan campuran optimasi dan perubahan arsitektur yang lebih mendasar.

Biaya Komputasi dan Memori dalam Menskalakan Panjang Konteks

Memahami biaya komputasi dan memori yang terkait dengan peningkatan panjang konteks dalam Generative Pre-trained Transformers (GPT) melibatkan penyelidikan terhadap seluk-beluk arsitektur transformator. Biaya-biaya ini, dan penskalaannya yang signifikan, terutama disebabkan oleh mekanisme perhatian diri yang tidak terpisahkan dari model-model ini.

Biaya Komputasi

1. Kompleksitas Kuadratik Perhatian Diri: Mekanisme self-attention, seperti yang telah disebutkan sebelumnya, membutuhkan komputasi untuk setiap pasangan token dalam urutan input. Dengan urutan panjang N, jumlah komputasi meningkat secara kuadratik, seperti O(N^2). Ini berarti bahwa jika panjang konteks menjadi dua kali lipat, beban komputasi menjadi empat kali lipat.
2. Operasi Matriks: Transformers melakukan beberapa perkalian matriks dalam lapisan perhatian-diri dan lapisan umpan-maju berikutnya. Ukuran matriks ini bertambah seiring dengan panjangnya urutan, yang mengarah ke operasi yang lebih intensif secara komputasi.
3. Dampak pada Pelatihan dan Inferensi: Selama pelatihan, kompleksitas komputasi ini membutuhkan waktu pelatihan yang lebih lama dan daya pemrosesan yang lebih besar. Untuk inferensi, terutama dalam aplikasi waktu nyata, hal ini dapat menyebabkan waktu respons yang lebih lambat, yang mungkin tidak praktis untuk aplikasi tertentu.

Biaya Memori

1. Menyimpan Skor Perhatian: Setiap pasangan token menghasilkan skor perhatian, menghasilkan matriks dengan ukuran N×N untuk urutan tersebut. Oleh karena itu, kebutuhan memori meningkat secara kuadratik dengan panjang konteks. Penskalaan ini adalah faktor utama mengapa perangkat keras yang paling canggih sekalipun dapat berjuang dengan urutan yang sangat panjang.
2. Penyimpanan Gradien Selama Pelatihan: Melatih model transformator melibatkan backpropagation, yang membutuhkan penyimpanan gradien untuk setiap parameter. Urutan yang lebih panjang meningkatkan jumlah parameter yang terlibat dalam komputasi, sehingga meningkatkan memori yang dibutuhkan untuk menyimpan gradien ini.
3. Penyimpanan Aktivasi untuk Backpropagation: Transformers perlu menyimpan aktivasi dari setiap lapisan untuk backpropagation selama pelatihan, yang selanjutnya meningkatkan penggunaan memori, terutama dengan urutan yang lebih panjang.

Mengapa Biaya Ini Berskala Sangat Signifikan?

• Melekatdalam Arsitektur: Ketergantungan arsitektur transformator pada perhatian sendiri di seluruh urutan adalah akar penyebab penskalaan yang signifikan ini. Tidak seperti arsitektur yang memproses data berurutan satu langkah pada satu waktu, transformator secara bersamaan menangani semua bagian dari urutan, yang mengarah pada penskalaan kuadratik ini.
• Pemrosesan Kontekstual yang Komprehensif: Kekuatan GPT terletak pada kemampuannya untuk mempertimbangkan seluruh konteks untuk menghasilkan setiap token baru. Meskipun hal ini memungkinkan keluaran yang sangat koheren dan sadar konteks, namun hal ini harus dibayar dengan tuntutan komputasi dan memori yang tinggi, terutama ketika panjang konteks meningkat.

Singkatnya, biaya komputasi dan memori yang terkait dengan peningkatan panjang konteks pada GPT meningkat secara signifikan karena kompleksitas kuadratik dari mekanisme perhatian diri. Penskalaan ini merupakan aspek fundamental dari arsitektur transformator, membuat pengelolaan biaya ini menjadi tantangan yang sangat penting dalam mengembangkan dan menerapkan model bahasa berskala besar.

Penskalaan Biaya dengan Peningkatan Panjang Konteks di GPT-4

Panjang Konteks (Token)	Biaya Komputasi (Penskalaan Kuadratik)	Biaya Memori (Penskalaan Kuadratik)	Contoh Dunia Nyata	Perkiraan Panjang Dokumen	Perkiraan Biaya (USD Linear)
1,000	1	1	Email Pendek	Sekitar 1-2 halaman teks	$0.01
8,000	64	64	Laporan Panjang	Sekitar 8-16 halaman teks	$0.08
32,000	1,024	1,024	Makalah Penelitian	Sekitar 32-64 halaman teks	$0.32
128,000	16,384	16,384	Buku Pendek/Novelette	Sekitar 128-256 halaman teks	$1.28
1,048,576	1,099,511,627	1,099,511,627	Buku Besar	Lebih dari 1.000 halaman teks	$10.49

Analisis Ekonomi dan Implikasi Strategis

• Profitabilitas pada Konteks yang Lebih Pendek: Ketika berurusan dengan konteks yang lebih pendek (misalnya, 1.000 token), biaya yang dikeluarkan perusahaan, dalam hal sumber daya komputasi dan memori, relatif rendah. Model penetapan harga linier (misalnya, $0,01 per 1.000 token) kemungkinan besar akan menguntungkan, karena penggunaan sumber daya tidak meningkat secara drastis. Hal ini membuat panggilan konteks pendek menguntungkan secara ekonomi bagi perusahaan.
• Dinamika Biaya pada Konteks yang Lebih Panjang: Ketika kita beralih ke konteks yang lebih panjang, seperti 1.048.576 token, situasinya berubah secara dramatis. Di sini, penskalaan kuadratik dari biaya komputasi dan memori menjadi fokus utama. Biaya untuk memproses konteks yang begitu panjang menjadi lebih tinggi secara tidak proporsional, kemungkinan besar melebihi peningkatan pendapatan secara linier. Pada skala ini, biaya pemrosesan (dengan mempertimbangkan beban komputasi dan kebutuhan memori yang tinggi) dapat melebihi pendapatan yang dihasilkan dari model penetapan harga linier.
• Preferensi Strategis untuk Konteks yang Lebih Pendek: Perbedaan biaya-pendapatan ini adalah alasan utama mengapa perusahaan seperti OpenAI lebih memilih panggilan konteks yang lebih pendek. Menawarkan layanan hingga maksimum 128.000 token adalah keputusan strategis. Ini menyeimbangkan kebutuhan pengguna akan output yang koheren dan kaya secara kontekstual dengan tetap menjaga kelangsungan ekonomi dan efisiensi operasional.
• MembatasiPanjang Konteks Maksimum: Keputusan untuk membatasi panjang konteks pada 128.000 token, meskipun kemampuan teknis untuk lebih tinggi, dapat dilihat sebagai kompromi antara menawarkan layanan NLP yang canggih dan berguna dan memastikan bahwa layanan tetap berkelanjutan secara ekonomi.

Dalam bisnis model bahasa yang digerakkan oleh AI, keseimbangan antara kemampuan teknologi dan keberlanjutan ekonomi sangat penting. Meskipun konteks yang lebih panjang menawarkan pemahaman yang lebih komprehensif dan kemampuan generasi, mereka juga membawa biaya yang jauh lebih tinggi. Realitas ekonomi ini memengaruhi keputusan strategis penyedia layanan AI, yang membuat mereka lebih memilih panggilan konteks yang lebih pendek dan menetapkan batas panjang konteks maksimum yang mereka tawarkan. Pendekatan ini membantu dalam menjaga keseimbangan antara menyediakan kemampuan NLP yang canggih dan memastikan kelangsungan ekonomi jangka panjang dari layanan tersebut.

Inovasi dalam Algoritme untuk Memperpanjang Panjang Konteks di GPT

Ya, ada beberapa algoritma dan teknik inovatif yang dikembangkan untuk secara efektif meningkatkan panjang konteks dalam GPT (Generative Pre-trained Transformers). Inovasi-inovasi ini terutama bertujuan untuk mengatasi kendala komputasi dan memori yang dibebankan oleh mekanisme perhatian mandiri dalam model transformator standar. Mari kita jelajahi beberapa kemajuan utama di bidang ini.

1. Mekanisme Perhatian Jarang

• Konsep: Tidak seperti perhatian diri tradisional yang menghitung skor perhatian antara semua pasangan token, yang menghasilkan kompleksitas kuadratik, mekanisme perhatian yang jarang secara selektif menghitung skor ini. Pendekatan selektif ini secara signifikan mengurangi beban komputasi.
• Implementasi:
  • Longformer: Ini memperkenalkan mekanisme jendela geser di mana setiap token hanya memperhatikan jendela dengan ukuran tetap dari token di sekitarnya, sehingga mengurangi kompleksitas. Longformer juga menggabungkan perhatian global pada token yang dipilih untuk menangkap ketergantungan yang lebih luas.
  • BigBird: Terinspirasi oleh Longformer, BigBird menggunakan kombinasi mekanisme perhatian lokal, global, dan acak untuk menangani urutan yang lebih panjang secara efisien.

2. Reformer

• Perhatian yang Efisien melalui Locality-Sensitive Hashing (LSH): Model Reformer menggunakan LSH untuk mengurangi kompleksitas mekanisme perhatian. Dengan mengelompokkan token-token yang serupa dan menghitung perhatian dalam kelompok-kelompok ini, model ini mencapai penanganan yang efisien untuk urutan yang panjang.
• Efisiensi Memori: Reformer juga menggunakan lapisan yang dapat dibalik, yang memungkinkan untuk mengurangi penggunaan memori selama pelatihan dengan merekonstruksi aktivasi input dari output daripada menyimpan semua aktivasi perantara.

3. Linformer

• Perkiraan Peringkat Rendah: Linformer memproyeksikan matriks atensi mandiri ke dalam dimensi yang lebih rendah, menyederhanakan mekanisme atensi mandiri dari fungsi kuadratik ke fungsi linier sehubungan dengan panjang urutan. Pendekatan ini sangat efektif untuk tugas-tugas yang melibatkan urutan yang sangat panjang.

4. Pelaku

• Perhatian Cepat Melalui Fitur Acak Ortogonal (FAVOR): Performer memperkenalkan metode untuk mendekati mekanisme perhatian tradisional, memungkinkan pemrosesan urutan panjang yang terukur dan efisien.

5. Rentang Perhatian Adaptif

• Penyesuaian Dinamis: Teknik ini melibatkan penyesuaian rentang perhatian secara dinamis dari setiap kepala dalam model transformator. Model ini dapat lebih fokus pada bagian input yang relevan untuk setiap tugas tertentu, sehingga menghasilkan pemrosesan yang lebih efisien untuk urutan yang lebih panjang.

6. Perhatian yang Dipadatkan dengan Memori

• Teknik: Dengan mengompresi aktivasi yang lebih lama dalam urutan menjadi jejak memori yang lebih kecil, metode ini memungkinkan model untuk mempertahankan akses ke riwayat yang lebih panjang tanpa peningkatan proporsional dalam penggunaan memori.

Inovasi ini merupakan langkah yang signifikan dalam mengatasi keterbatasan transformator standar terkait panjang konteks. Dengan mengurangi kompleksitas komputasi dan penggunaan memori, mereka memungkinkan GPT untuk menangani urutan yang lebih panjang secara lebih efektif, membuka kemungkinan baru untuk tugas pemahaman dan pembuatan bahasa yang kompleks. Namun, penting untuk dicatat bahwa setiap teknik ini mungkin memiliki trade-off tersendiri dan mungkin lebih cocok untuk jenis tugas atau set data tertentu.

Ringkasan

Ketika kami menelusuri labirin kemampuan dan keterbatasan ChatGPT, sebuah gambaran yang jelas muncul. Inti dari kelupaan ChatGPT terletak pada batasan yang melekat pada arsitektur transformatornya, khususnya pada mekanisme perhatian diri yang, meskipun kuat, terikat oleh keterbatasan komputasi dan memori. Kendala ini tidak hanya memengaruhi kemampuan model untuk menyimpan dan memproses percakapan yang panjang, tetapi juga membentuk keputusan ekonomi dan strategis perusahaan seperti OpenAI dalam menerapkan model ini. Namun, lanskap ini terus berkembang. Algoritme dan teknik inovatif, seperti mekanisme perhatian yang jarang dan model yang dikompresi memori, sedang dikembangkan untuk memperluas batasan-batasan ini, membuka jalan bagi sistem AI yang lebih mampu dan efisien di masa depan.

Referensi

1. Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., … & Polosukhin, I. (2017). “Perhatian adalah yang Anda Butuhkan.” Dalam Kemajuan dalam Sistem Pemrosesan Informasi Saraf. https://arxiv.org/abs/1706.03762
2. Beltagy, I., Peters, M. E., & Cohan, A. (2020). “Longformer: The Long-Document Transformer.” arXiv preprint arXiv:2004.05150. https://arxiv.org/abs/2004.05150
3. Zaheer, M., Guruganesh, G., Dubey, K. A., Ainslie, J., Alberti, C., Ontanon, S., … & Ahmed, A. (2020). “Big Bird”: Transformers untuk Urutan yang Lebih Panjang.” Dalam Kemajuan dalam Sistem Pemrosesan Informasi Saraf Tiruan. https://arxiv.org/abs/2007.14062
4. Kitaev, N., Kaiser, Ł., & Levskaya, A. (2020). “Reformer: Transformator yang Efisien.” Dalam Konferensi Internasional tentang Representasi Pembelajaran. https://arxiv.org/abs/2001.04451
5. Wang, S., Li, B., Khabsa, M., Fang, H., & Ma, H. (2020). “Linformer: Perhatian Diri dengan Kompleksitas Linier.” arXiv preprint arXiv:2006.04768. https://arxiv.org/abs/2006.04768
6. Choromanski, K., Likhosherstov, V., Dohan, D., Song, X., Gane, A., Sarlos, T., … & Hawkins, P. (2021). “Memikirkan Kembali Perhatian dengan Pelaku.” Dalam Konferensi Internasional tentang Representasi Pembelajaran. https://arxiv.org/abs/2009.14794
7. Sukhbaatar, S., Grave, E., Bojanowski, P., & Joulin, A. (2019). “Rentang Perhatian Adaptif dalam Transformers.” arXiv preprint arXiv:1905.07799. https://arxiv.org/abs/1905.07799
8. Rae, J. W., Potapenko, A., Jayakumar, S. M., & Lillicrap, T. P. (2020). “Transformator Kompresif untuk Pemodelan Urutan Jarak Jauh.” Dalam Konferensi Internasional tentang Representasi Pembelajaran. https://arxiv.org/abs/1911.05507
9. Brown, T. B., Mann, B., Ryder, N., Subbiah, M., Kaplan, J. D., Dhariwal, P., … & Amodei, D. (2020). “Model Bahasa adalah Pembelajar yang Sedikit.” Dalam Kemajuan dalam Sistem Pemrosesan Informasi Saraf. https://arxiv.org/abs/2005.14165
10. Devlin, J., Chang, M. W., Lee, K., & Toutanova, K. (2018). “BERT: Pra-pelatihan Transformator Dua Arah Mendalam untuk Pemahaman Bahasa.” arXiv preprint arXiv:1810.04805. https://arxiv.org/abs/1810.04805

Catatan

Teks artikel, termasuk pertanyaan dan jawaban ChatGPT, telah diterjemahkan dari bahasa aslinya dalam bahasa Inggris: Why Does ChatGPT Forget What You Said? The Surprising Truth About Its Memory Limits!