전체 글 (120) 썸네일형 리스트형 Adapting Language Models to Compress Contexts (Chevalier et al. EMNLP 2023) Informations about the paper Paper name: Adapting Language Models to Compress Contexts Venue: EMNLP 2023 Citation: 32 Affiliation: Princeton University Date: 2023.5 Paper link: https://arxiv.org/pdf/2305.14788.pdf Review Autograd explained diagram References https://www.youtube.com/watch?v=MswxJw-8PvE QLoRA: Efficient Finetuning of Quantized LLMs * 논문상의 내용을 바탕으로 하고 있으며, 본인이 이해하고 해석한 흐름에 맞게 내용을 조정하였습니다. Abstract QLora는 65B 모델을 48GB single gpu에 올릴 수 있도록 하는, memory usage를 크게 줄일 수 있도록 도와주는 방법이다.그러면서도 16-bit 모델의 finetuning 성능을 유지한다. Introduction LLM을 사용하는 것은 task 성공적으로 해결하는 데에 많은 도움을 주는 것으로 드러나고 있는 상황이다. 하지만, 이름에서 드러나듯이 LLM을 사용하는 데에 있어서는 hardware, resource적인 비용이 크다. 즉, LLM을 finetuning 하여 task를 수행한다면 좋은 성과를 얻을 수 있지만 많은 사람들이 LLM을 사용하는 데에 있어서는 분.. 이전 1 2 3 4 5 ··· 40 다음 목록 더보기
