[컴][머신러닝] LLM 관련 참고 링크들 from 구글내부 문서, 오픈소스 AI가 유리한 이유

 

구글내부 문서, 오픈소스 AI가 유리한 이유

LLM 관련 참고 링크들 from 구글내부 문서, 오픈소스 AI가 유리한 이유

대략적으로 이야기하면, 오픈소스 AI 가 여러 다양한 시도를 빠르게 하고, 다른 사람의 작업이 누적되기에 더 나은 결과를 빠르게 가져올 것이라 한다. 자세한 내용은 ref. 1을 보자.

여기서는 ref. 1에 나온 링크들을 정리했다.

링크

• running foundation models on a Pixel 6 at 5 tokens/sec: https://twitter.com/thiteanish/status/1635678053853536256
• Stanford Alpaca results using low-rank adaptation (LoRA): https://github.com/tloen/alpaca-lora
• 자신들이 ai 로 만든 여러 창작품들을 공유하는 곳, model 이 공유된다. 즉, 해당 user가 올린 model 파일을 download할 수 있다.: https://civitai.com/
• open LLM 비교한 테이블: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
• LLaMA-Adapter 로 적은 비용, 적은 parameter로 괜찮은 품질을 만들어냄: https://arxiv.org/pdf/2303.16199.pdf
• LLaMA is leaked to the public: https://www.vice.com/en/article/xgwqgw/facebooks-powerful-large-language-model-leaks-online-4chan-llama
• Alpaca adds instruction tuning to LLaMA: https://crfm.stanford.edu/2023/03/13/alpaca.html
• LLaMA 모델을 4 bit integer quantization을 이용해서 MacBook 에서 사용할 수 있도록 하는 것: https://github.com/ggerganov/llama.cpp
• 사용자가 공유한 ChatGPT 대화 7만개를 통해 fine-tuning 한 Vicuna 가 Alpaca 보다 좀 더 디테일하고, 잘 구조화된 답변을 만든다고 한다. 이것이 ChatGPT 수준이라고.: https://lmsys.org/blog/2023-03-30-vicuna/
• 사용자가 공유한 chatgpt 대화: https://sharegpt.com/
• GPT4All ecosystem of models in one place: https://github.com/nomic-ai/gpt4all
• Optimal training of GPT-3 architecture: https://arxiv.org/abs/2203.03466 : 모델사이즈가 변해도 유지되는 특정 파라미터들을 가지고 좀 더 저렴하게 튜닝한다는 이야기
• 버클리에서 나온 LLaMA 에 기반한 모델 Koala, Koala benchmarked against ChatGPT: https://bair.berkeley.edu/blog/2023/04/03/koala/
• Open dataset for RLHF training(rein-forcement learning from human feedback): https://drive.google.com/file/d/10iR5hKwFqAKhL3umx8muOWSRm7hs5FqX/view

Reference

1. Google “We Have No Moat, And Neither Does OpenAI”