안녕하세요.

열린마음이 입니다.

지난 시간에 오픈AI에서 선보인 챗GPT에 관해 알아보았는데요.

(1편 링크입니다: https://open-mind-the-rich.tistory.com/entry/ChatGPT-%EC%B1%97GPT%EB%9E%80-%EC%B1%97GPT%EB%9C%BB)

오늘은 구글의 딥마인드에서 개발중인 제미나이(Gemini)에 관해 알아보겠습니다.

Gemini(제미나이/제미니)란

제미나이(Gemini, Generalized Multimodal Intelligence Network)란 구글의 딥마인드(Deep Mind)에 의해 개발된 다중모드 즉, 멀티모달(multimodal)형 언어 모델 서비스입니다. 제미나이는 LaMDA, PaLM2의 후속 모델로서 Gemini Ultra, Gemini Pro, Gemini Nano로 구성되어 있습니다. 2023년 12월 6일에 제미나이가 발표되었고, 시장에서 마이크로소프트사의 오픈 AI(OpenAI) ChatGPT에 대항하는 경쟁자로 자리매김하고 있습니다.
 

Gemini의 개발과정 

2023년 5월 10일에 열렸던 구글 I/O 기조연설에서 자회사인 구글 딥마인드가 개발한 대형 언어모델(LLM)로서 Gemini(제미나이/제미니)를 발표했습니다. 이로서 Gemini는 이미 공개되어 있는 Paul M2보다 강력한 후계자로 자리매김한 것입니다. 구글의 CEO Sundar Pichai는 Gemini가 아직 초기 개발단계에 있다고 말했습니다.

제미나이는 다른 LLM들과 달리 텍스트 코퍼스(text corpus)만으로 훈련받은 것이 아니라 다중모드인 멀티모달(multimodal)로 설계됐다는 점에서 독특합니다.  다시 설명하자면, 텍스트, 이미지, 오디오, 비디오 및 컴퓨터 코드를 포함한 여러 유형의 데이터를 동시에 처리할 수 있다는 뜻입니다. 또한 제미나이는 지난달 구글의 딥마인드로 합병된 구글의 두 지점인 딥마인드(DeepMind)와 브레인(Brain) 간의 협업을 통해서 개발되었습니다.
 
Wired와의 인터뷰에서 딥마인드의 CEO인  Demis Hassabis는 제미나이의 고급 기능을 소개하였습니다. 그는 이 알고리즘이 구글의 오픈 AI인 챗GPT를 능가할 것이라고 보고 있습니다. 챗GPT는 구글이 LaMDA 및 Brad와 함께 공격적으로 도전하여 GPT-4로 운영되는 생성형 인공지능을 말하며, 요즘 챗GPT의 유명세는 점점  확장되고 있습니다. Hassabis는 2016년 바둑계 챔피언인 이세돌을 꺾으면서 전 세계적으로 주목을 받은 딥마인드의 알파고 프로그램의 강점을 강조하면서 제미나이가 알파고 및 구글-딥마인드의 다른 LLM들의 경쟁력을 조합할 것이라고 밝혔습니다.
 
 

Gemini에 대한 소식 

 2023년 8월에 한 학술지인 The Information에서 Gemini에 대한 구글의 개략적인 로드맵을 설명하는 보고서가 발간되었습니다.  이 논문에서는 구글이 2023년 후반에 출시일을 목표로 하고 있음을 밝히고 있습니다. 또한, 구글은 대부분의 LLM에 있는 대화형 텍스트 기능을 결합함으로써 콘텍스트 이미지를 생성하고, 이를 보다 다양한 케이스에 적용시킴으로써 오픈 AI(OpenAI) 및 다른 경쟁사를 능가하기를 희망했습니다.
 
Brad와 마찬가지로, 구글의 공동창립자인 Sergey Brin은 은퇴한 이후 개발을 위해 다시 소환되어 구글 딥마인드(DeepMind)와 브레인(Brain)의 수백 명의 다른 엔지니어와 함께 제미나이 개발을 지원하였습니다. 그는 나중에 제미나이의 핵심 기여자로 칭송받기도 했습니다.
 
제미나이 개발 과정에서 제미나이는 유튜브 동영상의 사본에 대한 트레이닝을 받았기 때문에, 잠재적으로 저작권이 있는 자료를 필터링하기 위해 변호사도 투입되었습니다. 
 
제미나이의 출시가 임박했다는 소식에 오픈 AI는 GPT-4와 제미나이와 같은 멀티모달 기능을 통합하는 작업을 가속화했습니다. 같은 해 9월, The Information은 여러 기업이 초기 버전의 LLM에 대한 조기 접근을 허용받았다고 밝히면서, 이는 구글이 구글 클라우드의 버텍스 AI 서비스를 통해 클라이언트들에게 제공하고자 했던 서비스였습니다. 이 학술지는 또한 구글이 GPT-4와 마이크로소프트사의 GitHub Copilot 양쪽 모두와 경쟁하기 위해 제미나이를 강화하고 있다고 보고했습니다. 지난 12월 2일, 구글이 비영어 프롬프트 문제로 제미나이의 출시를 2024년 1월로 연기했다고 보도하면서 3개 도시인 뉴욕, 워싱턴 D.C., 캘리포니아에서의 출시 행사가 계획되었다고 덧붙였습니다.
 
 

이상으로 오늘은 구글의 딥마인드에서 선보인 Gemini(제미나이)에 관해 알아보았습니다.

챗 gpt와 더불어 제미나이의 개발 소식을 들으니, 인공지능의 시대가 도입되었다는 것이 실감나는 요즘입니다.

우리의 삶에서 인공지능으로 인해 풍요로움이 늘어가겠지만, 반대로 아직은 불확실하지만 어떠한 위험요소가 생길지도 모른다는 생각이 듭니다.

다음에도 흥미로운 주제로 찾아뵙겠습니다.

감사합니다.^^ 

안녕하세요. 

열린마음이 입니다.

요즘 인공지능에 관한 관심이 뜨거운 가운데, 오픈AI라는 기업에서 챗GPT를 선보였습니다.

따라서 챗GPT(Chat GPT)란 무엇인지, 챗GPT가 어떻게 시작되고 훈련되어 기능하게 되는지 알아보도록 하겠습니다.

챗 GPT란

요즘 과학계에서 IT가 많은 사람들의 관심을 받고 있습니다. 특히 인공지능(人工智能 또는 AI, artificial intelligence)에 대한 이목이 집중되고 있는데, 최근 오픈AI(OpenAI)에 의해 개발된 챗봇(chatbot)인 챗GPT(ChatGPT)가 그 중 하나입니다.
 
챗 GPT(Chat GPT)는 Chat Generative Pre-trained Transformer의 약자로, 2022년 11월 30일에 출시 되었습니다. 이는 대규모 언어 모델을 기반으로, 사용자로 하여금 대화를 적절한 길이, 형식, 스타일, 세부 수준, 그리고 언어에 맞게 조정하여 사용할 수 있게 합니다. 프롬프트 엔지니어링(prompt engineering)이라고 하는 연속적인 프롬프트와 응답은 각 대화 단계에서 문맥에 맞게 고려되어 반응하도록 설계되었습니다.
 

챗 GPT의 시작

챗GPT는 2023년 1월까지 OpenAI는 역사상 가장 빠르게 성장하는 소비자용 소프트웨어 애플리케이션이 되었고, 1억 명 이상의 사용자를 확보하였습니다. 이에 따라 OpenAI의 가치를 290억 달러로 성장하는데 기여했습니다. 챗GPT의 출시는 Bard, Erine Bot, LLaMA, Claude, Grok 등의 경쟁 제품의 개발에 박차를 가했습니다.
 
마이크로소프트(Microsoft)는 OpenAI의 GPT-4를 기반으로 Bing Chat을 출시했습니다. 일부 전문가들은 챗GPT나 유사 프로그램이 인간의 지능을 대체하거나, 위축시켜 표절을 가능하게 하거나 또는 잘못된 정보를 조장할 가능성에 대한 우려를 표했습니다. 
 
챗GPT는 GPT-3.5 또는 GPT-4 둘 중 하나를 기반으로 구축되었습니다. 이 두 모델은 구글(Google)이 개발한 번역기 구조(transformer architecture)를 기반으로 한 OpenAI의 고유한 시리즈에 속하는 모델로서, 챗GPT는 지도 학습(supervised learning)과 강화 학습(reinforcement learning)을 결합하여 대화형 애플리케이션에 맞게 미세 조정되었습니다. 
 
챗GPT는 사용자들이 무료로 이용할 수 있는 리서치 프리뷰, 즉 미리보기 식으로 출시되었지만, 현재는 프리미엄 모델로 서비스를 운영하고 있습니다. 따라서 무료로 이용하는 사용자에게는 GPT-3.5 기반의 버전에 접속할 수 있으며, 보다 정교한 GPT-4 기반 버전은 'Chat GPT Plus'라는 유료 서비스로 이용가능합니다.
 
이러한 챗GPT는 인공지능 분야에서 지속적으로 성장중이며, 현재 가장 화제의 중심이 되면서 AI 열풍을 일으키고 있습니다. 
 
 

챗GPT 훈련

챗GPT는 위에도 말씀드렸듯이 대화 사용을 목적으로 한 GPT-3.5 및 GPT-4라는 특정 GPT 모델을 기초하여 세밀하게 조정되었습니다. 미세 조정 프로세스에서는 RLHF(Reinforcement Learning from Human Feedback)라는 사람의 피드백을 바탕으로 지도학습과 강화학습을 모두 활용했습니다.
 
두 접근법 모두 사람을 트레이너로 삼아 모델 퍼포먼스를 향상시키도록 했습니다. 지도 학습의 경우 트레이너는 사용자와 AI 보조자라는 두 가지 측면을 모두 담당했습니다. 강화 학습 단계에서는 인간트레이너가 이전 대화에서 모델이 생성한 응답의 순위를 매겼습니다. 이러한 순위는 PPO(Proximal Policy Optimization)를 사용하여 여러 반복을 사용하여 모델을 추가로 미세 조정하는 데 사용되는 '보상 모델'을 만드는 것에 사용되었습니다.
 
타임지는 성적 학대, 폭력, 인종차별, 성차별 등과 같은 유해 콘텐츠에 대한 안전 시스템을 구축하기 위해 오픈AI(OpenAI)가 시간당 2달러 미만의 급여를 받는 케냐 아웃소싱 근로자를 고용하여 유해 콘텐츠에 라벨을 붙였다고 밝혔습니다. 이러한 라벨은 향후 이러한 유해 콘텐츠를 감지하기 위한 모델을 교육 및 훈련하는 데 사용되었습니다.
 
한편, 아웃 소싱된 노동자들은 '독성'과 충격적인 콘텐츠에 노출되었고, 이 임무를 수행한 한 노동자는 이 임무에 대해 '고문'과 같다고 묘사하였습니다. OpenAI의 아웃 소싱 파트너는 캘리포니아주 샌프란시스코에 본사를 둔 교육 데이터회사인 Sama였습니다.
 
챗GPT는 처음에는 마이크로소프트가 OpenAI용으로 구축한 프로그램입니다. 챗GPT는 수억 달러의 비용이 드는 것으로 알려진 엔비디아 GPU(Nvidia GPU)로 구동되는 Microsoft Azure 슈퍼컴퓨팅 인프라를 사용하였고, 챗GPT의 성공에 이어 마이크로소프트는 2023년에 OpenAI 인프라를 대폭 업그레이드 했습니다.
 
리버사이드 캘리포니아 대학(University of California, Riverside)의 과학자들은 챗GPT에 대한 일련의 프롬프트를 표시하려면 Microsoft 서버를 냉각하기 위해 약 500밀리리터의 물이 필요하다고 추정했습니다. Trend Force의 시장 정보에 따르면 2023년에 챗GPT를 구동하는 데 30,000개의 Nvidia GPU(각각 약 $10,000~$15,000)가 사용되었을 것으로 추정하고 있습니다. 
 
OpenAI는 챗GPT 사용자로부터 데이터를 수집하여 서비스를 더 교육시키고 세부 조정을 더 수행합니다. 사용자는 챗GPT에서 받은 응답을 찬성으로 올리거나 반대 투표를 하고, 추가 피드백으로 필드를 채울 수 있습니다. 챗GPT의 훈련 데이터에는 소프트웨어 매뉴얼 페이지, 게시판 시스템 등의 인터넷 현상에 대한 정보 및 여러 프로그래밍 언어가 포함되어 있습니다. 위키피디아는 챗GPT 훈련 데이터의 소스 중 하나이기도 합니다.
 
 
 
이상으로 Chat GPT에 대해 알아보았는데요, Chat GPT가 무료로 이용할 수 있는 만큼 우리의 삶과 업무 환경에 쉽게 이용가능할 것으로 생각됩니다. 따라서 인공지능이 우리 생활에 더욱 근접해지면서 긍정적인 효과와 부정적인 효과 모두 일어날 것으로 예상되기도 합니다.

앞으로도 재미있는 주제로 찾아뵙겠습니다.

감사합니다.^^