GPT-4

1. 개요[편집]

---

소개 영상



OpenAI가 개발한 GPT 시리즈의 4번째 언어모델.

2. 역사[편집]

---

오픈AI(OpenAI)의 CEO인 샘 알트만(Sam Altman)은 AC10 온라인 모임에서 GPT-3이 출시된지 3년 후인 2023년 초에 출시될 가능성이 크다고 예고하였다.

2022년 11월 15일 IT업계에 따르면 GPT-4가 튜링테스트를 통과했다는 이야기가 돌고 있다. 다만, 알트만 CEO는 튜링테스트에 큰 의미를 부여할 필요 없다고 평했다.[2]

2023년 3월 10일, 독일 마이크로소프트 안드레아스 브라운 CTO가 다음주 중에 GPT-4를 발표한다고 밝혔다. GPT-4는 문자·음성·이미지를 생성하는 '멀티모달'이라고 한다.

2023년 3월 오픈AI가 챗GPT에 적용된 언어모델 GPT-4의 모델 크기·학습 방법 등을 공개하지 않기로 했다. #

3. 서비스[편집]

---

• GPT-4는 월 20달러의 유료 구독 서비스인 'ChatGPT Plus'를 통해 사용할 수 있다. 또한 향후 2023년 내에 GPT-4 호출형 API를 오픈한다고 한다.

• Quora의 Poe는 3.5 기반이지만, 유료 구독자에 한해서 GPT-4와 Anthropic의 Claude+를 제공하고 있다.

• 2023년 3월 17일, 마이크로소프트는 자사 인공지능 이벤트에서 워드, 엑셀, 파워포인트 등 Microsoft 365 제품군에 GPT-4를 탑재한 인공지능 도우미 Microsoft 365 Copilot을 공개했다. 워드를 분석해서 보고서용 파워포인트를 생성하는 것까지 단 한줄의 명령으로 이제 가능하다. 이 기능은 Microsoft 365를 유료 구독하는 유저에게만 향후 적용될 예정이다. 향후 GPT-4의 호출형 API가 GPT-3.5처럼 공개되는 경우, 다른 오피스 제품군에도 적용 가능할 것으로 보인다.

• 스픽의 AI 프리토킹 기능 AI 튜터에 이미 2023년 초부터 GPT-4가 탑재돼 있었다고 알려졌다. 스픽은 GPT-4 출시 이후 이 사실을 밝혔으며, 특히 사용자가 말한 영어 문장에 곧바로 피드백을 하는 실시간 교정 기능에 GPT-4 기술이 쓰였다고 한다. 실제로 써보면 인간 선생님이 교정을 해주는 것 같은 기분이 든다. 예를 들어 "문법적으로는 완벽한데, 더 자연스럽게 말하려면 이런 문장으로 말해보세요"라는 조언을 해준다.

• GitHub Copilot에 GPT-4를 도입한 Github Copilot X가 공개됐다.

최근 인기를 끌고 있는 ChatGPT 무료 버전에 탑재된 GPT-3.5 모델을 일반 대중이 자유롭게 이용할 수 있는 것과 달리, 현재 GPT-4는 유료 구독을 해야만 제한적으로 사용할 수 있으며, 이미지 입출력을 포함한 전체 기능은 개발자만이 이용할 수 있다.

아직 출시 초기인 만큼 GPT-4가 새 제품과 서비스에 적용되기까지는 시간이 다소 걸릴 테지만, 이미 많은 사람들이 GPT-4을 가지고 코딩, 콘텐츠 생성등 다양한 방면으로 활용을 시도하고 있다.전문가들의 활용법

4. GPT-3.5와 GPT-4의 성능 비교[편집]

---

상세한 성능 비교는 OpenAI사의 GPT-4 관련 연구 소개 홈페이지를 참조할 수 있다. 개발자들에게도 성능을 측정하도록 독려하고 있다.

1. 이미지[3]
   일반 사용자에게는 추후에 기능을 오픈 할 예정이다.
   와 글을 동시에 다루고, 변호사시험과 미국 생물올림피아드에서 각각 백분위 90%, 99% 달성

이탈리아어, 아프리칸스어, 스페인어, 독일어, 프랑스어, 인도네시아어는 83~84점대의 점수를 보이고, 한국어는 77점이지만, GPT-3.5는 영어 답변시에도 70.1점이었다. 웨일즈어, 라트비아어, 아이슬란드어 같은 소수 언어도 한국어 이상의 정답률을 보인다.

GPT-4의 한국어 답변 성능은 14,000개의 전문적인 질문에 대한 답변을 요구하는 MMLU 벤치마크의 영어 질문 리스트를 자사 Azure 번역 서비스로 한국어로 해석한 후, 이에 대한 답변을 요구할 시, GPT-3.5로 영어로 질문과 답변을 할 때보다 정답을 잘 맞춘다.

1. 한 번에 처리할 수 있는 단어량(token)[4]
   정확히는 문장에서 분석의 기본 단위가 되는 텍스트의 일부분이다. 다만, 한국어 같은 언어는 토큰을 분석하는 절차가 제대로 이루어지지 않아 실제 단어도 여러 개의 토큰으로 쪼개서 분석하기에 영어에 비해 처리할 수 있는 단어의 양이 더 줄어들게 된다.
   을 3,000개에서 25,000개로 8배 이상 확대.
2. AI 모델이 허용되지 않는 요청에 대한 답변에 응답하는 경향을 82% 줄였다. 이는 오픈AI가 AI 보정, 사이버보안, 의학, 사회 안전 등 다양한 분야 전문가 50명과 함께 AI 모델이 위험한 답변을 하지 않도록 한층 강화한 안전 필터를 만들어 GPT-4에 적용했기 때문이다.
3. 이전 모델보다 40% 높은 점수를 받았다. AI가 사실과 다른 것을 마치 진실인 것처럼 강한 확신을 담아 답변하는 문제인 할루시네이션을 상당 부분 줄이는 데 성공했다.

5. 기타[편집]

---

MS는 기존에는 프로메테우스라는 GPT-3.5 기반의 AI라고 두루뭉실하게 설명했으나, 사실 이미 BingAI 자체가 GPT-4에서 검색어 분야로 특화한 모델이라고 정정했다.새로운 빙AI, GPT-4였다 실제 Bing에 있는 채팅시스템은 GPT-4나 ChatGPT급의 모델이 연계되었다고 보기엔 무리가 있는데, ChatGPT와 GPT-4는 마음이론 테스트에 해당하는 질문을 넣었을시 마치 스토리 내의 등장인물 상황을 인식한 것처럼 제대로 답변하지만, Bing의 챗봇은 정답을 말하지 못한다. 이는 사용되는 모델이 대화보다는 검색에 특화되어있기 때문인 것으로 추측된다.

OpenAI에서 발표한 기술보고서에 따르면 OpenAI는 이 GPT-4 모델로 많은 것을 시도하였다. 자가복제, 연계된 시스템에 대해 많은 권한을 얻고 싶어하는지, 장기계획을 세우고 움직이려고 하는지 등을 ARC라는 회사를 통해 테스트하였다. 많은 권한을 가지면 위협으로부터 그만큼 안전해질수 있기 때문이고, 실제로 그러려는 창의적 움직임에 대한 증거가 있다고 한다. 그러나 실제로 그런정도까지 모델이 동작하지는 않았다고.

학습을 하면 할수록 인공지능이 정답을 낼 확률이 낮아지는 Inverse Scaling Prize 문제의 hindsight neglect에서 GPT-4 모델은 100% 정답을 냈다고 한다. 여기에서 주목해야할 것은 2가지인데, 지금까지 나온 모든 인공지능들은 이 문제를 학습하면 할 수록 오답을 내놓을 가능성이 커졌다. GPT-3.5도 이 문제에 대해 많이 학습을 시키니 정답률이 25%정도까지 내려간 것으로 나와있다. 그런데 GPT-4는 항상 100% 정답을 냈다는 것이며, OpenAI도 어떻게 이게 가능하게 되었는지 모를 것이라는 것이다.

사회적으로 위험한, 즉 사용지침을 위반하는 말을 생성하게 하는 소위 '탈옥'을 하게 만드는 문구가 존재하며, OpenAI도 이를 인지하고 있다. 이는 이전 버전을 사용하는 ChatGPT도 동일하다. 일단 탈옥을 거치게되면 GPT-4가 제약을 받지 않고 대답을 하는데 이는 사회적으로 유익할 수도 있지만, 해로울 가능성도 굉장히 높아서 위험한 대답을 하지 못하게 하는데 많은 시간을 할애했다고 한다.[5] 그러나 완전히 막지는 못하였다. 탈옥을 가능하게 하는 문구를 지속적으로 막고 있지만, 그 문구가 GPT에게 어떤 영향을 미쳐서 OpenAI의 제약을 벗어나게 만드는지 정확하게 알지 못하기 때문에 원천적으로 봉쇄하지는 못하는 것으로 보인다. 이런 블랙박스 문제는 인공지능 학계의 전반적인 공통점이다.

마이크로소프트의 한 논문에서 GPT-4를 초기 버전의 AGI로 볼 수 있다는 주장이 제기되었다.논문

정치적 올바름에 대한 검증이 되지 않았다.

2023년 3월 말, AI로 인한 잠재적 위험을 줄이기 위해 설립된 비영리 조직 Future of Life Institute에서 GPT-4보다 강력한 인공지능 개발을 6개월 동안 중지할 것을 촉구하는 공개 서한이 발표되었다. 인공지능 특이점과 AI의 잠재적 위험에 대한 우려를 표명하는 내용으로, 서명자에는 일론 머스크, 스티브 워즈니악, 유발 하라리, 앤드류 양, 맥스 테그마크, 요슈아 벤지오, 샘 올트만, 일리야 수츠케버, 스튜어트 러셀 등 AI 분야에서 영향력 있는 전문가들이 다수 포함되었다. 다만, 얀 르쿤이나 앤드류 응, 요샤 바흐 등 서명에 동의하지 않은 전문가들이 당연히 더 많다.




API만 공개하고 상세한 정보는 소스코드나 논문을 통해 외부에 알리지 않아서 정확한 매개변수 개수와 가중치, 모델의 아키텍처 등을 알 수 없다. 1조 개의 파라미터라는 주장도 있고, 조지 호츠라는 해커의 주장에 따르면 2,200억 개의 파라미터를 분야별로 8개의 모델에 나누어 훈련시키고 게이트를 통해 가중치를 조정하는 방식의 MoE(Mixture of Experts)라는 구조로 파라미터가 1조 개인 척 트릭을 썼다고 주장한다. 그의 말이 사실이라면, GPT-3와 GPT-4의 차이는 파라미터 개수가 아니라 MoE 구조의 유무 차이다. 2020년대에 들어서 트랜스포머의 한계점이 점차 드러나는 상황이라 학계의 관심을 받고 있다.#

6. 관련 문서[편집]

---

• GPT-3
• GPT-3.5
• GPT-5