[[분류:시스템 과학]][[분류:정보통신]][[분류:전자공학]][[분류:컴퓨터 공학]][[분류:이론전산학]][[분류:언어학]] [include(틀:이론 컴퓨터 과학)] [include(틀:컴퓨터공학)] [목차] == 개요 == 정보이론(Information Theory)은 [[디지털]] [[정보]]의 정량화, 저장, 그리고 [[의사소통]]을 연구하는 과학적 연구이다. 이 분야는 1920년대 Harry Nyquist와 Ralph Hartley에 의해 처음 정립되었으며, 1940년대에 [[클로드 섀넌]](Claude Shannon)이 더욱 구체화했다. 1948년 섀넌은 Bell Systems Technical Journal에 "A Mathematical Theory of Communication"이라는 논문을 제출하면서, '''정보'''라는 것이 어떻게하면 절대적인 정확도로, 그리고 고유하게 정량화 될 수 있는지 보여주었다. 그에 따르면 본질적으로 모든 종류의 의사소통(Communication), 예컨대 신호, 텍스트, 라디오 신호, 그리고 사진까지 모두 비트(bits)로 변환될 수 있다. 이 논문은 디지털 시대의 청사진을 제공했다고 평가받고 있다. 추상적으로 정보는 불확정성의 해상도(the resolution of uncertainty)라고 생각될 수 있다. 불확정성이 큰 것일수록 유의미한 정보가 담겨있고, 불확정성이 작으면 유의미한 정보가 적다고 이해할 수 있다. 노이즈가 있는 채널을 통한 정보교환의 경우에 이러한 정보의 추상적인 개념은 1948년 클로드 섀넌이 형식화했다. 이 경우 정보는 가능한 메세지의 집합으로 생각되며, 이때 정보이론의 목표는 이 메세지를 노이즈가 있는 채널을 통해 전달한뒤 메시지를 수신하는 측에서 오차확률을 최소화하는 방법을 연구하는 것이 된다. 섀넌의 주요한 연구결과중 하나인 '노이즈 채널 코딩 정리'는, 노이즈가 있는 어떠한 채널이든간에 각 채널에는 고유한 '''채널용량(Channel capacity)'''이 존재해서 채널용량의 한계를 벗어나지 않는 비율(rate, 단위는 일반적으로 bits/s)에 한해서는 정보를 오차없이 얼마든지 보낼 수 있다는 것을 밝히고 있다. 이 채널용량을 정의한 것이 섀넌의 업적중에서도 가장 중요한 것중에 하나인데, 채널용량이 존재한다고 예언함으로써 정보이론에서 무엇을 연구해야 하며 무엇이 달성될 수 있는지 예언한 셈이다[* What made possible, what induced the development of coding as a theory, and the development of very complicated codes, was Shannon's Theorem: he told you that it could be done, so people tried to do it. (Interview with Fano, R. 2001)]. --그 덕에 여러 기관에서 정보이론 연구를 지원하기 시작했고 이때 투자했던 것들이 현대의 많은 기술들을 낳았다-- 정보이론은 [[확률론]], [[통계학]], [[컴퓨터과학]], [[통계역학]] 그리고 [[전자공학]]의 교차점에 위치해있다. 정보이론의 하위분야로는 소스코딩, 알고리즘 복잡도 이론, 알고리즘 정보 이론 등이 있다. == 엔트로피 == 정보이론에서 핵심 측정량은 [[엔트로피#정보이론 용어]]이다. 엔트로피는 무작위 변수 혹은 무작위 과정의 결과에 포함되어있는 불확정성의 양을 정량화한다. 예를들어, 양쪽 면이 나올확률이 같은 동전은, 6개의 면이 나올확률이 같은 주사위보다 적은 정보량을 제공하며, 따라서 적은 엔트로피를 가진다. 엔트로피 이외에도 정보이론에서 중요시하는 측정량으로는 상호정보, 채널용량, 상대 엔트로피가 있다. 단, 열역학에서의 엔트로피와는 개념이 조금 다르다. == 응용 == 일상에서 흔히 사용하는 ZIP파일은 정보이론의 소스코딩/데이터 압축의 대표적인 응용중에 하나이며, DSL은 정보이론의 채널 코딩/오류 탐지 및 수정의 응용중 하나이다. 이러한 응용들은 보이저호 탐사, CD의 발명, 스마트폰과 현대 인터넷의 발전 등에도 큰 기여를 했다. [[언어학]]에서도 정보이론을 활용하는데, 소음이 많은 공간에서도 대화가 가능한 이유 등을 설명할 수 있다. 음향적 손실이 많은데도 대화가 가능한 것은 언어를 통한 의사소통이 정보량이 많은 음절/어절을 포착하는 과정이기 때문으로 설명될 수 있고, 화자와 청자 또한 이러한 사실에 민감하기 때문에 주변에 소음이 많을 때 엔트로피가 높은 단위를 말할 때 과잉조음하는 등의 전략을 취한다. == 관련 문서 == * [[전자공학]] * [[컴퓨터과학]] * [[정보학]]