문서의 임의 삭제는 제재 대상으로, 문서를 삭제하려면 삭제 토론을 진행해야 합니다. 문서 보기문서 삭제토론 엔트로피 (문단 편집) == [[정보이론]] 용어 == [include(틀:컴퓨터공학)] [youtube(v68zYyaEmEA)] 한 메시지에 들어갈 수 있는 정보량[* 정보를 물리량으로 본 것.]의 [[비트]] 수. 정보 이론의 창시자인 수학자 [[클로드 섀넌]]이 1948년 창안한 개념이다. [[컴퓨터과학]], [[암호학]], [[무손실 압축 포맷|데이터 압축]] 등에서 사용되는 개념. 예를 들어 a부터 z까지의 [[알파벳]] 100글자가 적혀 있는 텍스트 파일이 있다고 하자. 이 파일은 100[[바이트]] = 800[[비트]]의 크기를 가질 것이다. 그러나 이 파일은 26가지 글자만을 담을 수 있는 제약이 있으므로, 실제로 가질 수 있는 상태는 최대 [math(26^{100})]가지이다. 따라서 이 파일의 엔트로피는 [math(\log_2 26^{100} = )] 약 470 비트가 된다. 즉, 영어 알파벳 1글자의 엔트로피는 [[https://www.wolframalpha.com/input/?i=log%5B2,+26%5D|글자당 약 4.7비트]]이다. 대소문자 구별까지 고려할 경우 [[https://www.wolframalpha.com/input?i=log%5B2%2C+52%5D|글자당 약 5.7비트]]가 된다. 만약 이 파일이 [[문법]]에 맞는 영어 문장만을 담고 있다면, 파일의 엔트로피는 더 줄어들게 된다. 랜덤하게 적혀 있는 영어 글자는 말이 되는 문장보다는 말이 안 되는 문장이 훨씬 많기 때문이다. 영어 문장의 엔트로피는 한글자당 1.1 비트 정도로 알려져 있다. 엔트로피 계산은 통계적인 방법에 따라 차이가 난다. 연구 방법에 따라 0.6 비트에서 1.5 비트까지 다양하다. 엔트로피는 이론상 어떤 정보를 나타낼 수 있는 최소한의 비트 수를 의미하기 때문에, [[무손실 압축 포맷]]의 용량은 그 정보의 엔트로피 값보다 작아질 수 없다. [[손실 압축 포맷]]의 경우는 정보가 일부 유실되므로, 엔트로피보다 작은 크기로 줄어들 수 있다. 한글의 경우 [[한국어]]에서의 각 자모가 처음으로 등장할 확률 및 마르코프 방법을 이용하면 더 많이 최적화가 가능하다. 대체로 엔트로피하면 1번 문단의 정의를 떠올리고 2번 문단은 전공자가 아니면 잘 모르는 경우가 많은데, [[2018학년도 대학수학능력시험]] [[국어 영역]]에서 친히 등장해주셨다. 일각의 물리학자들은 [[모든 것의 이론]]의 후보로 꼽기도 한다. 만일 모든 것을 설명할 수 있는 이론 P가 있다고 하자. 이 P가 성립하는 근거는 무엇인가? 우리가 물리법칙에 대해 어떤 이론을 만들던 간에 더 근본적인 이론은 항상 존재해야만 한다.[* 예를들어 중력의 경우, 뉴턴의 만유인력 법칙이던 아인슈타인의 상대성 이론이던 각각 왜 물체가 다른 물체를 끌어당기는지, 왜 질량이 주변의 시공간을 왜곡시키는지는 설명하지 못한다. 이는 물리학의 한계라기 보다는 인간 논리의 한계이다. 왜라는 질문을 끊임없이 반복하면 언젠가는 한계에 부딫힌다.] 따라서 모든 것을 설명하는 만물 이론이 정말로 있다면, 그 이론은 아마도 아무런 근거 없이 성립해야 한다. 즉, 모든 자연형상은 본질적으로 엔트로피가 증가하는 확률론적 이유로 일어나는 것일 뿐 그 이상의 근본적인 이유는 없다는 것이다. 결과적으로, 여타 물리법칙들은 정보 엔트로피가 증가하는 방향으로 일어나며, 열역학 제2법칙이야 말로 이 우주의 근본 법칙이다. 과정에서 마치 다른 물리법칙들이 존재하는 것 처럼 보일 뿐이라는 것이 이들의 주장이다. 아직 검증을 거치고 있지만, 중력을 시공간 정보 엔트로피의 증가로 설명하는 엔트로피 중력 이론이 제안된 [[https://en.wikipedia.org/wiki/Entropic_gravity|상태이다.]]저장 버튼을 클릭하면 당신이 기여한 내용을 CC-BY-NC-SA 2.0 KR으로 배포하고,기여한 문서에 대한 하이퍼링크나 URL을 이용하여 저작자 표시를 하는 것으로 충분하다는 데 동의하는 것입니다.이 동의는 철회할 수 없습니다.캡챠저장미리보기