정보기하학
덤프버전 :
1. 개요[편집]
정보기하학(情報幾何學, information geometry; IG)은 확률분포를 요소로 하는 통계모델에 관한 미분기하학을 의미하며, 좁은 의미로는 쌍대 아핀접속(dual affine connection)의 미분기하학을 뜻한다일본 위키피디아. '수리통계학의 미분기하학화', '통계적 추정의 기하학적 방법론', '정보이론에 있어서 미분기하를 이용한 정식화(定式化, canonicalization)'와 같이 표현되는데에서 보듯이, 정보기하학은 통계학, 정보이론, 확률이론을 넘나드는 학제적인 분야이다.
역사적으로 정보기하학은 C.R.Rao의 연구[1]에서 시작됐는데, 해당 연구에서 Rao는 피셔계량을 처음으로 리만계량으로서 간주했다. 정보기하학의 현대적인 이론에는 아마리 슌이치(甘利 俊一, Amari Shun'ichi)[2]가 크게 기여했으며, 지금까지도 이 분야에서 그의 연구는 지대한 영향을 미치고 있다.
고전적으로 정보기하학에서는 매개변수를 지닌 통계적 모형(statistical model)을 리만 다양체로 간주한다. 그러한 모델에서는 리만계량의 자연스러운 선택이 존재하는데, 그것이 피셔 정보계량(Fisher information metric)이다[3]. 지수족(exponential family)과 같은 특정 통계모델에 대해서는 헤시안 계량으로 통계다양체를 유도하는 것이 가능하다. 이때 다양체는 자동적으로 2개의 평탄한 아핀접속(flat affine connection)과 정준 Bregman divergence[4]를 갖는다. 지금까지 정보기하학은 대부분 이 예제들을 연구하면서 발전해왔다.
현대의 정보기하학은 지수족에만 한정되지 않고 다양한 맥락에서 적용되는데, 예를들어 비지수족(non-exponential families), 비매개변수 통계학(non-parametric statistics), 그리고 기존에 알려진 통계모델에서는 유도가 불가능한 여러 추상적 통계다양체까지 다양한 것들을 정보기하학에서 다루고있다. 이 연구들은 정보이론, 아핀 미분기하, convex 해석학 및 다른 여러분야의 방법론들을 적용해서 이루어진다.
2. 수학적 정식화[편집]
정보기하학의 이론적인 구조는 통계학의 언어를 필요로 하지 않고, 순수한 미분기하학의 개념만으로 정식화 가능하다. 통계다양체(statistical manifold)의 정의는 여러개가 존재하지만, 현재 시점에서 가장 표준적인 정의는 쿠로세(1994)에 의한 것으로, [math(C^{\infty})] 다양체 M과 M 위에 뒤틀림이 없는 아핀접속 [math(\nabla)]와 유사 리만메트릭(pseudo-Rimmanian metric) [math(g)]의 조합 [math((M,\nabla,g))]에서 [math((0,3))] 텐서장 [math(\nabla g)]가 대칭인 것으로 정의하며, 조합 [math((\nabla,g))]을 통계구조(statistical structure)라고 한다.
[math(\nabla^*)]가 [math(\nabla)]의 [math(g)]에 관한 쌍대(雙對, dual) 접속이라고 하는것은 임의의 [math(M)]상의 벡터장 [math(X, Y, Z)]에서 라이프니츠 법칙과 유사한 것이 성립한다는 뜻이며, 조합 [math((M,g,\nabla^*))]를 쌍대 통계다양체라고 한다. [math(\nabla)]가 평탄(flat)하다면 [math(\nabla^*)]도 평탄하며, 조합 [math((M,g,\nabla,\nabla^*))]를 쌍대평탄공간이라고 하며, 조합 [math((g,\nabla,\nabla^*))]를 쌍대구조라고 한다.
[math(\nabla)]가 평탄하다는 것은, 텐서장 [math(\nabla g)]가 대칭이고 어떤 함수 [math(\phi)]가 국소적으로 존재해서 [math(g=\nabla d\phi)]로 표현가능한 것과 동치이며, 이것은 헤시안이다. [math(\nabla)]가 평탄한 통계다양체는 1970년대에 시마 히로히코(志磨裕彦)가 정의한 헤세 다양체(Hessian manifold)와 일치하며, 그 구조를 헤세 구조, 함수 [math(\phi)]를 헤세 포텐셜이라고 한다. 헤세 구조는 물리학에서 AdS/CFT 대응에 있어서 BTZ 블랙홀에서 발견된 것이 알려져있다.
3. 참고도서[편집]
아마리 슌이치와 히로시 나가오카의 책 "Methods of Information Geometry(2000)"[5]가 대표적으로 쓰이며, 최근에 쓰인 책으로는 Nihat Ay 등의 "Information Geometry(2017)"[6]가 있다. 2018년에는 Frank Nielsen이 Information Geometry 저널을 발간하기도 했다.
이 문서의 내용 중 전체 또는 일부는 2023-12-16 07:52:33에 나무위키 정보기하학 문서에서 가져왔습니다.[1] Rao, C. R. (1945). "Information and Accuracy Attainable in the Estimation of Statistical Parameters". Bulletin of the Calcutta Mathematical Society. 37: 81–91. Reprinted in Breakthroughs in Statistics. Springer. 1992. pp. 235–247.[2] https://en.wikipedia.org/wiki/Shun%27ichi_Amari#Awards_and_honors[3] https://en.wikipedia.org/wiki/Fisher_information_metric[4] https://en.wikipedia.org/wiki/Bregman_divergence[5] Amari, Shun'ichi; Nagaoka, Hiroshi (2000). Methods of Information Geometry. Translations of Mathematical Monographs. Vol. 191. American Mathematical Society. ISBN 0-8218-0531-2.[6] Ay, Nihat; Jost, Jürgen; Lê, Hông Vân; Schwachhöfer, Lorenz (2017). Information Geometry. Ergebnisse der Mathematik und ihrer Grenzgebiete. Vol. 64. Springer. ISBN 978-3-319-56477-7.