심벌 마크
유니온백과
통신
다운로드하기 Google Play
새로운! 안드로이드 ™에 유니온백과를 다운로드 할 수 있습니다
다운로드
브라우저보다 빠른!
 

정보 엔트로피

색인 정보 엔트로피

2 섀넌의 엔트로피: 2 개의 공정한 동전을 던질 때 정보 엔트로피는 발생 가능한 모든 결과의 개수에 밑이 2 인 로그를 취한 것과 같다. 2 개의 동전을 던지면 4 가지 결과가 발생할 수 있고, 엔트로피는 2 비트가 된다. 일반적으로 정보 엔트로피는 모든 발생가능한 결과의 평균적인 정보가 된다. 정보 이론에서 시스템은 송신자, 채널, 수신자를 이용하여 모형화.

19 처지: 데이터 압축, 밴 (컴퓨팅), 범용 부호, 보이니치 필사본, 비손실 압축, 클로드 섀넌, 정보, 정보 이론, 정보 이득, 정규 분포, 주성분 분석, 쿨백-라이블러 발산, 상호의존정보, 엔트로피, 엔트로피 (동음이의), 엔트로피 부호화, 산술 부호화, 피셔 정보, 섀넌 (단위).

데이터 압축

이터 압축은 데이터를 더 적은 저장 공간에 효율적으로 기록하기 위한 기술, 또는 그 기술의 실제 적용을 가리.

새로운!!: 정보 엔트로피와 데이터 압축 · 더보기 »

밴 (컴퓨팅)

밴(때로는 하틀리 (기호 Hart)또는 디트 (십진 정보 단위)라고도 부르는)은 로그 단위 를 측정하는 정보 또는 엔트로피를 기반으로,십진법을 기반으로 하고 10의 지수적으로 커지는 정보 단위이.

새로운!!: 정보 엔트로피와 밴 (컴퓨팅) · 더보기 »

범용 부호

이터 압축에서 범용 부호(Universal code)는 양의 정수를 구분자 없이 서로 구별되는 이진 부호로 대응시키는 접두 부호이며, 그 중 정수의 실제 확률 분포와 상관 없이 분포가 단조적이면 (즉 모든 정수 i에 대해 p(i) \ge p(i+1)이 성립) 부호 길이의 기댓값이 최적 부호 길이의 기댓값보다 최대 상수배보다 작은 것을 가리.

새로운!!: 정보 엔트로피와 범용 부호 · 더보기 »

보이니치 필사본

보이니치 필사본은 알려지지 않은 문자로 쓰였다. 보이니치 필사본(Voynich manuscript)은 15세기에 쓰인 것으로 추정되는 책으로, 여러 그림을 포함하고 있으며 알려지지 않은 문자와 언어로 쓰여 있. 책의 이름은 책을 1912년에 입수한 폴란드계 미국인 서적상 윌프레드 M. 보이니치(Wilfrid M. Voynich)의 이름에서 유. 문서가 발견된 이래로 많은 전문 및 비전문 암호학자들이 이 문서를 연구하고 번역해 내려 했으나 한 단어를 해석하는 것조차 모두 실패하였.

새로운!!: 정보 엔트로피와 보이니치 필사본 · 더보기 »

비손실 압축

비손실 압축(非損失 壓縮) 또는 무손실 압축(無損失 壓縮)은 데이터 압축의 일종으로 손실 압축의 반대말이.

새로운!!: 정보 엔트로피와 비손실 압축 · 더보기 »

클로드 섀넌

엘우드 섀넌(1916년 4월 30일 ~ 2001년 2월 24일)은 미국의 수학자이자 전기공학자이.

새로운!!: 정보 엔트로피와 클로드 섀넌 · 더보기 »

정보

정보(情報)는 특정 목적을 위하여 광(光) 또는 전자적 방식으로 처리되어 부호, 문자, 음성, 음향 및 영상 등으로 표현 모든 종류의 자료 또는 지식을 말한다(국가정보화 기본법 제3조).

새로운!!: 정보 엔트로피와 정보 · 더보기 »

정보 이론

정보 이론(情報理論)은 최대한 많은 데이터를 매체에 저장하거나 채널을 통해 통신하기 위해 데이터를 정량화하는 응용 수학의 한 분야이.

새로운!!: 정보 엔트로피와 정보 이론 · 더보기 »

정보 이득

정보 이론과 머신 러닝에서 정보 이득은 쿨백-라이블러 발산(Kullback Leibler Divergence,KLD)의 동의어이.

새로운!!: 정보 엔트로피와 정보 이득 · 더보기 »

정규 분포

확률론과 통계학에서, 정규 분포(正規 分布) 또는 가우스 분포(Gauß 分布)는 연속 확률 분포의 하나이.

새로운!!: 정보 엔트로피와 정규 분포 · 더보기 »

주성분 분석

공분산행렬 고윳값의 제곱근에 해당하며, 고유 벡터의 끝점이 평균점에 위치한 채로 각 주성분의 방향을 나타내고 있다. 통계학에서 주성분 분석(主成分分析, Principal component analysis; PCA)은 고차원의 데이터를 저차원의 데이터로 환원시키는 기법이.

새로운!!: 정보 엔트로피와 주성분 분석 · 더보기 »

쿨백-라이블러 발산

백-라이블러 발산(Kullback–Leibler divergence, KLD)은 두 확률분포의 차이를 계산하는 데에 사용하는 함수로, 어떤 이상적인 분포에 대해, 그 분포를 근사하는 다른 분포를 사용해 샘플링을 한다면 발생할 수 있는 정보 엔트로피 차이를 계산.

새로운!!: 정보 엔트로피와 쿨백-라이블러 발산 · 더보기 »

상호의존정보

확률 이론 과 정보 이론 에서 두 개의 무작위 변수 의 상호의존정보(또는 상호 정보, Mutual information, MI)는 두 변수 사이의 상호 의존성을 측정 한 것이.

새로운!!: 정보 엔트로피와 상호의존정보 · 더보기 »

엔트로피

얼음이 녹으면 엔트로피가 증가한다. 엔트로피()는 열역학적 계의 유용하지 않은 (일로 변환할 수 없는) 에너지의 흐름을 설명할 때 이용되는 상태 함수.

새로운!!: 정보 엔트로피와 엔트로피 · 더보기 »

엔트로피 (동음이의)

엔트로피의 다른 뜻은 다음과 같.

새로운!!: 정보 엔트로피와 엔트로피 (동음이의) · 더보기 »

엔트로피 부호화

엔트로피 인코딩 혹은 엔트로피 부호화(entropy encoding)는 심볼이 나올 확률에 따라 심볼을 나타내는 코드의 길이를 달리하는 부호화 방법이.

새로운!!: 정보 엔트로피와 엔트로피 부호화 · 더보기 »

산술 부호화

산술 부호화(算術符號化)는 무손실 압축에 사용되는 엔트로피 부호화 알고리즘 가운데 하나이.

새로운!!: 정보 엔트로피와 산술 부호화 · 더보기 »

피셔 정보

통계학에서, 피셔 정보()는 어떤 확률변수의 관측값으로부터, 확률변수의 분포의 매개변수에 대해 유추할 수 있는 정보의 양이.

새로운!!: 정보 엔트로피와 피셔 정보 · 더보기 »

섀넌 (단위)

섀년(Shannon,기호: Sh)은 일반적으로 비트(bit)로 알려져 있으며, ISO/IEC 80000-13에 정의 된 정보 엔트로피 의 단위이.

새로운!!: 정보 엔트로피와 섀넌 (단위) · 더보기 »

나가는들어오는
이봐 요! 우리는 지금 Facebook에 있습니다! »