domingo, 15 de abril de 2012

¿Cómo se define el concepto de entropía y qué relación guarda con el de información?

Segùn la termodinámica, mecánica estadística y teoría de la información, Entriopía es un concepto.Este se concibe como una “medida del desorden” o la “peculiaridad de ciertas combinaciones”. La Entropía puede ser considerada como una medida de la incertidumbre y de la información necesaria para, en cualquier proceso, poder acotar, reducir o eliminar la incertidumbre. 

La Entropía también es entendida como la cantidad de información promedio que contienen los símbolos usados. Los símbolos con menor probabilidad son los que aportan mayor información; por ejemplo, si se considera como sistema de símbolos a las palabras en un texto, palabras frecuentes como “que”, “el”, “a” aportan poca información. Mientras que palabras menos frecuentes como “corren”, “niño”, “perro” aportan más información. Si de un texto dado borramos un “que”, seguramente no afectará a la comprensión y se sobreentenderá, no siendo así si borramos la palabra “niño” del mismo texto original. Cuando todos los símbolos son igualmente probables (distribución de probabilidad plana), todos aportan información relevante y la entropía es máxima. Estos términos se pueden relacionar claramente con los conceptos básicos de base de datos, ya que al principio se pueden apreciar datos crudos o desordenado que al principio es difícil de entender pero luego de pasar por un proceso se puede mantener un orden establecido.

No hay comentarios:

Publicar un comentario