L'essentiel
- Rudolf Clausius a défini l'entropie en 1865 comme un flux de chaleur divisé par une température, dS = dQ_rev / T, et l'a nommée d'après le grec pour « transformation ».
- Ludwig Boltzmann lui a donné un sens statistique en 1877 : l'entropie compte les arrangements microscopiques, S = k log W, formule gravée sur sa tombe à Vienne.
- Gibbs, von Neumann et Shannon ont écrit des formules très proches ; l'article de Shannon de 1948 applique les mêmes mathématiques à l'information, mesurée en bits.
- Le second principe dit que l'entropie d'un système isolé ne peut pas diminuer ; les diminutions locales se paient ailleurs.
- Parler d'entropie comme de désordre est une métaphore trompeuse, et la flèche du temps repose sur des conditions d'entropie faible dans le passé.
L’entropie mesure combien d’arrangements microscopiques d’un système sont compatibles avec ce que l’on observe à grande échelle, et, en thermodynamique, c’est aussi la grandeur qui ne diminue jamais dans un système isolé. Le mot recouvre trois idées apparentées : une définition fondée sur la chaleur, datant du XIXe siècle, un décompte statistique de micro-états, et une mesure de l’information datant de 1948. Cette note suit le concept de Clausius à Boltzmann puis à Shannon, explique le second principe et la flèche du temps, et corrige l’image courante de l’entropie comme désordre. Elle fait partie des notes de science.
Clausius et le mot entropie
Le chemin vers l’entropie commence avec les machines thermiques. Carnot a publié son analyse de la machine idéale en 1824, et les travaux de Joule des années 1840, dont ses résultats de 1843, ont établi que la chaleur et le travail sont interchangeables. Rankine a écrit sur une « fonction thermodynamique » en 1850. En 1865, Rudolf Clausius a donné un nom et une définition à la grandeur : pour un processus réversible, la variation d’entropie est la chaleur absorbée divisée par la température absolue, dS = dQ_rev / T. Il a forgé le mot à partir du grec tropē, « transformation », et il est entré en anglais en 1868.
L’entropie est une variable d’état. Sa valeur dépend de l’état du système, non du chemin suivi pour l’atteindre, et elle est extensive : elle s’additionne lorsque l’on réunit des systèmes.
Boltzmann et le décompte des micro-états
Ludwig Boltzmann s’est demandé ce qu’est l’entropie à l’échelle des atomes. En 1877, il l’a reliée au logarithme du nombre d’arrangements microscopiques. La formule sous sa forme actuelle, S = k log W, a pris cette allure sous la plume de Planck vers 1900. W est la multiplicité, le nombre de micro-états compatibles avec le macro-état observé, et k est la constante de Boltzmann. Depuis la redéfinition des unités du SI en 2019, k est fixée à exactement 1,380649 fois 10 puissance moins 23 joules par kelvin.
Boltzmann est mort le 5 septembre 1906 à Duino, et il est enterré au Zentralfriedhof de Vienne, où S = k log W est gravée sur sa tombe.
Le logarithme a un effet pratique. Les multiplicités se multiplient lorsque l’on réunit deux systèmes, et les logarithmes transforment les produits en sommes, ce qui explique que l’entropie soit additive. Un macro-état qui compte beaucoup de micro-états, comme un gaz réparti dans toute une pièce, est incomparablement plus probable qu’un macro-état qui en compte peu, comme le même gaz comprimé dans un coin. La tendance de l’entropie à croître est donc un énoncé de probabilité, rendu quasi certain par l’énorme nombre de particules.
Les formules côte à côte
| Nom | Formule | S’applique à |
|---|---|---|
| Clausius | dS = dQ_rev / T | Processus thermodynamiques |
| Boltzmann | S = k log W | Micro-états équiprobables |
| Gibbs | S = -k_B Σ p_i ln p_i | Micro-états de probabilités p_i |
| Von Neumann | S = -k_B tr(ρ ln ρ) | États quantiques de matrice densité ρ |
| Shannon | H(X) = -Σ p(x) log p(x) | Sources d’information |
La formule de Gibbs se réduit à celle de Boltzmann lorsque tous les micro-états sont équiprobables. On associe aussi à Gibbs l’expression « mixedupness » (le fait d’être mélangé) pour désigner l’entropie. La formule de von Neumann étend la forme de Gibbs à la mécanique quantique, en remplaçant les probabilités par une matrice densité. Wikipédia note que la formule de Gibbs est formellement identique à celle de Shannon, ce qui fait le pont entre la physique et l’information.
Shannon et l’information
En 1948, Claude Shannon a publié « A Mathematical Theory of Communication », qui définissait l’entropie d’une source d’information par H(X) = -Σ p(x) log p(x). L’unité dépend de la base du logarithme : le bit pour la base 2, le nat pour la base e et le hartley pour la base 10. Le théorème de codage de source de Shannon montre que cette entropie est la limite de la compression sans perte : une source ne peut pas, en moyenne, être comprimée sous son entropie par symbole, et elle peut être amenée près de cette limite.
Les deux entropies partagent une forme mathématique mais répondent à des questions différentes. L’entropie thermodynamique se mesure en joules par kelvin et décrit un système physique. L’entropie de Shannon se mesure en bits et décrit l’incertitude d’un message. Le lien est que toutes deux comptent des possibilités pondérées par leur probabilité.
Le second principe
Le second principe de la thermodynamique possède plusieurs énoncés équivalents. L’un dit que la chaleur passe spontanément du chaud vers le froid et jamais l’inverse. Un autre dit que l’entropie d’un système isolé ne peut pas diminuer. Une tasse qui tombe et se brise est permise par ce principe, et l’événement inverse, des éclats qui sautent ensemble pour reformer une tasse, ne l’est pas.
Le principe n’interdit pas les diminutions locales d’entropie. Les êtres vivants, les réfrigérateurs et les cristaux en croissance réduisent tous l’entropie localement, et le second principe est respecté parce que l’augmentation d’entropie ailleurs, dans l’environnement, est au moins aussi grande. Le principe s’applique au total, non aux parties.
L’entropie intervient aussi en chimie. La variation d’enthalpie libre de Gibbs, ΔG = ΔH - TΔS, combine la variation d’enthalpie et la variation d’entropie à la température T, et indique si un processus peut se dérouler spontanément à température et pression constantes.
Pourquoi « désordre » est un mot trompeur
On décrit souvent l’entropie comme du désordre. L’image aide pour une chambre en bazar et échoue dans d’autres cas. Un gaz à l’équilibre a une température et une densité uniformes, ce qui paraît ordonné, et il possède pourtant l’entropie la plus élevée possible. L’énoncé exact est que l’entropie mesure le nombre de micro-états accessibles au système, et que ce décompte doit être rapporté à ce qu’un observateur peut distinguer.
Pour cette raison, les manuels préfèrent de plus en plus des formulations en termes d’énergie qui se répartit entre états disponibles ou d’information manquante, et traitent le désordre comme une image informelle.
La flèche du temps
Les lois microscopiques de la mécanique ne distinguent pas le passé du futur. Si l’on inversait le mouvement de chaque molécule, le nouveau mouvement obéirait lui aussi aux lois. Loschmidt en a fait un paradoxe contre l’explication statistique de Boltzmann : comment une dynamique symétrique par rapport au temps peut-elle produire une augmentation à sens unique de l’entropie ?
La réponse admise porte sur les conditions aux limites. Boltzmann a proposé le premier, en 1877, le lien entre l’entropie et la direction du temps. L’augmentation de l’entropie vers le futur reflète le fait que l’univers a commencé dans un état d’entropie très faible, et qu’à partir d’un tel état presque toute évolution mène à une entropie plus élevée. Dans cette lecture, la direction du temps est fixée par la condition initiale et non par les lois.
Liens avec d’autres notes
L’histoire de la chaleur et de la pression commence dans les laboratoires décrits dans les physiciens de Florence, où thermomètres et baromètres furent d’abord rendus systématiques. Le versant informationnel de l’entropie touche la technologie quantique : la question de savoir si un ordinateur quantique peut battre les machines classiques est discutée dans l’avantage quantique a-t-il été atteint ? et dans la partie 2, l’examen des preuves. Les capteurs qui emploient des atomes froids pour mesurer la gravité, décrits dans la cartographie quantique, fonctionnent en maîtrisant exactement le type de bruit que décrit l’entropie. La carrière d’un théoricien d’un domaine voisin figure dans la note sur Mark Wise.
Ce que cette note laisse de côté
Plusieurs sujets sortent du cadre des sources citées, et la note n’en dit donc rien. Il s’agit notamment des débats sur le coût physique de l’effacement de l’information, des expériences de pensée sur les démons qui trient les molécules, et de la récurrence d’états rares sur de très longues durées. Chacun a sa propre littérature et demanderait des sources distinctes.
À propos de l’image
L’image montre la tombe de Ludwig Boltzmann au Zentralfriedhof de Vienne, avec la formule S = k log W sur le monument. Elle a été choisie parce que cette formule est l’énoncé central de l’entropie statistique et que la tombe est l’endroit où elle est commémorée de la façon la plus visible.
Questions fréquentes
Qu'est-ce que l'entropie, en termes simples ?
L'entropie mesure combien d'arrangements microscopiques d'un système sont compatibles avec ce que l'on observe à grande échelle. En thermodynamique, elle se définit aussi par la chaleur : pour un processus réversible, la variation d'entropie est la chaleur absorbée divisée par la température.
Que signifie S = k log W ?
C'est la formule de l'entropie de Boltzmann. W est le nombre de micro-états compatibles avec un macro-état, k est la constante de Boltzmann et S est l'entropie. Dans le Système international, la constante vaut exactement 1,380649 fois 10 puissance moins 23 joules par kelvin.
L'entropie est-elle la même chose que le désordre ?
Pas exactement. Le désordre est une image approximative qui échoue dans de nombreux cas : un gaz à l'équilibre a une température uniforme, ce qui paraît ordonné, et pourtant c'est l'état d'entropie maximale. Compter les micro-états accessibles est une description plus exacte.
Quel est le lien entre l'entropie thermodynamique et l'entropie de l'information ?
L'entropie de Shannon, en 1948, a la même forme mathématique que l'entropie de Gibbs de la mécanique statistique, avec une autre constante et une autre unité. L'entropie de Shannon fixe la limite de la compression de données sans perte, et se mesure en bits, en nats ou en hartleys.
Pourquoi le temps a-t-il une direction ?
Les lois microscopiques sont symétriques par renversement du temps. La flèche du temps vient du fait que l'univers primitif avait une entropie très faible, si bien que l'entropie augmente vers le futur. Boltzmann a proposé ce lien dès 1877.
Sources et données ouvertes
- Entropy, English Wikipedia
- Second law of thermodynamics, English Wikipedia
- Boltzmann's entropy formula, English Wikipedia
- Entropy (information theory), English Wikipedia
- Von Neumann entropy, English Wikipedia
- Entropy as an arrow of time, English Wikipedia
- Ludwig Boltzmann, English Wikipedia