Thermodynamique classique et entropie.

Le concept d'information a une influence croissante en physique.  Quand au 19ième siècle, aucune notion d'information apparaissait en physique, cette notion devient de plus en plus centrale dans la physique moderne.  Une quantité énigmatique était introduite dans la thermodynamique du 19ième siècle, à savoir "entropie".  L'entropie était une des deux variables d'état abstraites d'un système thermodynamique, l'autre variable étant "énergie interne".  En thermodynamique classique, la signification de l'idée entropie n'est pas claire.

La thermodynamique concerne la distinction macroscopique de chaleur et de travail.  La première loi de la thermodynamique nous apprend essentiellement que chaleur et travail sont deux formes d'énergie, énergie qui peut être stockée ou extraite d'un système, et qu'il y a un principe comptable:

L'augmentation de l'énergie interne U d'un système et égale à la somme nette du travail reçu W et la somme nette de chaleur reçue Q.   Cela veut donc dire qu'un système possède une variable interne: énergie interne.

ΔU = ΔW + ΔQ

 La deuxième loi de la thermodynamique distingue chaleur de travail.  Travail peut toujours être converti en chaleur.  Par contre, chaleur ne peut pas être transformée en travail en tant que tel.   Chaleur ne peut être partiellement transformée en travail, à condition que la quantité de chaleur extraite Q₁ a température T₁ soit compensée par une quantité de chaleur Q₂ fournie à température T₂ et que:

Q₂ / T₂ > Q₁ / T₁

Ceci implique qu'un système doit avoir une deuxième variable d'état, qui est appelée entropie S, tel que, quand le système reçoit une quantité de chaleur Q à une température T, il faut que son entropie augmente au moins de Q/T:

ΔS > ΔQ/T

La deuxième loi de la thermodynamique peut prendre des formes différentes, qui sont toutes logiquement équivalentes:

• Kelvin: il est impossible de convertir de la chaleur en travail sans en même temps de dissiper de la chaleur à une température plus basse
• Clausius: il est impossible de transporter de la chaleur d'un corps froid vers un corps chaud sans aucune autre action
L'entropie d'un système fermé ne peut que augmenter

De cette formulation classique de la thermodynamique, il n'est absolument pas clair quel est le lien éventuel entre cette quantité de entropie thermodynamique S et le concept d'information.  Mais la distinction entre information et ignorance est en fait déjà présente: la distinction entre travail et chaleur.  Travail est une énergie dont nous connaissons l'organisation microscopique ; chaleur est une énergie dont nous ignorons son organisation microscopique.  L'entropie thermodynamique ne s’avérera autre chose que la perte d'information (l'augmentation de l'ignorance) de l'organisation microscopique de l'énergie, mais cela ne sera visible que quand nous regardons la physique statistique qui est la description microscopique de la thermodynamique.

Ce qui est intéressant est que la deuxième loi de la thermodynamique introduit une direction du temps.  L'ignorance de la micro-organisation de l'énergie ne peut qu'augmenter avec le temps.

 En thermodynamique classique, les deux variables d'état "énergie interne" et "entropie" sont des quantités abstraites comptables de systèmes, nécessaires pour pouvoir imposer les deux lois de la thermodynamique.  L'explication physique de la thermodynamique en termes de molécules et autres particules élémentaires est appelée physique statistique.

Physique statistique classique.

En physique statistique, on étudie les micro-états d'un système, c'est à dire les états mécaniques de chaque molécule.  Étant donné l'énorme nombre d'atomes et molécules dans un système macroscopique, le nombre d'états mécaniques pensables dans lesquelles ces molécules peuvent se trouver, est gigantesque.   Bien sûr pour un système avec des propriétés macroscopiques, pas tous les micro-états sont possibles: seulement certains micro-états sont compatibles avec les propriétés macroscopiques.  Leur nombre reste néanmoins très grand.

Si nous connaissions un système macroscopique avec certaines propriétés macroscopiques, alors il y a toujours des myriades d'états microscopiques qui pourraient correspondre à ce macro-état.  Il faut faire une hypothèse fondamentale en physique statistique à ce point: il faut considérer l'ensemble des systèmes donnés par ces micro-états, et il faut considérer qu'ils sont tous équiprobables.  Il faut considérer une distribution de probabilités uniforme sur tous les états compatibles avec les grandeurs macroscopiques.  Cette distribution uniforme correspond au fait que nous n'avons pas d'autre information concernant ces états à part qu'ils sont compatibles avec l'état macroscopique donné.  C'est donc rien d'autre que l'hypothèse d'entropie maximale.  Si nous avons un ensemble imaginaire de tous les états compatibles avec notre description macroscopique, ayant une distribution de probabilité uniforme, Gibbs à démontré que l'entropie thermodynamique en ces termes microscopiques est égal à l'entropie de Gibbs:

S = k_B. Σ p_i ln(1/p_i)

S'il y a N états et une distribution uniforme, alors p_i = 1/N.  Donc:

S = k_B.ln(N)

Mise à part le fait qu'il y ait une constante k_B et que le logarithme naturel soit utilisé à la place du logarithme à base 2, l'entropie thermodynamique est égale à l'entropie d'information d'un tirage d'un seul état microscopique de l'ensemble des états microscopiques possibles compatibles avec ce qui est connu du système macroscopique.  En d'autres termes, l'entropie thermodynamique est, à un choix d'unités près, l'ignorance de l'état microscopique.

La chaleur est une énergie telle que le nombre d'états microscopiques compatibles augmente quand un système en reçoit.  Notre ignorance de l'état microscopique d'un système augmente quand ce système reçoit de la chaleur.  Cela n'est pas le cas quand un système reçoit du travail de façon réversible.  Il est impossible de gagner de l'information de l'état microscopique "en soi".  C'est la base de la deuxième loi de la thermodynamique.  Si nous voulons diminuer notre ignorance des états microscopiques d'un système, il faudra qu'on augmente notre ignorance d'états microscopiques ailleurs.  C'est pour cela qu'il est impossible de convertir de la chaleur en travail (diminuer l'ignorance du système), sans donner de la chaleur à un autre système (augmenter l'ignorance de cet autre système), dans un système fermé.

 Le démon de Maxwell et le principe de Landauer.

Au 19ième siècle, Maxwell à proposé une expérience imaginaire (Gedanken experiment) défiant la deuxième loi de la thermodynamique dont l'énigme n'a été résolue que en 1982.  L'énigme s'appelle le démon de Maxwell.  L'idée est la suivante: considérez deux volumes de gaz identiques à température égale, en contact par une paroi dans laquelle il y a une petite ouverture fermée par une petite porte, au niveau moléculaire.  Il y a un petit démon qui peut ouvrir et fermer la petite porte.  Les molécules de gaz ont une distribution statistique de vitesses compatible avec la température du gaz.  Chaque fois que le petit démon voit une molécule qui est plus rapide que la moyenne, arriver de gauche, il ouvre la porte.  Chaque fois que le petit démon voit une molécule moins rapide que la moyenne arriver de droite, il ouvre la petite porte. 

Il est évident qu'après un certain temps, le gaz a droite sera plus chaud que le gaz à gauche.  Nous avons donc transporté de la chaleur d'un corps froid vers un corps chaud sans autre dissipation de chaleur ailleurs, ce qui est interdit par la deuxième loi (la formulation de Clausius).

Où est l'astuce ?

On a inventé plusieurs raisons pour lesquelles le petit démon ne pourrait pas fonctionner: le mouvement de la porte, la mesure des vitesses des molécules, ... mais chaque fois, il y a quelqu'un qui a pu inventer un système - en principe - pour contourner l'objection (c'est à dire, de trouver un mécanisme qui ne souffrait pas de l'objection en question).

La seule objection qui tient bon a été formulée en 1982: quand le petit démon mesure la vitesse d'une molécule il doit enregistrer cette donnée dans une mémoire interne.  Il s'avère que effacer une mémoire génère de l'entropie (thermodynamique).  C'est le principe de Landauer:

Chaque fois qu'un bit de mémoire est effacé, un processus thermodynamique irréversible doit se produire qui génère:

ΔS = k_B ln(2)

d'entropie thermodynamique.  Si la mémoire se trouve à température T, cela veut dire qu'il nous faut dissiper une chaleur au moins égale à: Q = k_B ln(2) / T

Le principe de Landauer peut aussi être formulé comme:

Afin d'effacer une quantité d'information I d'une mémoire physique, il faut qu'il se produise un phénomène physique irréversible qui génère une entropie thermodynamique au moins égale à la quantité d'information effacée, en unités thermodynamiques, donc  k_B ln(2) I

La partie remarquable est que ce n'est pas l'acquisition d'information qui génère de l'entropie, mais le fait de l'effacer.

Le principe de entropie maximale

En physique statistique, il semble y avoir un postulat arbitraire sur lequel tous les résultats sont basés: avec un état macroscopique vient un jeu d'états microscopiques compatibles avec cet état macroscopique.  Il est postulé qu'il faut considérer l'ensemble de ces micro-états avec une distribution uniforme de probabilité.  Avec tel ensemble et la formule de Gibbs, nous arrivons alors à la description correcte de l'entropie thermodynamique.  Mais la question peut être posée: d'où vient cette distribution uniforme ?   Pourquoi pas une autre distribution ?

Jaynes a élevé cela à un principe générale: le bon ensemble de micro-états à utiliser dans tout problème d’équilibre en physique statistique est la distribution d'entropie maximale sur l'ensemble des micro-états compatibles avec les conditions macroscopiques.