Le problème

La question étudiée est: quel est le flux d'informations maximal qu'un canal analogique peut soutenir, si nous avons à notre disposition une certaine puissance de signal et que le canal est contaminé avec un certain bruit, étant donné que le canal (ou le signal) a une bande passante limitée ?

Ce flux peut être défini comme la plus plus grande quantité d'information qui peut être obtenu par seconde d'une source d'entropie avec une densité de probabilité bien choisie du coté de l'émetteur.  Comme nous parlons d'un signal analogique, il correspond à une grandeur physique (par exemple une tension électrique), il nous faut donner une limitation de la variation de cette grandeur du coté émetteur et il nous faut définir un niveau de bruit, c'est à dire une description des fluctuations statistiques de cette grandeur qui sont ajoutés au signal utile.  La façon précise de faire cela déterminera le résultat que nous appelons la capacité du canal.

Estimations historiques.

Historiquement la première estimation précise de la capacité d'un lien analogique était faite par Hartley, qui considérait deux aspects.  Le premier aspect est la bande passante du canal.  Si un canal peut accepter toutes les fréquences jusqu'à une fréquence B, et rejette toutes les fréquences au-delà de B, nous appelons B la bande passante du canal.  Le théorème de Nyquist nous apprend qu'un tel canal peut transporter 2 B "valeurs analogiques" indépendantes par seconde.

Le deuxième aspect considéré par Hartley était le nombre de "valeurs" qui étaient parfaitement distinguables que peut transmettre un canal avec des limites sur la variation du signal et le niveau de bruit.  Hartley considérait non une puissance, mais une intervalle de valeurs du signal, D, et il considérait un bruit, aussi limité à une intervalle (donc distribution uniforme si entropie maximale), d.  Ainsi, le nombre de niveaux qu'on peut distinguer avec certitude est: M = D/d + 1.

Pour une seule valeur tirée de M différentes valeurs, l'entropie maximale arrive quand l'ensemble a une distribution uniforme, et alors cette entropie est  log2 M.  Comme nous pouvons transmettre 2 B de ces valeurs indépendantes par seconde, il s'avère que le taux d'entropie d'une source qui peut être transmise parfaitement sur le canal est 2 B log2 M.

La capacité Hartley d'un canal est donc: C = 2 B log2 M

Cela se simplifie à un résultat trivial quand M = 2, c'est à dire quand un canal ne peut transporter de façon certaine que deux valeurs.  Dans ce cas, nous pouvons, effectivement, envoyer 2 B bits par seconde sur le canal.  Si la bande passante du canal est de 1 GHz, la capacité du canal est alors 2 Gb/s.

Shannon

Si nous avons un canal avec une coupure en fréquence nette avec une bande passante B (comme dans le cas de Hartley), mais cette fois, nous avons une puissance du signal limitée à S, et une puissance de bruit N, et tout que nous savons de ce bruit, c'est cette puissance, alors Shannon a démontré que la capacité d'un canal est:

C = B log2 (1 + S / N)

Si notre canal à 1 GHz peut transporter des signaux jusque 10 milliwatt et est contaminé d'un bruit de 1 microwatt, la formule nous indique que la capacité est de 13 Gb/s.  Le fait d'ignorer tout du bruit sauf sa puissance (donc son écart-type) indique qu'il nous faut considérer un bruit Gaussien (et blanc).  C'est ce type de bruit qui est utilisé par Shannon dans la déduction de sa formule.

Pour atteindre la pleine capacité d'un canal, la source doit être adaptée (les valeurs émises doivent être tirées du bon ensemble) et le récepteur peut avoir besoin d'une certaine sophistication pour transformer le signal reçu en "données" tirés d'un certain ensemble (correction d'erreurs par exemple).  La formule de Shannon est une limite supérieure théoriquement atteignable mais il n'est pas évident comment la mettre en oeuvre.  C'est un problème d’ingénierie intéressant.

Si le signal et le bruit ont une densité de puissance qui dépend de la fréquence, la formule de Shannon se généralise ainsi:

C = ∫ log2(1 + S(f)/N(f) ) df

Cette formule est indépendante de la nature physique du canal: si nous avons à faire à une fibre optique, un lien filaire, ou un lien radio par  exemple.  Elle est aussi indépendante de la distance de transmission: 1 mm ou 1 milliard de km.

La formulation avec dépendance de la fréquence peut aussi être utilisée si les échantillons de signal ou du bruit sont corrélés dans le temps.  Effectivement, la corrélation dans le temps n'est rien d'autre qu'une bande passante non-uniforme ; le spectre en fréquences n'étant rien d'autre que la transformée de Fourier de la fonction auto-corrélation.  Cela peut résoudre l'objection la plus évidente à l'approche naïve de Hartley: le fait de devoir prendre comme hypothèse que les valeurs successives de bruit et de signal soient indépendantes d'échantillon à échantillon.  La corrélation dans le temps est prise en compte par un spectre non-plat.

Il est aussi évident de cette formule qu'on doit mettre le signal dans cette partie du spectre où le bruit est le plus bas (si on a la main sur S(f) ).  Les contributions les plus importantes à la capacité du canal viennent de ces parties du spectre où il y a beaucoup de signal et peu de bruit.  Il faut constater aussi que beaucoup de bruit où il n'y a pas de signal n'influencent en rien la capacité du canal.  L'adaptation de la source au canal peut donc consister en une modulation de l'information tel que les parties avec peu de bruit sont mieux utilisés.

 Il faut faire attention lors de l'application de la formule de Shannon.  Pour qu'elle soit correcte, il faut que le bruit soit non-connaissable, c'est à dire, que la puissance de bruit est la description d'une vraie distribution d'entropie maximum (une distribution Gaussienne dans notre case où l'écart-type est déterminé par la puissance), et qu'il n'y a pas de moyen de connaître ce bruit, ou que nous ne voulons pas utiliser cette connaissance.  Si, par exemple, un canal a du bruit de perturbation - comme un ronflement du réseau de puissance - et que nous connaissons la forme de ce bruit, nous pourrions en principe corriger pour ce bruit.  La puissance de ce bruit ne doit pas faire partie du bruit dans la formule de Shannon dans ce cas.  Ainsi, il y a une façon de rendre un canal de communication bruité pour certains, et non pour d'autres, en ajoutant y du "bruit connu par certains".  En ajoutant un signal qui ressemble à du bruit aléatoire à un canal, dans la mesure où le récepteur ne connaît pas ce bruit, il doit le considérer comme un véritable bruit et donc l'inclure dans la puissance du bruit, ce qui peut rendre la capacité du canal très faible.  Par contre, pour un récepteur qui connaît ce bruit (par calcul, ou par un autre canal) et qui peut utiliser cette connaissance pour corriger le signal reçu, la puissance de ce bruit ne doit pas être inclus dans la formule de Shannon.