Guida degli insegnamenti

Syllabus

Partially translatedTradotto parzialmente
[W001242] - INFORMATION THEORY AND CODINGINFORMATION THEORY AND CODING
MASSIMO BATTAGLIONI
Lingua di erogazione: ITALIANOLessons taught in: ITALIAN
Laurea Magistrale - [IM11] INGEGNERIA ELETTRONICA (Curriculum: Elettronica per Applicazioni Nautiche) Master Degree (2 years) - [IM11] ELECTRONICS ENGINEERING (Curriculum: Elettronica per Applicazioni Nautiche)
Dipartimento: [040040] Dipartimento Ingegneria dell'InformazioneDepartment: [040040] Dipartimento Ingegneria dell'Informazione
Anno di corsoDegree programme year : 2 - Secondo Semestre
Anno offertaAcademic year: 2023-2024
Anno regolamentoAnno regolamento: 2022-2023
Crediti: 9
Ore di lezioneTeaching hours: 72
TipologiaType: C - Affine/Integrativa
Settore disciplinareAcademic discipline: ING-INF/03 - TELECOMUNICAZIONI

LINGUA INSEGNAMENTO LANGUAGE

ITALIANO

ITALIAN


PREREQUISITI PREREQUISITES

Il corso richiede la conoscenza dei concetti di base relativi ai sistemi di telecomunicazione e della teoria delle variabili aleatorie.

The course requires the knowledge of basic concepts on telecommunication systems and random variables theory.


MODALITÀ DI SVOLGIMENTO DEL CORSO DEVELOPMENT OF THE COURSE

- Lezioni di teoria, 54 ore
- Esercitazioni software, 18 ore

- Theory lessons, 54 hours
- Software exercises, 18 hours


RISULTATI DI APPRENDIMENTO ATTESI LEARNING OUTCOMES
Conoscenze e comprensione.

L’insegnamento permette di comprendere la funzione delle codifiche di sorgente e di canale. Vengono trattati i codici a blocco e convoluzionali. Vengono discussi i limiti teorici della codifica e della decodifica. Vengono presentate alcune soluzioni pratiche nelle trasmissioni radio e via cavo.


Capacità di applicare conoscenze e comprensione.

Si dovrà saper distinguere le principali caratteristiche di una trasmissione digitale. Si dovrà comprendere i diversi aspetti riguardanti il mezzo trasmissivo, il canale e il servizio. Saprà interpretare le esigenze di una codifica, su una singola tratta o da estremo a estremo.


Competenze trasversali.

Si utilizzeranno elementi di Geometria e di Algebra per studiare la topologia della migliore mappatura dei bit nello spazio dei segnali. Il concetto di distanza minima sarà introdotto da un punto di vista metrico generalizzato. Rapporti qualità-costo saranno adottati per giudicare la bontà di un sistema di trasmissione.


Knowledge and Understanding.

The course allows understanding of the main roles of source and channel coding. Block codes and convolutional codes are treated. Theoretical bounds are discussed regarding encoding and decoding systems. Some practical solutions are presented about radio and cable transmissions.


Capacity to apply Knowledge and Understanding.

The student is required to distinguish the main characteristics of a digital
transmission. She/he will be able to understand different aspects regarding the transmission medium, the channel and the service. She/he will interpret the
need of a coding system, on a single link or end to end.


Transversal Skills.

The student will use elements of Geometry and Algebraic Calculus for studying the topology describing the best mapping of bits in the signal space. The concept of minimum distance will be introduced from the point of view of generalized metrics. Quality-cost ratios will be adopted for estimating the goodness of the transmission system.



PROGRAMMA PROGRAM

Lezioni teoriche
- Teoria dell'informazione: Definizione matematica di informazione e studio delle sue proprietà. Sorgente d’informazione. Sorgente discreta senza memoria. Contenuto informativo e relativa misura. Entropia e diseguaglianze relative. Entropia congiunta ed entropia condizionata. Informazione mutua. Sorgenti correlate. Disuguaglianza di Fano. Entropy rate di una sorgente.
- Codifica di sorgente: rappresentazione efficiente del messaggio prodotto da una sorgente. Disuguaglianza di Kraft. Teorema di McMillan. Teorema della codifica di sorgente. Codici di Huffman. Codici di Lempel-Ziv. Rate-distortion theory.
- Algoritmi per l’applicazione della teoria dell’informazione: Algoritmo di Viterbi. Algoritmo belief propagation. Alberi di decisione. Esempi di applicazione.
- Canali di comunicazione e loro capacità: Esempi di capacità di canale. Canale binario senza rumore. Canale binario simmetrico. Canale binario con cancellazioni. Proprietà della capacità di canale. Teorema della codifica di canale.
- Codifica per comunicazioni affidabili su canale rumoroso: Concetti generali. Codici per comunicazioni numeriche e per archiviazione. Rivelazione d’errore e correzione d’errore. Criteri di progetto e misure di prestazioni. Limiti di codifica per canali con ingresso M-ario senza memoria. Limiti di codifica per canali con memoria.
- Campi finiti, spazi vettoriali, geometrie finite, e grafi: Insiemi ed operazioni binarie. Gruppi. Campi. Spazi vettoriali. Polinomi su campi finiti. Costruzione e proprietà dei campi di Galois. Grafi.
- Codici a blocco lineari: Introduzione ai codici a blocco lineari. Codici ciclici. Codici BCH. Codici a blocco lineari non binari e codici di Reed–Solomon. Codici prodotto, interallacciati e concatenati. Codici quasi-ciclici. Codici a ripetizione e single-parity-check.
- Codici convoluzionali: Descrizione algebrica dei codici convoluzionali. Realizzazioni del codificatore e classificazioni. Rappresentazioni alternative del codice convoluzionale: Decodificatori basati su trellis. Stime di prestazioni per decodificatori basati su trellis.
- Codici low-density parity-check: Rappresentazioni di codici LDPC. Classificazioni di codici LDPC. Message passing e turbo principle. Algoritmo sum–product. Approssimazioni SPA con complessità ridotta. Decodificatori iterativi per codici LDPC generalizzati. Algoritmi di decodifica per il canale binario con cancellazioni e per il canale binario simmetrico.
- Codici turbo: Codici convoluzionali in concatenazione parallela. Codici convoluzionale in concatenazione seriale. Codici turbo prodotto.
- Codici polari: Codifica di canale e capacità. Costruzione di codici polari. Decodifica. Analisi teorica. Estensioni.
- Codici quantistici per la correzione d’errore: Fondamenti di meccanica quantistica. Isomorfismo tra dominio classico e dominio quantistico. Formalismo stabilizzatore. Esempi di codici quantistici e loro prestazioni.

Esercitazioni software
- Esercizi numerici sui principali argomenti del corso, utilizzando anche i software Matlab e Simulink.

Theory lessons
- Information theory: Mathematical definition of information and study of its properties. Information source. Discrete memoryless source. Information content and its measure. Entropy and relevant inequalities. Joint and conditional entropies. Mutual information. Correlated sources. Fano’s inequality. Entropy rate of a source.
- Source coding: efficient representation of a message source. Kraft inequality. McMillan theorem. Source coding theorem. Huffman codes. Lempel-Ziv codes. Rate-distortion theory.
- Algorithms for applied information theory: Viterbi algorithm. Belief propagation algorithm. Decision trees. Examples of application.
- Communication channels and their capacity: Examples of channel capacity. Noiseless binary channel. Binary symmetric channel. Binary erasure channel. Properties of channel capacity. Channel coding theorem.
- Coding for reliable communication over noisy channel: General concepts. Codes for digital data communication and storage. Error detection and error correction. Design criteria and performance measures. Coding limits for M-ary-input memoryless channels. Coding limits for channels with memory.
- Finite fields, vector spaces, finite geometries, and graphs: Sets and binary operations. Groups. Fields. Vector spaces. Polynomials over finite fields. Construction and properties of Galois fields. Graphs.
- Linear block codes: Introduction to linear block codes. Cyclic codes. BCH codes. Nonbinary linear block codes and Reed–Solomon codes. Product, interleaved, and concatenated codes. Quasi-cyclic codes. Repetition and single-parity-check codes.
- Convolutional codes: Algebraic description of convolutional codes. Encoder realizations and classifications. Alternative convolutional code representations. Trellis-based decoders. Performance estimates for trellis-based decoders.
- Low-density parity-check codes: Representations of LDPC codes. Classifications of LDPC codes. Message passing and the turbo principle. The sum–product algorithm. Reduced-complexity SPA approximations. Iterative decoders for generalized LDPC codes. Decoding algorithms for the BEC and the BSC.
- Turbo codes: Parallel-concatenated convolutional codes. Serial-concatenated convolutional codes. Turbo product codes.
- Polar codes: Channel coding and capacity. Polar code construction. Decoding. Theoretical analysis. Extensions.
- Quantum error correction codes: Basics of quantum mechanics. Isomorphism between the classic domain and the quantum domain. Stabilizer formalism. Examples of quantum codes and their performance.

Software exercises
- Numerical exercises on the main topics of the course, also using Matlab and Simulink software.


MODALITÀ DI SVOLGIMENTO DELL'ESAME DEVELOPMENT OF THE EXAMINATION
Modalità di valutazione dell'apprendimento.

La valutazione del livello di apprendimento si basa su un’unica prova orale. In tale prova vengono tipicamente poste tre domande al candidato, su argomenti diversi del corso.


Criteri di valutazione dell'apprendimento.

La valutazione dell'apprendimento si basa sulla verifica, attraverso la prova d'esame, che lo studente/studentessa abbia acquisito un sufficiente livello di
comprensione ed un'adeguata capacità di utilizzo dei concetti esposti nell'ambito del corso, sia per quanto riguarda i fondamenti teorici che la loro applicazione nell'ambito dei sistemi di telecomunicazione.


Criteri di misurazione dell'apprendimento.

Ad ognuna delle tre domande è attribuito un punteggio, in modo che almeno due risposte esaurienti conducano alla sufficienza di 18/30. Ove necessario, il docente pone una quarta domanda al candidato, al fine di arrivare ad una migliore definizione del voto finale.


Criteri di attribuzione del voto finale.

Stabiliti i criteri di misurazione dell’apprendimento, la chiarezza espositiva, la proprietà del linguaggio, la capacità di raccordare tra loro diverse parti del programma saranno qualità che contribuiranno ad aumentare il punteggio, fino ad un massimo di 30/30. La lode è riservata a chi dimostri una particolare brillantezza nell'esposizione orale ed una padronanza degli argomenti trattati ben superiore alla media.


Learning Evaluation Methods.

Evaluation of the learning level of the students is based on a single oral test. In this test the student is tipically asked for three questions, on different topics developed thorughout the course.


Learning Evaluation Criteria.

Learning evaluation is based on the verification, through the oral test, that the student has acquired a sufficient level of understanding and a suitable capacity of employing the topics presented throughout the course, as regards both the theoretical foundations and their application in telecommunication systems.


Learning Measurement Criteria.

To each one of the three questions proposed a proper score is associated.Two correct answers, at least, guarantee the minimum favourable vote of 18/30. If necessary, the lecturer asks for a fourth question to the candidate, in order to achieve a better definition of the final score.


Final Mark Allocation Criteria.

Once established the rules for evaluating the student learning level, the clearness in expressing concepts, the ownership of the language, the capacity of finding connections between different parts of the programme will represent elements for increasing the score, up to 30/30. Honors are reserved to those students who are particularly brilliant in the oral test and show a mastery of the treated issues well over the average.



TESTI CONSIGLIATI RECOMMENDED READING

- Dispense a cura del docente, scaricabili dal sito
https://learn.univpm.it.
- T. M. Cover, J. A. Thomas, "Elements of Information Theory", Second Edition, Wiley-Interscience, ‎978-0471241959, 2006.
- W. E. Ryan, S. Lin, "Channel Codes: Classical and Modern", ‎ Cambridge University Press, 978-0521848688, 2009.

Lecture notes provided by the teacher, which can be downloaded from the website
https://learn.univpm.it.
- T. M. Cover, J. A. Thomas, "Elements of Information Theory", Second Edition, Wiley-Interscience, 2006.
- W. E. Ryan, S. Lin, "Channel Codes: Classical and Modern", ‎ Cambridge University Press, 2009.


Scheda insegnamento erogato nell’A.A. 2023-2024
Le informazioni contenute nella presente scheda assumono carattere definitivo solo a partire dall'A.A. di effettiva erogazione dell'insegnamento.
Academic year 2023-2024

 


Università Politecnica delle Marche
P.zza Roma 22, 60121 Ancona
Tel (+39) 071.220.1, Fax (+39) 071.220.2324
P.I. 00382520427