Bài giảng Đa phương tiện và các ứng dụng giải trí - Chương VI: Audio - Lê Tấn Hùng

(MULTIMEDIA AND GAMES) 
IT4440 
Đa phương tiện 
và các ứng dụng giải trí 
Nội dung môn học 
Tuần Chủ đề Số tiết 
1 Giới thiệu về môn học 
1 – 5 Phần I. Tổng quan về thông tin đa phương tiện và các kỹ thuật xử lý 15 
1 Chương I: Nhập môn Multimedia 1 
1 Chương II: Một số kiến thức cơ bản 1 
2 Chương III: Ảnh 4 
3 Chương IV: Màu 3 
4 Chương V: Video 3 
5 Chương VI: Audio 3 
6 – Phần II. Một số ứng dụng đa phương tiện 
Chương V: Multimedia- ứng dụng và giải trí 
Chương VI: Ứng dụng web 
Chương VII: Ứng dụng mobile 
Chương VIII: Ứng dụng 3D 
Chương IX: Ứng dụng Game 
Bảo vệ Bài tập lớn, Tổng kết ôn tập 
Nội dung môn học 
Tuần Chủ đề Số tiết 
1 Giới thiệu về môn học 
1 – 5 Phần I. Tổng quan về thông tin đa phương tiện và các kỹ thuật xử lý 15 
1 Chương I: Nhập môn Multimedia 1 
1 Chương II: Một số kiến thức cơ bản 1 
2 Chương III: Ảnh 4 
3 Chương IV: Màu 3 
4 Chương V: Video 3 
5 Chương VI: Audio 3 
6 – Phần II. Một số ứng dụng đa phương tiện 
Chương V: Multimedia- ứng dụng và giải trí 
Chương VI: Ứng dụng web 
Chương VII: Ứng dụng mobile 
Chương VIII: Ứng dụng 3D 
Chương IX: Ứng dụng Game 
Bảo vệ Bài tập lớn, Tổng kết ôn tập 
Mục tiêu của chương 
Một số khái niệm 
Âm thanh số 
Nén âm 
MIDI vs. Audio 
Tổng kết chương 
Tài liệu tham khảo 
Chương VI: Audio 
Người học sẽ: 
Được trang bị kiến thức âm thanh, biểu diễn, 
lưu trữ và tạo âm thanh 
Được giới thiệu nguyên lý và phương pháp 
nén, xử lý và truyền âm thanh 
Sau khi kết thúc chương, người học : 
Nắm được kiến thức cơ bản về âm thanh 
Biết vận dụng một số kỹ thuật, công cụ xử lý 
âm thanh để tạo và lưu trữ âm thanh trong 
ứng dụng cụ thể 
V.1 Mục tiêu của chương 
Âm thanh là gì ? 
 If a tree falls in the forest and nobody is 
there to hear it, will it make a sound? 
Sound provided by 
Âm thanh có thể là 
Tiếng nói 
Âm nhạc 
Tiếng ồn 
Âm thanh là một mối quan hệ phức tạp của các 
đối tượng sau: 
Nguồn âm 
Môi trường truyền (thường là không khí) 
Bộ thu nhận âm (tai) 
Bộ cảm nhận âm (não bộ) 
Âm thanh là gì ? 
Hệ thống truyền nhận âm tự nhiên 
Sound Sources 
– Vibrations at 
20Hz-20kHz 
Khuếch đại 
Điều hòa tín 
hiệu 
Máy biến năng 
Xử lý, 
phân tích, 
tổng hợp 
Môi trường 
truyền âm 
Lưu trữ 
Trích chọn 
thông tin, đo 
lường 
Phát lại 
Hệ thống truyền nhận âm điện tử 
Sóng âm 
Âm thanh được đo bằng decibel dB (decibel) 
Âm thanh lan truyền trong môi trường: sóng âm. 
Something vibrates 
in the air 
Waves of pressure Ear drums will translate 
these changes in wave 
Forms as sound 
Một số ví dụ về sóng âm 
Piano 
Pan flute 
Snare drum 
Audio vs Images 
Sự khác biệt lớn nhất của âm thanh và hình ảnh là gì ? 
TIME 
Âm thanh và nhiễu âm 
A pleasant sound has a regular wave pattern. The 
pattern is repeated over and over. 
 But the waves of noise are irregular. They do not have 
a repeated pattern. 
Đặc trưng của sóng âm 
Âm thanh được mô tả bởi hai đặc trưng sau: 
Tần số Frequency (or pitch) 
Biên độ Amplitude (or loudness) 
distance 
along wave 
Cycle 
Time for one cycle 
Amplitude wavelength 
Tần số 
Frequency is a measure of how many vibrations occur in one 
second. This is measured in Hertz (abbreviation Hz) and 
directly corresponds to the pitch of a sound. 
The more frequent vibration occurs the higher the pitch of the sound. 
 Optimally, people can hear from 20 Hz to 20,000 Hz (20 kHz) 
 Sounds below 20 Hz are infrasonic 
 sounds above 20 kHz are ultrasonic. 
Low pitch High pitch 
Biên độ âm thanh 
Amplitude is the maximum displacement of a wave 
from an equilibrium position. 
The louder a sound, the more energy it has. This means loud 
sounds have a large amplitude. 
 The amplitude relates to how loud a sound is. 
Low amplitude High Amplitude 
Quiet Loud 
Âm thanh tương tự 
Tín hiệu điện mang tông tin về âm thanh như một giá trị điện thế 
liên tục 
Số hóa âm thanh 
Để sử dụng trong các ứng dụng đa phương tiện, giống như ảnh, 
video, âm thanh phải được số hóa 
Việc số hóa được thực hiện thông qua hai bước: lấy mẫu và 
lượng tử hóa 
Âm thanh tương tự và âm thanh số 
Âm thanh tương tự và âm thanh số 
Biểu diễn số của tín hiệu âm thanh 
0101010000101010101010011010001010100110100101001
0100011100010101010100101111001001010 
Âm thanh số 
Dữ liệu âm thanh số là biểu diễn của âm thanh, được lưu trữ 
dưới dạng các điểm mẫu 
High Sampling Rate 
Low Sampling Rate 
Samples stored in digital 
form 
waveform 
Âm thanh số 
Chất lượng âm thanh số phụ thuộc vào 
1. Tốc độ lấy mẫu (sampling rate) 
2. Kích thước mẫu (quantization step) 
Sampling Rate Sample size 
Âm thanh số 
Ngoài ra, chất lượng âm thanh số phụ thuợc vào 
Chất lượng của nguồn âm 
Chất lượng của thiết bị thu và các phần cứng hỗ trợ. 
Các đặc trưng sử dụng để thu âm. 
Khả năng phát lại của môi trường phát âm. 
Biểu diễn số tín hiệu âm thanh 
Tín hiệu âm thanh được 
Lấy mẫu 
Lượng tử hóa 
Nén 
Lấy mẫu (Sampling) 
Measure amplitude at regular intervals 
How many times should we sample? 
Example 
Suppose we have a sound wave with a 
frequency of 1 cycle per second 
-1.5
-1
-0.5
0
0.5
1
1.5
Example 
If we sample at one cycle per second, 
where would the sample points fall? 
-1.5
-1
-0.5
0
0.5
1
1.5
Example 
If we sample at 1.5 cycles per second, 
where will the sample points fall? 
-1.5
-1
-0.5
0
0.5
1
1.5
Example 
If we sample at two cycles per second, 
where do the sample points fall? 
-1.5
-1
-0.5
0
0.5
1
1.5
Nyquist Theorem 
For lossless digitization, the sampling rate should be 
at least twice the maximum frequency response. 
In mathematical terms: 
 fs > 2*fm 
where fs is sampling frequency and fm is the 
maximum frequency in the signal 
Nyquist Limit 
max data rate = 2 H log2V bits/second, where 
 H = bandwidth (in Hz) 
 V = discrete levels (bits per signal change) 
Shows the maximum number of bits that can be sent 
per second on a noiseless channel with a bandwidth 
of H, if V bits are sent per signal 
Example: what is the maximum data rate for a 3kHz 
channel that transmits data using 2 levels (binary) ? 
Solution (2x3,000xln2=6,000bits/second) 
Limited Sampling 
But what if one cannot sample fast enough? 
Các khoảng lấy mẫu 
Auditory range 20Hz to 22.05 kHz 
must sample up to to 44.1kHz 
common examples are 8.000 kHz, 11.025 kHz, 
16.000 kHz, 22.05 kHz, and 44.1 KHz 
Speech frequency [200 Hz, 8 kHz] 
sample up to 16 kHz 
but typically 4 kHz to 11 kHz is used 
The sampling rate, sample rate, or sampling frequency defines the 
number of samples per second (or per other unit) taken from a continuous 
signal to make a discrete signal. For time-domain signals, the unit for 
sampling rate is 1/s 
Tốc độ lấy mẫu 
-1.5
-1
-0.5
0
0.5
1
1.5
Lượng tử hóa 
Lượng tử hóa 
Typically use 
8 bits = 256 levels 
16 bits = 65,536 levels 
How should the levels be distributed? 
Linearly? (PCM) 
Perceptually? (u-Law) 
Differential? (DPCM) 
Adaptively? (ADPCM) 
Tỷ số tín hiệu trên nhiễu (SNR) 
Tỷ số tín hiệu trên nhiễu (SNR) 
Measures strength of signal to noise 
SNR (in DB)= 
Given sound form with amplitude in [-A, A] 
Signal energy = 
)(log10 10
energyNoise
energySignal
-1
-0.75
-0.5
-0.25
0
0.25
0.5
0.75
1A 
0 
-A 
2
2A
Tại sao phải nén âm thanh ? 
Nén âm thanh 
Nguyên lý của nén âm ? 
Nén âm thanh 
Sound is difficult to compress using lossless 
methods, except for special cases. 
Some compression of audio can be obtained by 
run-length encoding samples that fall below a 
threshold that can be considered to represent 
silence. 
Companding uses non-linear quantization to 
compress speech. 
µ-law and A-law companding are used for 
telephony. 
Nén âm thanh 
Thu và phát âm thanh số 
Air pressure 
variations 
Captured via 
microphone 
Air pressure 
variations 
ADC 
Signal is 
converted into 
binary 
(discrete form) 
0101001101 
0110101111 
Analogue 
to Digital 
Converter 
DAC 
Convert
s back 
into 
voltage 
Digital to 
Analogue 
Converter 
Ghi file âm thanh 
 Recording Audio Files on the pc 
Uses either: 
i. Microphone 
 connect microphone to the microphone port and 
record using sound recorder 
Ghi file âm thanh 
ii. CD-ROM Drive 
Move music files from CD to hard drive or; 
Play the cd and then record using the sound 
recorder. 
iii. Line-in 
pressing play on the audio source, which is 
connected to the computer’s audio line-in socket. 
Record using the sound recorder. 
Audio cable 
Line in port 
on the pc 
Midi Audio 
Musical Instrument Digital Interface 
Before there was a wide use of mp3 and high 
bandwidth network, MIDI format audio is popular 
when an audio is required to be put on a website. 
Provides a standardized and efficient means of 
conveying musical performance information as 
electronic data. 
Is a easiest and quickest way to compose our own 
score. 
 (provided we have knowledge of musical instrument and 
composing) 
It is in the form of music score and not samples or 
recording. 
Midi Audio: Requirements 
To make MIDI score, we need: 
1. Midi keyboard / Midi keyboard software 
2. Sequencer software 
3. Sound synthesizer (built-in in to sound card) 
Midi Keyboard 
MIDI keyboard is used to simplify the creation of music 
scores (MIDI information) 
MIDI information is transmitted in "MIDI messages", which can 
be thought of as instructions which tell a music synthesizer how 
to play a piece of music. 
The synthesizer receiving the MIDI data must generate the 
actual sounds. 
Midi Sequencer 
A MIDI sequencer software lets us to record and edit 
MIDI data like a word processor 
Cut and paste 
Insert / delete 
Midi Audio Facts 
Since they are small, MIDI files embedded in web pages 
load and play. 
Length of a MIDI file can be changed without affecting 
the pitch of the music or degrading audio quality. 
Working with MIDI requires knowledge of music theory. 
Recording MIDI Files 
Recording MIDI Files 
MIDI files can be generated: 
by recording the MIDI data from a MIDI instrument 
(electronic keyboard) as it is played. 
by using a MIDI sequencer software application. 
Audio File Formats 
MIDI 
*.MID, *.KAR, *.MIDI, *.SMF 
AUDIO DIGITAL 
WINDOWS *.WAV 
MACINTOSH *.AIFF 
UNIX *.AU 
REALAUDIO *.RA 
MPEG3 *.MP3 
MIDI versus Digital Audio 
Advantages of MIDI over digital audio: 
MIDI files smaller that digital audio files. 
Because small file, MIDI files embedded in web 
pages load and play more quickly. 
If MIDI sound source are high quality – sound better. 
Can change the length of MIDI files without changing 
the pitch of the music or degrading the audio quality. 
MIDI versus Digital Audio 
Disadvantages of MIDI over digital audio: 
Because MIDI data does not represent the sound but 
musical instruments, playback will be accurate only if 
the MIDI playback (instrument) is identical to the 
device used in the production. 
Higher cost and requires skill to edit. 
Cannot emulate voice, other effects. 
Adding Sound to MM Project 
 File formats compatible with multimedia authoring software 
being used along with delivery mediums, must be determined. 
 Sound playback capabilities offered by end user’s system 
must be studied. 
 The type of sound, whether background music, special sound 
effects, or spoken dialog, must be decided. 
 Digital audio or MIDI data should be selected on the basis of the 
location and time of use. 
Audio file sizes 
How much space is needed for 1 minute on a 
CD? 
 Two channels (stereo) 
 16 bits per channel (bit depth) (65,536 quanta) 
 Sampling rate of 44,100 Hz 
60 s x 44,100 samples/s x 16 bits/sample x 2 
= 84,672,000 bits = 10,584,000 bytes 
≈ 10 MB 
So an 800MB CD can hold about 80 minutes of music. 
Audio file sizes 
To reduce file size: 
 Reduce sampling rate 
 Reduce bit depth 
 8 bits will work for speech, but not music 
 Reduce channels (ie just mono) 
 Halves file size – could work for games 
 (Reduce duration? Unlikely ) 
 Use compression techniques 
 Be aware of lossy vs lossless compression 
MP3 
MPEG-1 Audio Layer 3 
 Lossy compression (ie loses some information) 
(so don’t use this for `master’ copies when editing) 
 Reduces size by factor of 11 compared to CD 
 Reduces accuracy of sounds which are unlikely to 
be heard 
 Based on `psychoacoustic models’ 
 Emerged in early 1990’s 
(Moving Picture Experts Group) 
MIDI 
Musical Instrument Digital Interface 
 Purely digital music created by a processor 
 Often used as a keyboard attached to a computer 
 Note information from 
 a digital source 
 Small size (60s in 2KB) 
 Easily edited 
 Sound depends on local 
device 
Ưu nhược điểm của việc sử dụng âm thanh 
Sound adds life to any multimedia application and 
plays important role in effective marketing 
presentations. 
Advantages 
Ensure important information is noticed. 
Add interest. 
Can communicate more directly than other media. 
Disadvantages 
Easily overused. 
Requires special equipment for quality production. 
Not as memorable as visual media. 
Summary 
There are two main types of digital audio 
Sampled audio 
Captured by sampling an analogue 
waveform at a set rate 
MIDI data 
 Instructions on how to perform some 
musical composition 
Sampled audio requires more storage space 
than MIDI information 
Chu trình thu phát âm thanh 
Bài giảng, CSDL Đa phương tiện, H. Tran, 
ĐHBK, 2010 
Bài giảng, Introduction to Multimedia, Chapter 
7, Fatimah Khalid, Jabatan Multimedia, 
FSKTM, UPM, 2005 
Bài giảng, Audio for game, Chapter 9, 
Alexander Brandon 
Ebook, Digital Multimedia, Chapter 7 
Bài giảng, COSC1078 Introduction to 
Information Technology, Lecture 6, James 
Harland 
Bài giảng, Introduction to Audio Compression 
and Representation, Perry R. Cook, Princeton 
Computer Science 
IV.6 Tài liệu tham khảo của chương