Bài giảng Hệ chuyên gia (Expert System) - Chương 1: Mở đầu về hệ chuyên gia - Phan Huy Khánh

HHệệ chuyênchuyên giagia ((ExpertExpert SystemSystem))
 PGS.TS. Phan Huy Khánh
 khanhph@vnn.vn
 ChChươươngng 11
 MMởở đđầầuu vvềề hhệệ chuyênchuyên giagia
 1.21.2
 HHệệ chuyênchuyên giagia (HCG)(HCG) llàà ggìì ??
a Hệ chuyên gia là lĩnh vực ứng dụng của trí tuệ nhân tạo
a Có nhiều cách định nghĩa HCG :
 V E. Feigenbaum : «Hệ chuyên gia (Expert System) là một 
 chương trình máy tính thông minh sử dụng tri thức 
 (knowledge) và các thủ tục suy luận (inference procedures) 
 để giải những bài toán tương đối khó khăn đòi hỏi những 
 chuyên gia mới giải được»
 V Hệ chuyên gia là một hệ thống tin học có thể mô phỏng 
 (emulates) năng lực quyết đoán (decision) và hành động 
 (making abilily) của một chuyên gia (con người)
 V Một hệ chuyên gia sử dụng tri thức của một lĩnh vực cụ thể 
 để cung cấp việc giải quyết vấn đề với “chất lượng chuyên 
 gia” trong lĩnh vực đó.
 2/57
 WhatWhat isis anan ExpertExpert System?System?
a Expert System: 
 A computer program that:
 V Attempts to code the knowledge of human experts
 in the form of heuristics (i.E. A rule of thumb)
 V Emulates the decision-making ability of a human expert
 in a restricted domain
 V Edward Feigenbaum: “An intelligent computer program that
 uses knowledge and inference procedures to solve problems that 
 are difficult enough to require significant human expertise
 for their solutions”
a A computer program which:
 V Encapsulates knowledge from some domain, normally obtained 
 from a human expert in that domain
 3/57
 KhKhááii niniệệmm chuyênchuyên giagia ttrongrong cucuộộcc ssốốngng 
a Trong cuộc sống, các chuyên gia có thể giải quyết vấn đề ở một mức 
 độ cao vì họ có rất nhiều tri thức về lĩnh vực họ hoạt động
a Những tri thức này bao gồm lý thuyết đến cả các kinh nghiệm, kỹ xảo, 
 phương pháp làm tắt, chiến lược heuristic đã tích lũy được của các 
 chuyên gia con người qua quá trình làm việc của họ trong một lĩnh vực 
 chuyên môn
a Từ tri thức này, người ta cố gắng cài đặt chúng vào hệ thống để hệ
 thống có thể mô phỏng theo cách thức các chuyên gia làm việc
a Tuy nhiên, không giống với con người, các chương trình hiện tại không 
 tự học lấy kinh nghiệm :
 V Tri thức phải được lấy từ con người
 V Được mã hóa trong một ngôn ngữ hình thức để khai thác
a Đây là nhiệm vụ chính mà các nhà thiết kế HCG phải đương đầu
 4/57
 Bách khoa toàn thư mở Wikipedia
a HCG, còn gọi là hệ thống dựa tri trức, là một chương 
 trình máy tính chứa một số tri thức đặc thù của một hoặc 
 nhiều chuyên gia con người về một chủ đề cụ thể nào đó
a Các chương trình thuộc loại này đã được phát triển từ các 
 thập kỷ 1960 và 1970, và trở thành ứng dụng thương mại 
 từ thập kỷ 1980
a Nhiều HCG đã được thiết kế và xây dựng để phục vụ các 
 lĩnh vực kế toán, y học, điều khiển tiến trình (process 
 control), dịch vụ tư vấn tài chính (finalcial service), tài 
 nguyên con người (human resources), v.v...
 5/57
 Bách khoa toàn thư mở Wikipedia
a Dạng phổ biến nhất của HCG là : 
 V Một chương trình gồm một tập luật phân tích thông tin (thường 
 được cung cấp bởi NSD hệ thống) về một lớp vấn đề cụ thể
 V Những phân tích về các vấn đề đã xác định
 V Tùy theo thiết kế chương trình mà đưa lời khuyên về trình tự các 
 hành động cần thực hiện để giải quyết vấn đề
a HCG sử dụng các tri thức của những chuyên gia để giải 
 quyết các vấn đề (bài toán) khác nhau thuộc mọi lĩnh vực
a Là một hệ thống sử dụng các khả năng lập luận để đạt tới 
 các kết luận
a Các thuật ngữ có cùng nghĩa :
 V Hệ chuyên gia
 V Hệ thống dựa trên tri thức (knowledge−based system) 
 V HCG dựa trên tri thức (knowledge−based expert system)
 6/57
 LLớớpp vvấấnn đđềề ccủủaa HCG_1HCG_1
1. Diễn giải (interpretation) 
 Đưa ra kết luận hay mô tả dễ hiểu từ những tập hợp dữ liệu thô
2. Dự đoán (prediction) 
 Đưa ra những hậu quả có thể xảy ra khi cho trước một tình huống
3. Chẩn đoán (diagnosis) 
 Xác định nguyên nhân của những sự cố trong các tình huống phức tạp 
 dựa trên các triệu chứng có thể quan sát được
4. Thiết kế (design) 
 tìm ra cấu hình cho các thành phần hệ thống, đáp ứng được các mục 
 tiêu trong khi vẫn thỏa mãn một tập hợp các ràng buộc về thiết kế
5. Lập kế hoạch (planning) 
 Tìm ra một chuỗi các hành động để đạt được một tập hợp các mục 
 tiêu, khi được cho trước các điều kiện khởi đầu và những ràng buộc 
 trong thời gian chạy (run-time)
 7/57
 LLớớpp vvấấnn đđềề ccủủaa HCG_2HCG_2
6.6. TheoTheo dõidõi (monitoring)(monitoring) 
 So sánh những hành vi quan s át được của hệ thống với hành vi 
 mong đợi 
7.7. BBắắtt llỗỗii vvàà ssửửaa chchữữaa (debuging(debuging andand repair)repair)
 Ch ỉ định và cài đặt phương pháp chữa trị cho các sự cố, rủi ro
8.8. HHưướớngng ddẫẫnn (instruction)(instruction) 
 PPhh áátt hihiệệnn vvàà ssửửaa chchữữaa nhnhữữngng thithiếếuu ssóótt trongtrong quanquan 
 niniệệmm ccủủaa hhọọcc viênviên vvềề mmộộtt chchủủ đđềề llĩĩnhnh vvựựcc nnààoo đđóó
9.9. ĐĐiiềềuu khikhiểểnn (control)(control) 
 CChh ỉỉ đđạạoo hhàànhnh vivi trongtrong mm ộộtt môimôi trtrưườờngng phphứứcc ttạạpp
 8/57
 TTổổ chchứứcc hohoạạtt đđộộngng ccủủaa HCGHCG 
a Một hệ chuyên gia gồm ba thành phần chính :
 V Cơ sở tri thức (knowledge base) nơi chứa tri thức của HCG
 V Máy suy diễn hay môtơ suy diễn (inference engine)
 V Hệ thống giao tiếp với người sử dụng (user interface)
a Khai thác HCG : Người sử dụng (User) đặt câu hỏi
 (truy vấn) HCG bằng cách :
 V Cung cấp sự kiện (facts) là những gì đã biết, đã có thật hay 
 những tri thức có ích (luật-rules) cho hệ chuyên gia, và nhận 
 được những câu trả lời
a Hoạt động của HCG :
 V Máy suy diễn khai thác cơ sở tri thức để tạo ra câu trả lời là
 những lời khuyên hay những gợi ý đúng đắn (expertise) cho 
 người sử dụng qua hệ thống giao tiếp
 9/57
KnowledgeKnowledge EngineeringEngineering inin aa NutshellNutshell
 HumanHuman
 ExpertExpert
 Dialog
 KnowledgeKnowledge Knowledge
 EngineerEngineer Refinement
 Explicit
 Knowledge
 KnowledgeKnowledge basebase
 (In(In ES)ES)
 10/57
 SESE overviewsoverviews
a Relies on internally represented knowledge to perform tasks
a Utilizes reasoning methods to derive appropriate new knowledge
a Usually restricted to a specific problem domain
a The term knowledge-based system is often used synonymously
a Two distinctions from Decision Support System (DSS):
 1. has the potential to extend the manager’s problem-solving 
 ability beyond his or her normal capabilities
 2. the ability to explain how the solution was reached
 Problem Domain
 Knowledge
 Domain 
 11/57
 NhiNhiềềuu ccááchch nhnhììnn nhnhậậnn khkháácc nhaunhau vvềề HCGHCG
Loại người sử dụng Vấn đề đặt ra
Người quản trị Tôi có thể dùng nó để làm gì ?
 Làm cách nào để tôi vận hành nó tốt 
Kỹ thuật viên
 nhất ? 
Nhà nghiên cứu Làm sao để tôi có thể mở rộng nó ?
 Nó sẽ giúp tôi cái gì đ ây ? 
Người sử dụng cuối Nó có rắc rối và tốn kém không ?
 Nó có đáng tin cậy không ?
 12/57
 ĐĐặặcc trtrưưngng ccủủaa hhệệ chuyênchuyên giagia
a Có bốn đặc trưng cơ bản của một hệ chuyên gia :
 V Hiệu quả cao (high performance). Khả năng trả lời với mức 
 độ tinh thông bằng hoặc cao hơn so với chuyên gia (người) 
 trong cùng lĩnh vực.
 V Thời gian trả lời thoả đáng (adequate response time). Thời 
 gian trả lời hợp lý, bằng hoặc nhanh hơn so với chuyên gia 
 (người) để đi đến cùng một quyết định. Hệ chuyên gia là một 
 hệ thống thời gian thực (real time system).
 V Độ tin cậy cao (good reliability). Không thể xảy ra sự cố hoặc 
 giảm sút độ tin cậy khi sử dụng.
 V Dễ hiểu (understandable). Hệ chuyên gia giải thích các bước 
 suy luận một cách dễ hiểu và nhất quán, không giống như 
 cách trả lời bí ẩn của các hộp đen (black box)
 13/57
 ƯƯuu đđiiểểmm ccủủaa hhệệ chuyênchuyên gia_1gia_1
a Những ưu điểm của hệ chuyên gia :
 V Phổ cập (increased availability). Là sản phẩm chuyên gia, được 
 phát triển không ngừng với hiệu quả sử dụng không thể phủ nhận.
 V Giảm giá thành (reduced cost).
 V Giảm rủi ro (reduced dangers). Giúp con người tránh được trong 
 các môi trường rủi ro, nguy hiểm.
 V Tính thường trực (Permanance). Bất kể lúc nào cũng có thể khai 
 thác sử dụng, trong khi con người có thể mệt mỏi, nghỉ ngơi hay 
 vắng mặt.
 V Đa lĩnh vực (multiple expertise). chuyên gia về nhiều lĩnh vực khác 
 nhau và được khai thác đồng thời bất kể thời gian sử dụng
 14/57
 ƯƯuu đđiiểểmm ccủủaa hhệệ chuyênchuyên gia_2gia_2
a Những ưu điểm của hệ chuyên gia :
 V Độ tin cậy (increased relialility)
 Luôn đảm bảo độ tin cậy khi khai thác.
 V Khả năng giảng giải (explanation). Câu trả lời với mức độ tinh 
 thông được giảng giải rõ ràng chi tiết, dễ hiểu.
 V Khả năng trả lời (fast reponse). Trả lời theo thời gian thực, khách 
 quan.
 V Tính ổn định, suy luận có lý và đầy đủ mọi lúc mọi nơi (steady, une 
 motional, and complete response at all times).
 V Trợ giúp thông minh như một người hướng dẫn (intelligent -tutor).
 V Có thể truy cập như là một cơ sở dữ liệu thông minh (intelligent 
 database)
 15/57
 LLịịchch ssửử phpháátt tritriểểnn ccủủaa HCGHCG 1
Năm Các sự kiện
1943 Dịch vụ bưu điện ; mô hình Neuron của (Mc Culloch and Pitts Model)
1954 Thuật toán Markov (Markov Algorithm) điều khiển thực thi các luật
 Hội thảo Dartmouth ; lý luận logic ; tìm kiếm nghiệm suy (heuristic search) 
1956
 ; thống nhất thuật ngữ trí tuệ nhân tạo (AI: Artificial Intelligence)
 Rosenblatt phát minh khả năng nhận thức ; Newell, Shaw và Simon đề
1957 
 xuất giải bài toán tổng quát (GPS: General Problem Solver)
1958 Mc Carthy đề xuất ngôn ngữ trí tuệ nhân tạo LISA (LISA AI language)
 Nguyên lý Rosenblatt’s về chức năng thần kinh trong nhận thức 
1962 
 (Rosenblatt’s Principles of Neurodynamicdynamics on Perceptions)
 Phương pháp hợp giải Robinson. Ưng dụng logic mờ (fuzzy logic) trong suy 
1965 luận về các đối tượng mờ (fuzzy object) của Zadeh. Xây dựng hệ chuyên 
 gia đầu tiên về nha khoa DENDRAL (Feigenbaum , Buchanan , et.al)
 Mạng ngữ nghĩa (semantic nets), mô hình bộ nhớ kết hợp (associative 
1968 
 memory model) của Quillian
 16/57
 LLịịchch ssửử phpháátt tritriểểnn ccủủaa HCGHCG 2
Năm Các sự kiện
1969 Hệ chuyên gia về Toán học MACSYMA (Martin and Moses)
1970 Ưng dụ ng ngôn ngữ PROLOG (Colmerauer, Roussell, et, al.)
 Hệ chuyên gia HEARSAY I về nhận dạng tiếng nói (speech recognition).
1971 Xây dựng các luật giải bài toán con người (Human Problem Solving
 popularizes rules (Newell and Simon)
1973 Hệ chuyên gia MYCIN về chẩn trị y học (Shortliffe, et,al.)
 Lý thuy ết khung (frames), biểu diễn tri thức (knowledge representation) 
1975
 (Minsky)
 Toán nhân tạo (AM: Artificial Mathematician) (Lenat). Lý thuyết 
 Dempster−Shafer về tính hiển nhiên của lập luận không chắc chắn 
1976
 (Dempster−Shafer theory of Evidence for reason under uncertainty). Ứng 
 dụng hệ chuyên gia PROSPECTOR trong khai thác hầm mỏ (Duda, Har)
 Sử dụng ngôn ngữ chuyên gia OPS (OPS expert system shell) trong hệ
1977 
 chuyên gia XCON/R1 (Forgy)
 17/57
 LLịịchch ssửử phpháátt tritriểểnn ccủủaa HCGHCG 3
Năm Các sự kiện
 Hệ chuyên gia XCON/R1 (McDermott, DEC) để bảo trì hệ thống máy tính 
1978 
 DEC (DEC computer systems)
 Thuật toán mạng về so khớp nhanh (rete algorithm for fast pattern 
1979
 matching) của Forgy ; thương mại hoá các ứng dụng về trí tuệ nhân tạo
1980 Ký hiệu học (symbolics), xây dựng các máy LISP (LISP machines) từ LMI.
 Hệ chuyên gia về Toán học (SMP math expert system) ; 
 mạng nơ-ron Hopfield (Hopfield Neural Net) ;
1982 
 Dự án xây dựng máy tính thông minh thế hệ 5 ở Nhật bản
 (Japanese Fifth Generation Project to develop intelligent computers)
 Bộ công cụ phục vụ hệ chuyên gia KEE
1983
 (KEE expert system tool) (intelli Corp)
 Bộ công cụ phục vụ hệ chuyên gia CLIPS
1985
 (CLIPS expert system tool (NASA)
 18/57
 CCáácc llĩĩnhnh vvựựcc ứứngng ddụụngng ccủủaa hhệệ chuyênchuyên giagia
a Cho đến nay, hàng trăm hệ chuyên gia đã đư ợc xây dựng 
 và đã được báo cáo thường xuyên trong các tạp chí, sách, 
 báo và hội thảo khoa học
a Ngoài ra còn các hệ chuyên gia được sử dụng trong các 
 công ty, các tổ chức quân sự mà không được công bố vì lý 
 do bảo mật
 19/57
 MMộộtt ssốố llĩĩnhnh vvựựcc ứứngng ddụụngng
Lĩnh vực Ứng dụng diện rộng
 Tập hợp thích đáng những thành phần của một hệ
Cấu hình (Configuration)
 thống theo cách riêng
Chẩn đoán (Diagnosis) Lập luận dựa trên những chứng cứ quan sát được
 Dạy học kiểu thông minh sao cho sinh viên có thể hỏi
Truyền đạt (Instruction) vì sao (why?), như thế nào (how?) và cái gì nếu (what 
 if?) giống như hỏi một người thầy giáo
Giải thích (Interpretation) Giải thích những dữ liệu thu nhận được 
 So sánh dữ liệu thu lượm được với dữ liệu chuyên 
Kiểm tra (Monitoring) 
 môn để đánh giá hiệu quả
Lập kế hoạch (Planning) Lập kế hoạch sản xuấ t theo yêu cầu
Dự đoán (Prognosis) Dự đoán hậ u quả từ một tình huống xảy ra
Chữa trị (Remedy) Chỉ định cách thụ lý m ột vấn đề
 Điều khiển một quá trình, đòi hỏi diễn giải, chẩn 
Điều khiển (Control) 
 đoán, kiểm tra, lập kế hoạch, dự đoán và chữa trị
 20/57
 Một số hệ chuyên gia 1 
Bảng 1 Ngành hoá học (Chemistry)
CRYSALIS Interpret a protein’n 3-D structure
DENDRAL Interpret molecular structure 
 Remedy Triple Quadruple Mass Spectrometer (keep 
TQMSTUNE
 it tuned)
CLONER Design new biological molecules
MOLGEN Design gene - cloning experiments
SECS Design complex organic molecules
SPEX Plan molecular biology experiments
 21/57
 Một số hệ chuyên gia 2 
Bảng 2 Ngành điện tử (Electronics)
ACE Diagnosis telephone network faults
IN -ATE Diagnosis oscilloscope faults
NDS Diagnosis national communication net
EURISKO Design 3-D micro-electronics
PALLADIO Design and test new VLSI cicuits
REDESIGN Redesign digital circuits to new
CADHELP Instruct for computer aided design 
SOPHIE Instruct circuit fault diagnosis
 22/57
 Một số hệ chuyên gia 3 
Bảng 3 Ngành địa chất (Geology)
DIPMETER Interpret dipmeter logs
LITHO Interpret oil well log data 
MUD Diagnosis / remedy drilling problems
PROSPECTOR Interpret geologic data for minerals
Bảng 4 Công nghệ (Engineering)
REACTOR Diagnosis / remedy reactor accidents
DELTA Diagnosis / remedy GE locomotives
STEAMER Instruct operation - steam power-plant
 23/57
 Một số hệ chuyên gia 5 
Bảng 5 Ngành y học (Medicine) 
PUFF Diagnosis lung disease
VM Monitors intensive - care patients
ABEL Diagnosis acid - base / electrolytes 
AI/COAG Dianosis blood disease 
AI/ RHEUM Diagnosis rheumatoid disease
CADUCEUS Diagnosis internal medicine disease
ANNA Monitor digitalis therapy
BLUE BOX Diagnosis / remedy depression
MYCIN Diagnosis / remedy bacterial infections 
ONCOCIN Remedy / manage chemotherapy patient
ATTENDING Instruct in anesthetic manegement
GUIDON Instruct in bacterial infections
 24/57
 Một số hệ chuyên gia 6 
Bảng 6 Máy tính điện tử (Computer systems)
PTRANS Prognosis for managing DEC computers
BDS Diagnosis bad parts in switching net
XCON Configune DEC computer systems
XSEL Configure DEC computer sales order 
XSITE Configure customer site for DEC computers
YES/MVS Monitor / control IBM MVS opeating system 
TIMM Diagnosis DEC computer
 25/57
 ExampleExample ofof ESES
The end-user usually sees an expert system through an 
interactive dialog :
 Q. Do you know to which restaurant you want to go? 
 A. No 
 Q. Is there any kind of food you would particularly like? 
 A. Unknown 
 Q. Do you like spicy food? 
 A. No 
 Q. Do you usually drink wine with meals? 
 A. Yes 
 Q. When you drink wine, is it French wine? 
 A. Why 
 26/57
ExampleExample ofof ESES
 27/57
 ESES ProblemsProblems
a Limited knowledge
 V “Shallow” knowledge
 ™ no “deep” understanding of the concepts and their relationships
 V no “common-sense” knowledge
 V no knowledge from possibly relevant related domains
 V “closed world”
 ™ the ES knows only what it has been explicitly “told”
 ™ it doesn’t know what it doesn’t know
a Mechanical reasoning
 V may not have or select the most appropriate method for a 
 particular problem
 V some “easy” problems are computationally very expensive
a Lack of trust
 V users may not want to leave critical decisions to machines
 28/57
 ESES DesignDesign ++ DevelopmentDevelopment
a Which are the major steps in the Linear Model
 of ES Development?
a What do you have to take into account
 when you plan an ES project?
a What can you say about the delivery phase
 of an ES project?
a What kind of errors can occur
 (during the development) of an ES? 
 29/57
 ESES DesignDesign ++ DevelopmentDevelopment
a Major basic steps in ES development
 ™ Identification:
 Determine problem and project requirements
 ™ Conceptualization: Extract knowledge and construct a 
 conceptual model for solving problems using the knowledge
 ™ Formalization: Map the conceptual model to available 
 representation and control paradigms
 ™ Implementation: Construct/extend the implementation of 
 the formalized model
 ™ Testing: Evaluate the system
a Software Engineering models
a Project phases
a Linear Model of ES Development 
a Sources of error in ES 
 30/57
TheThe linearlinear modelmodel ofof ESES developmentdevelopment lifelife cyclecycle
 31/57
 Các phần tử của HCG
a Môt HCG gồm 3 thành phần cơ bản :
 ‰ CCơơ ssởở tritri ththứứcc (Knowledge(Knowledge Base)Base)
 ‰ MMááyy duyduy didiễễnn (Inference(Inference Engine)Engine)
 ‰ GiaoGiao didiệệnn ngngưườờii ssửử ddụụngng (User(User Interface)Interface)
a Ngoài ra, tuỳ theo mức độ tiếp cận, mà người ta 
 bổ sung các thành phần khác, chẳng hạn :
 ‰ LLịịchch côngcông viviệệcc (Agenda)(Agenda)
 ‰ BBộộ nhnhớớ llààmm viviệệcc (Working(Working Memory)Memory)
 ‰ KhKhảả nnăăngng gigiảảii ththííchch (Explanation(Explanation Facility)Facility)
 ‰ KhKhảả nnăăngng thuthu nhnhậậnn tritri ththứứcc (Explanation(Explanation Facility)Facility)
 ‰ 
 32/57
 GeneralGeneral ArchitectureArchitecture ofof SESE
 End-User
 KnowledgeKnowledge BaseBase
Facts / Information
 InferenceInference EngineEngine
 Expertise
 Expert System
 33/57
 ExpertExpert systemsystem modelmodel -- mainmain partsparts
 Knowledge Base
 (rules)
 Knowledge 
 Acquisition 
 Facility
 Inference Engine Agenda
User Interface
 Explanation 
 Facility Working Memory
 (facts) 
 34/57
 Instructions & Solutions &
 Knowledge
 User information explanations
 User
 interface
 Know- Problem
 Inference ledge
 engine base Domain
 Development
Expert engine
system AnAn ExpertExpert 
 SystemSystem ModelModel
 Expert and knowledge 
 engineer
 35/57
 Một số mô hình khác
 KnowledgeKnowledge KnowledgeKnowledge 
 BaseBase BaseBase editoreditor
InferenceInference 
 UserUser
 EngineEngine 
 WorldWorld 
 PreceptorsPreceptors
 ModelModel
 ExplanationExplanation 
 SubsystemSubsystem
 36/57
 Mô hình J. L. Ermine
 CCơơ ssởở tritri ththứứcc
 Người sử dụng 
 yêu cầu
HHệệ ththốốngng
 GiaoGiao 
thuthu nhnhậậnn Dữ liệu vấn đề
 didiệệnn cần giải quyết
 tritri ththứứcc 
 Tri thức mới
 BBộộ nhnhớớ
 làmlàm viviệệ c c 
 37/57
 Mô hình C. Ernest
 TriTri ththứứcc
Chuyên Cơ sở
 gia Cơ sở
 tritri ththứứcc
 CCấấuu trúctrúc 
 máymáy suysuy didiễễnn 
 MáyMáy
 DDữữ liliệệuu suy diễn
Người suy diễn 
 sử 
 dụng
 ••LLờờii gigiảảii
 ••GiGiảảii thíchthích
 ••TheoTheo dõidõi
 38/57
 Mô hình E. V. Popov
 KhKhảả nnăăngng
 gigiảảii thíchthích
ChuyênChuyên 
 giagia
 GiaoGiao didiệệnn
 ngngườườii BBộộ nhnhớớ CCơơ ssởở
 DiDiễễnn ddịịchch
 ssửử ddụụngng làmlàm viviệệcc tritri ththứứcc
NgNgườườii 
ssửử ddụụngng 
 SSởở hhữữuu
 tritri ththứứcc
 39/57
 TriTri ththứứcc vvàà CCơơ ssởở tritri ththứứcc
a Tri thức trong HCG : 
 V Phản ánh sự tinh thông được tích tụ từ sách vở, tạp chí,
 từ các chuyên gia hay các nhà bác học
a Cơ sở tri thức gồm :
 V Các phần tử (hay đơn vị) tri thức được tổ chức như một CSDL
 V Tuỳ theo phương pháp phát triển HCG mà các phần tử có đặc 
 trưng, tính chất khác nhau
 V Chẳng hạn trong các HCG dựa theo luật (Rules-Based ES) :
 ™ Mỗi phần tử tri thức là một luật
 ™ Cơ sở tri thức như vậy còn được gọi là bộ nhớ sản xuất 
 (Production Memeory)
 40/57
 PhânPhân loloạạii tritri ththứứcc
a Người ta thường phân loại tri thức theo nhiều cách
a Theo phân loại chức năng, có hai loại tri thức :
 V Tri thức phán đoán (Assertion Knowledge) :
 mô tả các tình huống đã được thiết lập hoặc sẽ được thiết lập
 V Tri thức thực hành (Operating Knowledge)
 thể hiện những hậu quả rút ra hay những thao tác cần phải hoàn 
 thiện khi một tình huống đã được thiết lập hoặc sẽ được thiết lập 
 trong lĩnh vực đang xét
a Tri thức thực hành :
 V Thường được thể hiện bởi các biểu thức Toán học+Lôgic
 dễ hiểu, dễ triển khai 
 V NSD có thể thao tác với tri thức như khai thác một CSDL
 41/57
 PhânPhân loloạạii tritri ththứứcc theotheo bibiểểuu hihiệệnn
aTheo phân loại theo biểu hiện, cũng có hai loại :
aTri thức hiện, rõ (explicit knowledge)
 V Diễn đạt bằng ngôn ngữ hình thức, dễ trao đổi giữa các cá nhân
 V Có thể biểu diễn bằng các công thức khoa học, các thủ tục tường 
 minh, hoặc nhiều cách khác
 V Bao gồm thông tin, dữ liệu, sách báo, văn bản, tài liệu đã được hệ
 thống bằng nhiều phương tiện
aTri thức ngầm, ẩn (tacit knowledge) 
 V Có được và ẩn chứa trong kinh nghiệm của từng cá nhân, mang tính 
 chủ quan, bao gồm những hiểu biết riêng thấu đáo, trực giác, linh 
 cảm, kỹ năng, 
 V Khó trao đổi hoặc chia sẻ với người khác
 V Chỉ có thể học được từ người khác nhờ quan hệ gần gũi trong một 
 khoảng thời gian nào đó
 42/57
Knowledge-base may really include many things
 HeuristicsHeuristics
 EventsEvents
HypothesisHypothesis 
 Definitions
 FactsFacts Knowledge Definitions
 Base
 RulesRules RelationshipsRelationships
 ProcessesProcesses AttributesAttributes
 ObjectsObjects
 43/57
 KhKhááii niniệệmm vvềề Quản trị tri thức
a Người ta thường nói : 
 V Tri thức là sức mạnh
 V Tri thức là của cải 
a Các tổ chức của LHQ rút ra kết luận rằng :
 V Kinh tế thế giới phát triển mạnh mẽ do biết dựa vào tri thức
a Làm thế nào để sáng tạo và sử dụng đúng đắn các tri thức
a Quản trị tri thức (Knowledge Management) 
 44/57
 ESES Elements:Elements: MMááyy duyduy didiễễnn
a Máy duy diễn (inference engine) :
 V Công cụ (chương trình, hay bộ xử lý) tạo ra sự suy luận bằng 
 cách quyết định xem những luật nào sẽ làm thỏa mãn các sự
 kiện, các đối tượng
 V Chọn ưu tiên các luật thỏa mãn
 V Thực hiện các luật có tính ưu tiên cao nhất
 45/57
 ESES ElementsElements :: GiaoGiao didiệệnn ngngưườờii ssửử ddụụngng
a Giao diện người sử dụng (user interface) : 
 V Là nơi người sử dụng và hệ chuyên gia trao đổi với nhau
 46/57
 ESES ElementsElements :: CCáácc ththàànhnh phphầầnn khkháácc
a Lịch công việc (agenda) :
 V Danh sách các luật ưu tiên do máy suy diễn tạo ra thoả mãn 
 các sự kiện, các đối tượng có mặt trong bộ nhớ làm việc.
a Bộ nhớ làm việc (working memory) :
 V Cơ sở dữ liệu toàn cục chứa các sự kiện phục vụ cho các luật
a Khả năng giải thích (explanation facility) :
 V Giải nghĩa cách lập luận của hệ thống cho người sử dụng
a Khả năng thu nhận tri thức (explanation facility) :
 V Cho phép NSD bổ sung tri thức vào hệ thống
 V Khả năng thu nhận tri thức là yếu tố mặc nhiên của nhiều hệ
 chuyên gia
 47/57
 PhPháátt hihiệệnn tritri ththứứcc vvàà khaikhai phpháá ddữữ liliệệuu
a Phát hiện tri thức (PHTT) và khai phá dữ liệu (KPDL) 
a Bối cảnh :
 V Sự phát triển nhanh chóng của lĩnh vực CNTT và ứng dụng CNTT trong đời 
 sống, kinh tế, xã hội, quốc phòng hiện nay
 V Khối lượng dữ liệu thu thập, xử lý, khai thác và lưu trữ ngày càng tích luỹ
 nhiều lên
 V Tuy nhiên, chỉ có khoảng từ 5% đến 10% lượng dữ liệu có ý nghĩa sử dụng 
 theo thống kê
 V Rất nhiều dữ liệu chưa được sử dụng hiệu quả nhưng vẫn phải tiếp tục thu 
 thập rất tốn kém (nỗi lo sợ bỏ sót dữ liệu quan trọng có thể cần đến sau này)
 V Trong môi trường cạnh tranh, nhu cầu có nhiều thông tin với tốc độ nhanh 
 để trợ giúp ra quyết định và ngày càng có nhiều câu hỏi mang tính chất định 
 tính cần phải trả lời dựa trên một khối lượng dữ liệu khổng lồ đã có
 V Các phương pháp quản trị và khai thác cơ sở dữ liệu truyền thống ngày càng 
 không đáp ứng được thực tế
a Sự ra đời kỹ thuật “Phát hiện tri thức và khai phá dữ liệu”
 48/57
 TTììnhnh hhììnhnh nghiênnghiên ccứứuu PHTTPHTT vvàà KPDLKPDL
a Thuật ngữ : 
 V Phát hiện tri thức (Knowledge Discovery)
 V Khai phá dữ liệu (Data Mining)
a Đã và đang được nghiên cứu, ứng dụng trong nhiều lĩnh 
 vực khác nhau ở các nước trên thế giới
a Tại Việt Nam :
 V Kỹ thuật này vẫn còn tương đối mới mẻ 
 V Đang được nghiên cứu 
 V Đang dần đưa vào ứng dụng thực tiễn
 49/57
 KhKhááii niniệệmm ““KhaiKhai phpháá ddữữ liliệệuu””
a Khai phá dữ liệu (Data Mining) : 
 quá trình trích xuất các thông tin có giá trị tiềm ẩn bên 
 trong lượng lớn dữ liệu được lưu trữ trong các CSDL,
 kho dữ liệu
a Hiện nay, ngoài thuật ngữ khai phá dữ liệu, người ta còn 
 dùng một số thuật ngữ khác có ý nghĩa tương tự như :
 V Khai phá tri thức từ CSDL
 (Knowlegde Mining From Databases)
 V Trích lọc dữ liệu (Knowlegde Extraction)
 V Phân tích dữ liệu/mẫu (Data/Pattern Analysis)
 V Khảo cổ dữ liệu (Data Archaeology)
 V Nạo vét dữ liệu (Data Dredging)
 50/57
 QuiQui trtrììnhnh 55 bbưướớcc PHTTPHTT vvàà KPDLKPDL
1. Tìm hiểu lĩnh vực ứng dụng và hình thành bài toán 
 Đây là bước quyết định cho phép chọ n các phương pháp khai phá dữ liệu thích 
 hợp với mục đích ứng dụng và bản chất của dữ liệu
2. Thu thập và xử lý thô (hay tiền x ử lý dữ liệu) 
 Bư ớc này thường chi ếm dụng nhiều thời gian trong toàn bộ qui trình 
3. Khai phá dữ liệu, hay nói cách khác là trích ra các mẫu và/ho ặc các mô 
 hình ẩn dưới các dữ liệu
 Đây là giai đoạn thiết yếu, trong đó các phương pháp thông minh sẽ được áp 
 dụng để trích xuất ra các mẫu dữ liệu hay tri thức hữu ích
4. Đánh giá mẫ u (pattern evaluation) : 
 Hiể u tri thức đ ã tìm được, đặc biệt là làm sáng tỏ các mô tả và dự đoán, đánh 
 giá sự hữu ích của các mẫu biểu diễn tri thức dựa vào một số phép đo
5. Trình diễ n dữ liệu (knowlegde presentation): 
 sử dụng các kĩ thu ật trình diễn và trực quan hoá dữ liệu để biểu diễn tri thức 
 khai phá được cho người sử dụng
 51/57
 XXửử lýlý thôthô ddữữ liliệệuu
a Làm sạch dữ liệu (data cleaning) : 
 loại bỏ nhiễu hoặc các dữ liệu không thích hợp
a Tích hợp d ữ liệu (data integration) :
 tích hợp dữ liệu từ các nguồn khác nhau như :
 CSDL, Kho dữ li ệu, các loại văn bản khác nhau... 
a Chọn dữ liệu (data selection) :
 ở bước này, những dữ liệu liên quan trực tiếp đến nhiệm vụ sẽ 
 được thu thập từ các nguồn dữ liệu ban đầu
 được thu thập từ các nguồ n dữ liệu ban đầu 
a Chuyển đổi dữ liệu (data transformation) :
 trong bước này, dữ liệu sẽ được chuyển đổi về dạng phù hợp 
 cho việc khai phá bằng cách thực hiện các thao tác nhóm hoặc 
 cho việc khai phá bằng cách thực hiện các thao tác nhóm ho ặc 
 tập hợp
 tập hợp 
 52/57
 QuiQui trtrììnhnh PHTTPHTT vvàà KPDLKPDL
a Các bước trong quy trình có thể lặp đi lặp lại một số lần
a Kết quả thu được có thể được lấy trung bình từ số lần thực hiện
 53/57
 CCáácc phphươươngng phpháápp PHTTPHTT vvàà KPDLKPDL
a Nhằm hai mục đích chính : 
 V Dự đoán (Prediction)
 V Mô tả (Description)
a Thường sử dụng các phương pháp sau :
 V Phân loại (Classification)
 V Hồi qui (Regression)
 V Phân nhóm (Clustering)
 V Tổng hợp (Summarization)
 V Mô hình ràng buộc (Dependency modeling)
 V Dò tìm biến đổi và độ lệch (Change and Deviation Dectection)
 V Biểu diễn mô hình (Model Representation)
 V Kiểm định mô hình (Model Evaluation)
 V Phương pháp tìm kiếm (Search Method)
 54/57
 CCáácc llĩĩnhnh vvựựcc liênliên quanquan đđếếnn PHTTPHTT vvàà KPDLKPDL
a PHTT và KPD liên quan đến nhiều ngành, nhiều lĩnh v ực :
 V Thống kê
 V Trí tuệ nhân tạo
 V Cơ sở dữ liệu
 V Thuật toán học
 V Tính toán song song và tốc độ cao
 V Thu thập tri thức cho các hệ chuyên gia
 V Quan sát dữ liệu... 
a PHTT và KPD rất gần gũi với các lĩnh vực :
 V Thống kê, sử dụng các phương pháp thống kê để mô hình dữ liệu 
 và phát hiện các mẫu, luật...
 V Ngân hàng dữ liệu (Data Warehousing) và các công cụ phân tích 
 trực tuyến (OLAP)
 55/57
 ỨỨngng ddụụngng PHTTPHTT vvàà KPDLKPDL
a Thông tin thương mại : 
 V Phân tích dữ liệu marketing, khách hàng
 V Phân tích đầu tư
 V Phê duyệt cho vay vốn
 V Phát hiện gian lận
a Thông tin kỹ thuật :
 V Điều khiển và lập lịch trình
 V Quản trị mạng
 V Phân tích các kết quả thí nghiệm
a Thông tin khoa học
a Thông tin cá nhân...
 56/57
 CCáácc ththááchch ththứứcc ccủủaa PHTTPHTT vvàà KPDLKPDL
a Các CSDL thường rất lớn, thường xuyên biến đổi 
 và phát triển không ngừng
a Đặc điểm :
 V Các CSDL thường có số chiều lớn 
 V Thay đổi dữ liệu và tri thức có thể làm cho các mẫu đã phát 
 hiện không còn phù hợp
 V Dữ liệu bị thiếu hoặc nhiễu
 V Quan hệ giữa các trường dữ liệu phức tạp
a Vấn đề giao tiếp với người sử dụng
 và kết hợp với các tri thức đã có
a Khả năng tích hợp với các hệ thống khác...
 57/57