Adatbányászat

Tartalom

Előszó a magyar kiadáshoz 13
Előszó az angol kiadáshoz 15
Szerzők előszava 17
1. fejezet | Bevezetés 23
1.1. Az adatbányászat kialakulása és fontossága 23
1.2. Mi az adatbányászat? 26
1.3. Adatbányászat - az adatok típusa 31
1.3.1. Relációs adatbázisok 31
1.3.2. Adattárházak 33
1.3.3. Tranzakciós adatbázisok 36
1.3.4. Fejlett adatbázisrendszerek és adatbázis-alkalmazások 37
1.4. Milyen minták bányászhatók? 42
1.4.1. Fogalom-/osztály leír ások: karakterizáció és diszkrimináció 42
1.4.2. Társításelemzés 44
1.4.3. Osztályozás és előrejelzés 45
1.4.4. Klaszterelemzés 46
1.4.5. Szélsőséges értékek elemzése 47
1.4.6. Fejlődésanalízis 47
1.5. Minden minta érdekes? 48
1.6. Az adatbányászati rendszerek osztályozása 49
1.7. Az adatbányászat fő kérdései 51
1.8. Összefoglalás 54
1.9. Feladatok 55
1.10. Irodalom 56
2. fejezet | Adattárház és OLAP-technológia 59
2.1. Mi az adattárház? 59
2.1.1. Különbségek az operatív adatbázisrendszerek és az adattárházak között 62
2.1.2. Miért legyen mégis külön adattárház ? 63
2.2. A többdimenziós adatmodell 64
2.2.1. A táblázattól és számolótáblától az adatkockáig 64
2.2.2. Csillagok, hópelyhek és csillagképek: sémák többdimenziós adatbázisokhoz 68
2.2.3. Példák csillag-, hópehely- és csillagképsémák definiálására 70
2.2.4. A mértékek osztályozása és számítása 73
2.2.5. Fogalmi hierarchiák bevezetése 75
2.2.6. OLAP-műveletek a többdimenziós adatmodellben 77
2.2.7. Csillaghálós lekérdező modell többdimenziós adatbázisok lekérdezéséhez 80
2.3. Adattárház-architektúra 81
2.3.1. Adattárház tervezésének és építésének lépései 81
2.3.2. A háromszintű adattárház felépítése 84
2.3.3. Az OLAP-szerverek típusai: ROLAP, MOLAP, HOLAP 87
2.4. Adattárházak megvalósítása 89
2.4.1. Adatkockák hatékony számítása 89
2.4.2. OLAP-adatok indexelése 96
2.4.3. OLAP-lekérdezések hatékony feldolgozása 99
2.4.4. Metaadatraktár 100
2.4.5. Az adattárházak háttéreszközei és segédprogramjai 101
2.5. Az adatkocka-technológia továbbfejlesztése 102
2.5.1. Az adatkockák felfedezésvezérelt feltárása 102
2.5.2. Bonyolult összesítések több finomsági szinten: többtulajdonságú kockák 106
2.5.3. További fejlesztések 109
2.6. Az adattárház-kezeléstől az adatbányászatig 109
2.6.1. Adattárházak használata 109
2.6.2. Az on-line analitikus feldolgozástól az on-line analitikus bányászatig 111
2.7. Összefoglalás 114
2.8. Feladatok 115
2.9. Irodalom 118
3. fejezet | Az adatok előfeldolgozása 121
3.1. Az adatok előfeldolgozásának szükségessége 121
3.2. Adattisztítás 125
3.2.1. Hiányzó értékek 125
3.2.2. Zajos adatok 126
3.2.3. Inkonzisztens adatok 128
3.3. Adatok integrálása és transzformálása 128
3.3.1. Adatok integrálása 128
3.3.2. Adatok transzformálása 130
3.4. Adatok redukálása 132
3.4.1. összevonás adatkockába 133
3.4.2. Dimenziócsökkentés 134
3.4.3. Adatok tömörítése 137
3.4.4. Számosságcsökkentés 140
3.5. Diszkretizáció és fogalmi hierarchiák generálása 146
3.5.1. Diszkretizáció és fogalmi hierarchiák generálása numerikus adatokból 147
3.5.2. Fogalmi hierarchiák generálása kategória típusú adatokból 152
3.6. Összefoglalás 155
3.7. Feladatok 155
3.8. Irodalom 156
4. fejezet | Adatbányászó primitívek, nyelvek és rendszerarchitektúrák 159
4.1. Adatbányászó primitívek: mit jelent az adatbányászati feladat? 160
4.1.1. A feladat szempontjából fontos adatok 162
4.1.2. A bányászandó tudás típusa 163
4.1.3. Háttértudás: fogalmi hierarchiák 164
4.1.4. Érdekességi mértékek 167
4.1.5. A felfedezett mintázat bemutatása és ábrázolása 170
4.2. Az adatbányászati lekérdezd nyelv 172
4.2.1. A feladat szempontjából fontos adatok meghatározásának szintaktikája 174
4.2.2. Szintaktika a bányászandó tudás típusának meghatározására 175
4.2.3. A fogalmi hierarchia meghatározásának szintaktikája 177
4.2.4. Az érdekességi mérték meghatározásának szintaktikája 179
4.2.5. Szintaxis a mintázat bemutatásának és ábrázolásának meghatározására 179
4.2.6. Mindent egybevéve - példa a DMQL-lekérdezésre 180
4.2.7. További adatbányászati nyelvek és az adatbányászó primitívek szabványosítása 182
4.3. Az adatbányászati lekérdezd nyelven alapuló grafikus felhasználói interfész fejlesztése 183
4.4. Az adatbányászati rendszerek architektúrája 184
4.5. Összefoglalás 186
4.6. Feladatok 187
4.7. Irodalom 189
5. fejezet | Fogalomleírás: jellemzés és összehasonlítás 191
5.1. A fogalomleírás 191
5.2. Adatáltalánosítás és összegzés alapú jellemzés 193
5.2.1. Az attribútumorientált indukció 193
5.2.2. Az attribútumorientált indukció hatékony megvalósítása 199
5.2.3. A kapott általánosítás megjelenítése 201
5.3. Analitikus jellemzés: attribútumrelevancia-elemzés 205
5.3.1. Miért végzünk attribútumrelevancia-elemzést? 205
5.3.2. Az attribútumrelevancia elemzésének módszerei 207
5.3.3. Analitikus jellemzés - példa 209
5.4. Osztály-összehasonlítások bányászata: különböző osztályok megkülönböztetése 211
5.4.1. Osztály-összehasonlítási módszerek és megvalósításuk 211
5.4.2. Az osztály-összehasonlítási leírások megjelenítése 214
5.4.3. Osztályleírás: jellemzés és összehasonlítás együttes megjelenítése 216
5.5. Leíró statisztikai mértékek bányászata nagy adatbázisokban 218
5.5.1. Az elhelyezkedés mérése 218
5.5.2. Az adatszóródás mérése 220
5.5.3. Az alapvető statisztikai osztályleírások grafikus megjelenítése 222
5.6. Tárgyalás 227
5.6.1. Fogalomleírás: tipikus gépi tanulási módszerekkel történő összehasonlítás 227
5.6.2. A fogalomleírás növekményes és párhuzamos bányászata 229
5.7. Összefoglalás 230
5.8. Feladatok 231
5.9. Irodalom 232
6. fejezet | Társítási szabályok bányászata nagy adatbázisokban 233
6.1. Társítási szabályok bányászata 233
6.1.1. Vásárlói kosár elemzése - példa, amely motiválta a társítási szabályok bányászatát 234
6.1.2. Alapfogalmak 235
6.1.3. A társítási szabályok bányászatának feltérképezése 236
6.2. Az egydimenziós Boole társítási szabályok bányászata tranzakciós adatbázisokban 238
6.2.1. Az Apriori algoritmus: gyakori elemhalmazok keresése jelöltek előállításával 238
6.2.2. Társítási szabályok generálása a gyakori elemhalmazokból 243
6.2.3. Az Apriori algoritmus hatékonyságának növelése 244
6.2.4. Gyakori elemhalmazok keresése jelöltek generálása nélkül 246
6.2.5. Jéghegy típusú kérdések 250
6.3. Többszintű társítási szabályok bányászata tranzakciós adatbázisokban 251
6.3.1. Többszintű társítási szabályok 251
6.3.2. A többszintű társítási szabályok bányászatáról 253
6.3.3. Többszintű társítási szabályok feleslegességének ellenőrzése 257
6.4. Többdimenziós társítási szabályok bányászata relációs adatbázisokban és adattárházakban 258
6.4.1. Többdimenziós társítási szabályok 258
6.4.2. Többdimenziós társítási szabályok bányászata a mennyiségi attribútumok statikus diszkretizációjával 260
6.4.3. A mennyiségi társítási szabályok bányászata 261
6.4.4. A társítási szabályok távolság alapú bányászata 264
6.5. A társítás bányászásától a korrelációs analízisig 266
6.5.1. Az erős szabályok nem feltétlenül érdekesek - példa 266
6.5.2. A társításelemzéstől a korrelációs analízisig 267
6.6. Társítások bányászata megszorításokkal 269
6.6.1. Társítási szabályok metaszábály-vezérelt bányászata 269
6.6.2. Kiegészítő szabálymegszorítások által vezérelt bányászás 271
6.7. Összefoglalás 275
6.8. Feladatok 277
6.9. Irodalom 282
7. fejezet | Osztályozás és előrejelzés 285
7.1. Az osztályozás és az előrejelzés 285
7.2. Témakörök az osztályozásra és előrejelzésre vonatkozóan 288
7.2.1. Az adatok előkészítése osztályozásra, illetve előrejelzésre 288
7.2.2. Az osztályozási módszerek összehasonlítása 289
7.3. Osztályozás a döntési fa indukció segítségével 289
7.3.1. Döntési fa indukció 290
7.3.2. Fametszés 295
7.3.3. Az osztályozási szabályok kinyerése döntési fákból 296
7.3.4. A döntési fa indukció alapmódszerének javítása 297
7.3.5. Skálázhatóság és a döntési fa indukció 298
7.3.6. Az adattárházas technikák és a döntési fa indukció integrálása 300
7.4. Bayes-osztályozás 301
7.4.1. Bayes-tétel 302
7.4.2. Naiv Bayes-osztályozó 303
7.4.3. Bayes-féle hihetőségi hálók 305
7.4.4. A Bayes-féle hihetőségi hálók tanítása 306
7.5. Osztályozás hiba-visszaterjesztéssel 308
7.5.1. Előrecsatolt többrétegű hálózatok 308
7.5.2. A háló topológiájának definiálása 309
7.5.3. A hiba-visszaterjesztéses algoritmus 310
7.5.4. A hiba-visszaterjesztéses algoritmus és az értelmezhetőség 315
7.6. A társítási szabályok bányászatán alapuló osztályozás 316
7.7. Más osztályozási módszerek 318
7.7.1. A legközelebbi szomszédon alapuló osztályozás 318
7.7.2. Eset alapú következtetés 319
7.7.3. Genetikus algoritmusok 320
7.7.4. Közelítő halmazokon alapuló megközelítés 321
7.7.5. Fuzzy halmazos megközelítések 322
7.8. Előrejelzés 323
7.8.1. Lineáris és többváltozós regresszió 323
7.8.2. Nemlineáris regresszió 325
7.8.3. Más regressziós modellek 326
7.9. Az osztályozó pontossága 327
7.9.1. Az osztályozó pontosságának becslése 327
7.9.2. Az osztályozó pontosságának növelése 328
7.9.3. Elegendő csupán a pontosság ismerete egy-egy osztályozó megítéléséhez? 329
7.10. Összefoglalás 331
7.11. Feladatok 332
7.12. Irodalom 334
8. fejezet | Klaszterelemzés 339
8.1. A klaszterelemzés 339
8.2. Adattípusok a klaszterelemzés során 342
8.2.1. Intervallumváltozók 343
8.2.2. Bináris változók 345
8.2.3. Felsorolás típusú, rendezett arányskálázott változók 347
8.2.4. Vegyes típusú változók 349
8.3. A legfontosabb klaszterező módszerek osztályozása 350
8.4. Partícionáló módszerek 353
8.4.1. Klasszikus particionáló módszerek: k-átlag és k-medoid 353
8.4.2. Particionáló módszerek nagy adatbázisokban: a k-medoidtól a CLARANS-ig 357
8.5. Hierarchikus módszerek 358
8.5.1. Egyesítő és felosztó hierarchikus klaszterezés 359
8.5.2. BIRCH: kiegyensúlyozott iteratív csökkentés és klaszterezés hierarchiák segítségével 360
8.5.3. CURE: klaszterezés reprezentáló elemek segítségével 362
8.5.4. Chameleon: dinamikus modellezést használó hierarchikus klaszterező algoritmus 364
8.6. Sűrűség alapú módszerek 366
8.6.1. DBSCAN: megfelelően sűrű és összefüggő területekre alapozó, sűrűség alapú klaszterezési módszer 366
8.6.2. OPTICS: a pontok rendezése a klaszterező struktúra honosításához 368
8.6.3. DENCLUE: klaszterezés sűrűségeloszlás-függvények alapján 370
8.7. Rács alapú módszerek 372
8.7.1. STING: statisztikai információs rács 373
8.7.2. WaveCluster: klaszterezés hullcimtranszformáció segítségével 374
8.7.3. CUQUE: sokdimenziós terek klaszterezése 376
8.8. Modell alapú klaszterező módszerek 378
8.8.1. Statisztikai megközelítés 378
8.8.2. Neuronhálós megközelítés 381
8.9. Szélsőséges értékek elemzése 383
8.9.1. Szélsőséges értékek statisztikai alapú keresése 384
8.9.2. Távolság alapú szélsőséges értékek keresése 386
8.9.3. Szélsőséges értékek eltérés alapú keresése 387
8.10. Összefoglalás 390
8.11. Feladatok 391
8.12. Irodalom 393
9. fejezet | Komplex adattípusok bányászata 395
9.1. Komplex adatobjektumok többdimenziós analízise és leíró bányászata 395
9.1.1. Strukturált adatok általánosítása 396
9.1.2. összesítés és approximáció a térbeli és a multimédia-adatok általánosításában 397
9.1.3. Az objektumazonosítók és az osztály-alosztály hierarchiák általánosítása 398
9.1.4. Az osztályszerkezet-hierarchiák általánosítása 399
9.1.5. Objektumkockák létrehozása és bányászata 399
9.1.6. Tervadatbázisok általánosítás alapú bányászata az „oszd meg és uralkodj" módszerrel 400
9.2. Téradatbázisok bányászata 404
9.2.1. Téradatkocka létrehozása és tér-OLAP 404
9.2.2. Térbeli társításelemzés 409
9.2.3. Térbeli kíaszterezési módszerek 410
9.2.4. Térbeli osztályozás és térbeli trendanalízis 410
9.2.5. Raszteres adatbázisok bányászata 411
9.3. Multimédia-adatbázisok bányászata 411
9.3.1. Hasonlóság keresése a multimédia-adatokban 411
9.3.2. Multimédia-adatok többdimenziós analízise 413
9.3.3. Multimédia-adatok osztályozása és előrejelzés-analízise 415
9.3.4. Társításbányászat a multimédia-adatokban 415
9.4. Idősorok és szekvenciális adatok bányászata 416
9.4.1. Trendanalízis 417
9.4.2. Hasonlóság keresése az idősorok elemzésében 419
9.4.3. Szekvenciális minták bányászata 423
9.4.4. Ismétlődésanalízis 424
9.5. Szöveges adatbázisok bányászata 426
9.5.1. Elemzés és információvisszakeresés szöveges adatokon 426
9.5.2. Szövegbányászat: kulcsszó alapú társítás és dokumentumosztályozás 431
9.6. A Word Wide Web bányászata 433
9.6.1. A weblink struktúráinak bányászata az autentikus weblapok lokalizálására 435
9.6.2. Webdokumentumok automatikus osztályozása 437
9.6.3. Többrétegű webinformációs bázis létrehozása 438
9.6.4. Webhasználat bányászata 439
9.7. összefoglalás 440
9.8. Feladatok 441
9.9. Irodalom 444
10. fejezet I Alkalmazások és irányzatok az adatbányászatban 447
10.1. Az adatbányászat felhasználási területei 447
10.1.1. Orvostudományi és DNS-adatok bányászata 447
10.1.2. Adatbányászat a pénzügyekben 449
10.1.3. Adatbányászat a kiskereskedelemben 451
10.1.4. Adatbányászat a távközlésben 452
10.2. Adatbányászati termékek és kutatási fázisban lévő prototípusok 453
10.2.1. Az adatbányászati rendszer megválasztása 454
10.2.2. Néhány adatbányászati termék bemutatása 456
10.3. További adatbányászati témák 458
10.3.1. Látásra és hallásra támaszkodó adatbányászat 458
10.3.2. Tudományos és statisztikai adatbányászat 463
10.3.3. Az adatbányászat elméleti alapjai 464
10.3.4. Adatbányászat és intelligens válaszadás 466
10.4. Az adatbányászat társadalmi hatásai 467
10.4.1. Felfujt léggömb vagy folyamatosan és biztosan növekedő üzletág? 467
10.4.2. Adatbányászat: menedzsereknek vagy mindenkinek? 469
10.4.3. Fenyegeti-e az adatbányászat az adatbiztonságot és személyes titkainkat? 470
10.5. Trendek az adatbányászatban 473
10.6. Összefoglalás 474
10.7. Feladatok 475
10.8. Irodalom 477
A) függelék | A Microsoft OLE DB for Data Mining szabványa 479
A.l. DMM-objektum létrehozása 480
A.2. Betanítási adatok beszúrása a modellbe és a modell betanítása 481
A.3. A modell használata 482
B) függelék | Bevezetés a DBMinerbe 487
B.l. A rendszer felépítése 488
B.2. Input - output 489
B.3. A rendszer által támogatott adatbányászati feladatok 489
B.4. Feladat- és módszerválasztás 492
B.5. KDD-folyamat 492
B.6. Fontosabb alkalmazások 493
B.7. A jelenlegi helyzet 493
Irodalomjegyzék 495
Tárgymutató 517
495 517

Témakörök