You also want an ePaper? Increase the reach of your titles
YUMPU automatically turns print PDFs into web optimized ePapers that Google loves.
Chapter 1<br />
SAS/ACCESS Interface to<br />
Hadoop<br />
Introduction to SAS/ACCESS Interface to Hadoop . . . . . . . . . . . . . . . . . . . . . . . . . . 2<br />
SAS/ACCESS Interface to Hadoop: Supported Features . . . . . . . . . . . . . . . . . . . . . 2<br />
LIBNAME Statement Specifics for Hadoop . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3<br />
Overview . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3<br />
Security Limitations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3<br />
Arguments . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3<br />
Hadoop LIBNAME Statement Examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5<br />
Data Set Options for Hadoop . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5<br />
SQL Pass-Through Facility Specifics for Hadoop . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5<br />
Key Information . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5<br />
Examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6<br />
Passing SAS Functions to Hadoop . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6<br />
Passing Joins to Hadoop . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7<br />
Bulk Loading for Hadoop . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7<br />
Overview . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7<br />
External Tables . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8<br />
File Formats . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8<br />
File Locations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8<br />
Examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9<br />
Naming Conventions for Hive . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10<br />
Data Types for Hadoop . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10<br />
Overview . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10<br />
Simple Hive Data Types . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11<br />
Complex Hive Data Types . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11<br />
Hive Date, Time, and Timestamp Data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11<br />
SAS Data Types . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12<br />
Data Conversion from Hive to SAS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12<br />
Issues When Converting Data from Hive to SAS . . . . . . . . . . . . . . . . . . . . . . . . . . 12<br />
SAS Table Properties for Hive and Hadoop . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13<br />
Data Conversion from SAS to Hive . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13<br />
Leverage Table Properties for Existing Hive Tables . . . . . . . . . . . . . . . . . . . . . . . . 14<br />
Address Issues When Converting Data from Hive to SAS with Table Properties . . 15<br />
Alternatives to Table Properties for Issues with Data<br />
Conversion from Hive to SAS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16<br />
Address Issues When Converting Data from Hive to SAS for<br />
Pass-Through SQL . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18<br />
Hadoop Null Values . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19<br />
1
Change language