Standardy rodiny XML

Tomáš Pitner

Copyright © 2001-2003 Tomáš Pitner

  • Opakování: správně utvořený (well formed) dokument

  • Nové: platný (valid) dokument

    Platný podle specifikace znamená přísnější omezení než správně utvořený.

    Obvykle se validitou myslí soulad s DTD (Document Type Definition) dokumentu.

  • uzel dokumentu

    - ten je nadřazený kořenovému elementu

    - může kromě něj obsahovat též komentáře, instrukce pro zpracování, notaci DOCTYPE atd

  • kořenový element

Specifikace povoluje na určitých místech v XML dokumentech (např. název elementu, obsah atributu...) jen některé znaky.

Vzhledem k internacionalizaci a nutnosti zvládnout i exotické jazyky je třeba znát, co se čím myslí.

Musíme rozlišovat:

  • znakové sady (množiny znaků s pořadovými čísly), tj. přiřazení ordinální hodnoty znaku (např. Unicode) a

  • kódování znaků (z dané sady), např. UTF-8, tj. ordinální hodnota znaku se kóduje do posloupnosti bajtů

Oba standardy se zabývají podobnými problémy: řeší znakové sady s více než 256 znaky.

  • Původní návrh tzv. 16bitového Unicode: až 64 K znaků, stačí pro evropské, nestačí pro světové jazyky (např. dnes frekventovaná čínstina).

  • 32bitový Unicode: pokrývá znaky už "na věky".

V současnosti se z 32bitové škály většinou používá jen tzv. Basic Multilingual Plane (BMP) pokrývající většinu jazyků.

V XML je možné pro názvy (nonterminál kvalifikovaná jména - QName) použít znaky z BMP.

Jinak lze v XML dokumentech používat všechny znaky Unicode.

Všechny aplikace XML (zejména aplikace univerzální, parsery) musejí být schopny zpracovat znaky Unicode bez ohledu na kódování.

Přesto je dobré znát nejběžnější kódování:

  • osmibitová, tradiční: US-ASCII, ISO-8859-2 (ISO Latin 2), Windows-1250 (=Cp1250) - kódování jen vybrané podmnožiny Unicode.

  • UTF-8: kódování všech znaků Unicode, každý znak na 1-6 bajtech, US-ASCII na jednom bajtu, "čeština" na dvou.

  • UTF-16: princip stejný jako UTF-8, ale základní ukládací jednotkou je dvoubajtové slovo (16 bitů)

  • UCS-2: přímé kódování Unicode, čísla znaků z BMP se zapíší přímo jako dva bajty

  • UCS-4: dtto, ale pro celý Unicode a na 4 bajtech - neúsporné, 4 bajty i pro US-ASCII, evropské jazyky...

Pro XML mají klíčový význam UTF kódování, zejména UTF-8 (ale parsery musejí umět obě).

  • Přípustné jsou jakékoli UNICODE znaky po x10FFFF (kromě xFFFE, xFFFF a rozmezí xD800 - xDFFF).

  • jména (names) musí být složena ze nemezerových znaků: číslice, písmena, . (tečka) - (pomlčka, minus) _ (podtržítko) : a dalších, musí začínat písmenem nebo _ :

  • Kódování těchto UNICODE znaků není podstatné.

  • Jako implicitní - není-li v prologu (hlavičce), např.

    <?xml version="1.0" encoding="Windows-1250"?>

    uvedeno jinak - se používá UTF-8 nebo UTF-16.

  • Rozlišení UTF-8 a UTF-16 se děje pomocí prvních dvou bajtů dokumentové entity (tj. souboru), pomocí tzv. byte-order-mark xFFFE

  • Není-li uvedena, předpokládá se UTF-8, čili UTF-8 je implicitní kódování UNICODE znaků v XML dokumentech.

Teoreticky by tedy bylo možné z obsahu souboru rozpoznat přesně, o jaké kódování se u XML dokumentu jedná...

  • Definice typu dokumentu (použití této definice je pak deklarace typu dokumentu)

  • Specifikována přímo standardem XML 1.0

  • Popisuje přípustný obsah elementů, atributů, jejich implicitní (default) hodnoty, definuje použité entity

  • Může být uvedena jako interní nebo externí DTD (internal and external subset) nebo "napůl" - tam i tam.

  • Dokument vyhovující DTD je označován jako valid (platný).

Uvádí se těsně před kořenový elementem konstrukcí

  • <!DOCTYPE jméno-kořenového-elt Externí-ID [ interní část DTD ]>

Interní nebo externí část (internal or external subset) nemusí být uvedena nebo mohou být uvedeny obě.

Externí identifikátor může být buď

  • PUBLIC "PUBLIC ID" "URI" (hodí se pro "veřejná", obecně uznané DTD) nebo

  • SYSTEM "URI" - pro soukromá nebo jiná "ne zcela standardizovaná" DTD ("URI" nemusí být jen URL na síti, může být i jméno souboru, vyhodnocení se děje podle systému, na němž se vyhodnocuje)

Význam interní a externí části je rovnocenný (a nesmí si odporovat - např. dvě definice téhož elementu).

Obsahem DTD je seznam deklarací jednotlivých prvků - elementů, seznamů atributů, entit, notací

Slouží k "zakomentářování" úseků DTD např. při experimentování.

  • <![IGNORE[ toto se bude ignorovat ]]>

  • <![INCLUDE[ toto se zahrne do DTD (tj. nebude se ignorovat)]]>

Popisuje možný obsah elementu, má formu <!ELEMENT jméno-elementu ... >,kde ... může být

  • EMPTY - prázdný element, může být zobrazen jako <element/> nebo <element></element> - totéž

  • ANY - povolen je libovolný obsah elementu, tj. text, dceřinné elementy, ...

  • může obsahovat dceřinné elementy - <!ELEMENT jméno-elementu (specifikace dceřinných elementů)>

  • může být smíšený (MIXED) - obsahující text i dceřinné elementy dané výčtem <!ELEMENT jméno-elementu (#PCDATA | přípustné dceřinných elementy)*>. Nelze specifikovat pořadí nebo počet výskytů konkrétních dceřinných elementů. Hvězdička za závorkou je povinná - vždy je možný libovolný počet výskytů.

Pro specifikaci dceřinných elementů používáme:

  • operátor sekvence (sequence, follow with) ,

  • operátor volby (výběru, select, choice) |

  • závorky () mají obvyklý význam

  • nelze kombinovat v jedné skupině různé operátory , |

  • počet výskytů dceřinného elementu omezujeme specifikátory "hvězdička", "otazník", "plus" s obvyklými významy. Bez specifikátoru znamená, že je povolen právě jeden výskyt.

Popisuje (datový) typ, případně implicitní hodnoty atributu u daného elementu.

Má tvar <!ATTLIST jméno-elementu jméno-atributu typ-hodnoty implicitní-hodnota>

Přípustné typy hodnot jsou:

  • CDATA

  • NMTOKEN

  • NMTOKENS

  • ID

  • IDREF

  • IDREFS

  • ENTITY

  • ENTITIES

  • výčet hodnot - např. (hodnota1|hodnota2|hodnota3)

  • výčet notací - např. NOTATION (notace1|notace2|notace3)

Atribut (i nepovinný) může mít implicitní hodnotu:

  • "implicitní hodnota" - atribut je nepovinný, ale není-li uveden, chápe se to, jako by měl hodnotu implicitní hodnota

Atributy mohou mít předepsán (povinný) výskyt:

  • #REQUIRED - atribut je povinný

  • #IMPLIED - atribut je nepovinný

  • #FIXED "pevná-hodnota" - atribut je povinný a musí mít právě hodnotu pevná-hodnota

Atribut (i nepovinný) může mít implicitní hodnotu:

  • "implicitní hodnota" - atribut je nepovinný, ale není-li uveden, chápe se to, jako by měl hodnotu implicitní hodnota

Rozlišuje se:

  • deklarace

  • reference (tj. použití) dané (již deklarované) entity.

  • parsované - soubory se (správně utvořeným) značkováním,

  • neparsované - např. binární soubory,

  • znakové - znaky, např. &gt; je referencí na znakovou entitu

  • XML Namespaces (W3C Recommendation): http://www.w3.org/TR/REC-xml-names

  • Existuje také nové Namespaces in XML 1.1 W3C Recommendation 4th February 2004. Andrew Layman, Richard Tobin, Tim Bray, Dave Hollander

  • Definují "logické prostory" jmen (elementů, atributů) v XML dokumentu.

  • Dávají uzlům ve stromu XML dokumentu "třetí dimenzi".

  • Logickému prostoru jmen odpovídá jeden globálně ("celosvětově") jednoznačný identifikátor, daný URI (URI tvoří nadmnožinu URL).

  • NS odpovídající danému URI nemá nic společného s obsahem nacházejícím se případně na tomto URL ("nic se odnikud automaticky nestahuje" - nedochází k tzv. dereferenci danéhol URI).

  • V rámci dokumentů se místo těchto URL používají zkratky, prefixy těchto NS namapované na příslušné URI atributem xmlns:prefix="URI".

    Jméno elementu či atributu obsahující dvojtečku se označuje jako kvalifikované jméno, QName.

  • Dva NS jsou stejné, jestliže se jejich URI shodují po znacích přesně (v kódování UNICODE).

  • NS neovlivňují význam textových uzlů.

  • Element/atribut nemusí patřit do žádného NS.

  • Deklarace prefixu NS nebo implicitního NS má platnost na všechny dceřinné uzly rekurentně, dokud není uvedena jiná deklarace "přemapující" daný prefix.

  • Jeden NS je tzv. implicitní (default NS), deklarovaný atributem xmlns=

  • Na atributy se implicitní NS nevztahuje!!!, čili atributy bez explicitního uvedení prefixu nejsou v žádném NS.

V následující ukázce je pro celý úryvek platný deklarovaný implicitní jmenný prostor charakterizovaný URI (URL) http://www.w3.org/1999/xhtml

Example 1.1. Implicitní jmenný prostor

<html xmlns="http://www.w3.org/1999/xhtml" xml:lang="en" lang="en">
   <body>
      <h1>Huráááá</h1>
   </body>
</html>

V následující ukázce je deklarován a přiřazen prefixu xhtml jmenný prostor charakterizovaný URI (URL) http://www.w3.org/1999/xhtml

Example 1.2. Jmenný prostor mapovaný na prefix

<xhtml:html xhtml:xmlns="http://www.w3.org/1999/xhtml" xml:lang="en" lang="en">
   <xhtml:body>
      <xhtml:h1>Huráááá</xhtml:h1>
   </xhtml:body>
</xhtml:html>

Dosud ne všechny parsery dokážou rozpoznávat NS. ...i když problémy jsou s tím dnes výjimečné...

NS jsou nekompatibilní s DTD (DTD přísně rozlišuje např. jméno xi:include a include, přestože patří do stejného NS a mají tedy z hlediska aplikace obvykle stejnou interpretaci/význam).

  • XML Base, W3C Recommendation 27 June 2001: http://www.w3.org/TR/xmlbase/

  • Standard pro vyhodnocování relativních URL v odkazech z/na XML dokumenty.

  • Definuje použití vyhrazeného atributu xml:base označujícího základ pro vyhodnocování relativních URL.

  • Doplňuje se se standardem XLink.

  • Respektuje princip "překrývání" bázové adresy nastavené v nadřazeném elementu.

Example 1.3. xml:base určuje základ pro relativní URL

Note

Všimněte si použití vyhrazeného prefixu xml:

Example 1.4. Vložení textového souboru (jako textového uzlu)

<xhtml:html xhtml:xmlns="http://www.w3.org/1999/xhtml" 
            xml:lang="en" lang="en">
   <xhtml:body>
      <xhtml:h1>Huráááá</xhtml:h1>
      <xi:include xmlns:xi="http://www.w3.org/2001/XInclude" 
                  href="obsah.txt" encoding="Windows-1250"/>
   </xhtml:body>
</xhtml:html>

  • Vycházejí ze starších SGML katalogů

  • Jde o prostředek, jak se jednotně odkazovat na entity (dokumenty) umístěné na různých systémech na různých místech.

  • Dovoluje také praktické použití identifikátorů URI typu PUBLIC, které neodkazují na žádnou reálnou lokaci na internetu.

  • Existuje několik formátů pro katalogy - bohužel.

Example 1.5. Katalog pro styly značkování DocBook Slides

<?xml version="1.0"?>
<catalog xmlns="urn:oasis:names:tc:entity:xmlns:xml:catalog">
<!-- Slides DTD locations -->
<group xml:base="schema/dtd/"
       id="slides-dtd"
       prefer="public">
  <public
    publicId="-//Norman Walsh//DTD Slides Custom V3.1.0//EN"
    uri="slides-custom.dtd"/>

  <public
    publicId="-//Norman Walsh//DTD slides Full V3.1.0//EN"
    uri="slides-full.dtd"/>
</group>

  <rewriteURI
    uriStartString="http://docbook.sourceforge.net/release/xsl/current/"
    rewritePrefix="file:/c:/devel/docbook-xsl-1.62.4/"/>

<!-- Map web references to DocBook 4.2 DTD -->
   <nextCatalog catalog="file:/c:/devel/docbook4.2/catalog.xml" />
</catalog>

  • Infoset se skládá z Information items

  • Infoset se týká dokumentu s již expandovanými entitami

  • Rozlišuje se infoset dokumentu, elementu, atributu, znaku, instrukci pro zpracování, neexpandované entitě, neanalyzované entitě, notaci

  • Podrobněji viz specifikace.

  • Canonical XML Version 1.0, W3C Recommendation 15 March 2001, http://www.w3.org/TR/xml-c14n

  • Smyslem je popsat kritéria (a algoritmy), které pomohou rozhodnout, zda jsou dva XML dokumenty ekvivalentní, lišící se pouze fyzickou reprezentací (entity, pořadí atributů, kódování znaků)

  • Kanonizace "setře" rozdíly mezi takovými dokumenty, k nimž se analyzátor "bude jistě chovat stejně", tj. z pohledu aplikace jsou totožné.

  • Použití kanonického tvaru je nutné např. u elektronického podpisu XML dat (při výpočtu hodnoty digest).

  • Bylo by možné nad XML dokumenty definovat i jiné relace ekvivalence než je Canonical XML.

Hlavní zásady konstrukce kanonického tvaru XML dokumentu:

  • kódování v UTF-8

  • zlomy řádků (CR, LF) jsou normalizovány podle algoritmu uvedeného v std. XML 1.0

  • hodnoty atributů jsou normalizovány

  • reference na znakové a parsované entity jsou nahrazeny jejich obsahem

  • CDATA sekce jsou nahrazeny jejich obsahem

  • hlavička "xml" a deklarace typu dokumentu jsou odstraněny

  • bílé znaky mimo kořenový element jsou normalizovány

  • jiné bílé znaky (vyjma normalizace zlomu řádků) jsou zachovány

  • hodnoty atributů jsou uvozeny "

  • speciální znaky v hodnotách atributů a textovém obsahu elementů jsou nahrazeny referencemi na entity

  • nadbytečné deklarace jmenných prostorů jsou z každého elementu odstraněny

  • implicitní hodnoty atributů jsou dodány do každého elementu (kde je to relevantní)

  • na pořadí atributů a deklarací jmenných prostorů se uplatní lexikografické řazení

Ztráta řady informací (typicky pocházejících z DTD):

  • neparsované entity (např. binární entity) jsou po kanonizaci nepřístupné

  • notace

  • typy atributů (vč. implic. hodnot)