Petter Reinholdtsen

Entries tagged "standard".

Frokostseminar om Noark 5 i Oslo tirsdag 2024-03-12
27th February 2024

Nikita-prosjektet, der jeg er involvert, inviterer i samarbeid med Oslo Byarkiv, forskningsgruppen METAINFO og foreningen NUUG, til et frokostseminar om Noark 5 og Noark 5 Tjenestegrensesnitt tirsdag 2024-03-12. Seminaret finner sted ved Oslo byarkiv. Vi håper å få til videostrømming via Internett av presentasjoner og paneldiskusjon. Oppdatert program og lenker til påmeldingsskjema er tilgjengelig fra Nikita-prosjektet. Arrangementet er gratis.

Som vanlig, hvis du bruker Bitcoin og ønsker å vise din støtte til det jeg driver med, setter jeg pris på om du sender Bitcoin-donasjoner til min adresse 15oWEoG9dUPovwmUL9KWAnYRtNJEkP1u1b. Merk, betaling med bitcoin er ikke anonymt. :)

Tags: noark5, norsk, nuug, offentlig innsyn, standard.
«Når «på» blir «pÃ¥»: Et reservoar av tegn sett fra depotet» i tidsskriftet Aksess
15th November 2023

For noen uker siden skrev en kamerat og meg en artikkel om tegnsett i arkivtidsskriftet Aksess både på web og i papirutgave nr. 3 2023. Her er det som nettopp ble publisert.

Når «på» blir «pÃ¥»: Et reservoar av tegn sett fra depotet

av Thomas Sødring og Petter Reinholdtsen

De færreste av oss tenker over hva som skjer dypere i datamaskinen mens vi sitter der og skriver noe på tastaturet. Når du trykker på tasten «Å», så vises bokstaven Å. Men noen ganger blir det feil. Hvorfor det – og hva er viktig å være klar over i arkivsammenheng?

Dersom bokstaver tolkes forskjellig mellom systemer, blir det fort rot, dette kalles mojibake blant kjennere, etter det japanske uttrykket for tegnomforming. Det er en lang historie her som tidvis har vært preget av rot. Noen husker kanskje tilbake til en tid der bokstavene æ, ø og å ofte var ødelagt i e-poster – et klassisk eksempel på tegnsettproblemstilling.

«Nå» og «før»

Tid er et skjult problem for depot fordi vi danner dokumentasjon i en kontekst som er preget av å være «nå». Vår forståelse av verden og bruken av teknologi er utgangspunktet for denne konteksten. Tenk selv hvordan verden har utviklet seg de siste 20 årene, hva samfunnet er opptatt av, og hvordan vi bruker teknologi i hverdagen. Tid er et skjult problem fordi når vi trekker dokumentasjon ut av systemer og deponerer for langtidsbevaring, er konteksten til materialet «nå», men verden går videre. Ettersom teknologien og måten vi bruker den på, utvikler seg, blir «nå» til «før», og dokumentasjonen befinner seg snart i en «før»-kontekst.

Dette med «før» og «nå» i forhold til dokumentasjonens kontekst er noe vi er veldig lite bevisste på, men det er en problemstilling depotarkivene eier og forvalter. En av disse utfordringene er hvorfor «Ø» ikke nødvendigvis er det samme som «Ø», og hvorfor det i det hele tatt gir mening å si noe sånt. Vi snakker her om noe som heter tegnsett, som er en avtalt måte å representere bokstaver, tall og andre symboler på slik at vi på en feilfri måte kan utveksle tekst mellom datasystemer.

Tegnsettproblemstillingen er satt sammen av fire fasetter; repertoar, representasjon, koding og uttegning.

Repertoarer

Repertoar er en samling med tegn og symboler som kan representeres. Tenk norsk alfabet eller japanske piktogrammer, men også matematiske og elektroniske symboler. Bokstaven «stor a» kan være en oppføring i et slikt repertoar. For å kunne brukes i en datamaskin trenger hver oppføring i et slikt repertoar en representasjon, hvilket i datamaskinsammenheng betyr at det tilordnes et tall. Tallet kan lagres på ulike vis i en eller flere kodingsformater. For eksempel kan en skrive tallet ti som både 10, X og A, i henholdsvis titallssystemet, romertallssystemet og sekstentallssystemet.

Hvis en skal kunne lese inn filer og vite hvilket tall og hvilken representasjon og instans i et repertoar det er snakk om, så må en vite hvordan tallet er kodet. Sist, men ikke minst, for å kunne bruke symbolet til noe må det kunne være kjent hvordan det skal se ut eller tegnes på ark. Det finnes utallige skrifttyper med norske bokstaver, alle litt forskjellige, og skal en kunne tegne en stor A på skjermen, så må datamaskinen vite hva den skal tegne. Skrifttyper inneholder informasjon om hvordan ulike tall skal tegnes. De inneholder ikke alltid alle symbolene som er brukt i en tekst, hvilket gjør at ikke alle forståtte tegn vil kunne vises på skjerm eller ark.

Hver av disse fasettene må være avklart for å kunne ta vare på og vise frem tekst med en datamaskin. Kombinasjon av repertoar, representasjon og koding er det en kaller et tegnsett. Kombinasjonen av representasjon og uttegning kalles en skrifttype. De fleste skrifttyper har også informasjon om repertoar, men det finnes skrifttyper som kun kobler mellom tallkode og uttegning, uten å fortelle noe om hvordan tallkodene egentlig skal tolkes.

Fra ASCII til ISO-8859

Vi begynner historien med ASCII (American Standard Code for Information Interchange) som har en historie som spores tilbake til 1963. Utgangspunktet til ASCII var at det kunne kode opp til 128 forskjellige symboler i vanlig bruk i USA. De visuelle symbolene i ASCII er de små og store bokstavene (a til z og A til Z), tall (0 til 9) og tegnsettingssymboler (for eksempel semikolon, komma og punktum). ASCII har også noen usynlige symboler som ble brukt for bl.a. kommunikasjon. Før ASCII var det for eksempel teleks-tegnsett med plass til bare 32 tegn og EBCDIC med plass til 256 tegn, alle med en helt annen rekkefølge på symbolene enn ASCII, men de har vært lite brukt de siste femti årene. Et eksempel på noen utvalgte symboler i repertoaret til ASCII vises i tabell 1.

Tabell 1. Eksempel på utvalgte symboler hentet fra ASCII-tegnsettet. Kolonnen «Binær» viser symbolets verdi i totallssystemet (1 og 0 tall), mens kolonnen «Desimal» viser symbolets verdi i titallssystemet.
Grafisk Binær Desimal
A 1000001 65
M 1001101 77
Z 1011010 90
a 1100001 97
m 1101101 109
z 1111010 122
0 0110000 48
9 0111001 58
; 0111011 59

Det opprinnelige ASCII-tegnsettet ble også omtalt som ASCII-7 og brukte 7 bits (0 og 1) for å representere symboler. Datamaskiner er ofte konfigurert til å jobbe med enheter der bits er gruppert som 4 eller 8 bits . Det lå en mulighet i å ta i bruk bit åtte. En slik endring ville gjøre det mulig for datamaskiner å øke antall symboler de kunne representere, noe som ga en økning fra 128 forskjellige symboler til 256 forskjellige symboler. Det ble åpnet for å innlemme de nordiske bokstavene sammen med ASCII, og dette ble etter hvert standardisert som ISO-8859-1. Tabell 2 viser deler av ISO-8859-1 som støtter de norske bokstavene.

Det sier seg selv at muligheten til å representere inntil 256 symboler ikke holder når vi snakker om en global verden, og det ble gjort et standardiseringsløp som tok utgangspunkt i ASCII-7 med en utvidelse til å bruke den åttende biten for ulike språkgrupper. Denne standarden heter ISO-8859 og er inndelt i opptil 16 varianter, altså fra ISO-8859-1 til ISO-8859-16.

Tabell 2. Koding av de norske symbolene slik de er definert i ISO-8859-1 tegnsettet.
Grafisk Binær Desimal
Æ 11000110 198
Ø 11011000 216
Å 11000101 197
æ 11100110 230
ø 11111000 248
å 11100101 229

Norske tegn er definert i ISO-8859-1, som også omtales som Latin 1, de fleste samiske tegn er definert i ISO-8859-4 (Latin 4) mens tilgang til €-symbolet kom med ISO-8859-15 (Latin 9). ISO-8859-15 er en revisjon av ISO-8859-1 som fjerner noen lite brukte symboler og erstatter bokstaver som er mer brukt, og introduserer €-symbolet. Det er viktig å merke at alle ISO-8859-variantene har overlapp med ASCII-7, noe som ga samvirke med de engelskspråklige landene som ikke trengte å gjøre noe. Det innebærer også at de første 128 verdiene i ISO-8859-variantene representerer de samme symbolene. Det er først når du kommer til tolkningen av de resterende 128 verdiene med nummer 128 til 255, at det oppsto tolkningsutfordringer mellom ISO-8859-variantene.

ISO-8859-verdenen fungerte godt så lenge tegnsettet som ble brukt når innhold ble skapt, også ble brukt når innhold ble gjengitt og du ikke trengte å kombinere innhold fra forskjellige tegnsett i samme dokument. Utfordringen med bruken av ISO-8859-variantene ble raskt tydelig i en mer globalisert verden med utveksling av tekst på tvers av landegrenser der tekstlig innhold i dokumenter, e-poster og websider kunne bli skrevet med ett tegnsett og gjengitt med et annet tegnsett.

Tabell 3. Viser tolkning av verdiene som er tilegnet de norske symbolene i ISO-8859-1 i de andre ISO 8859-variatene. Merk ISO-8859-12 ikke finnes da arbeidet ble avsluttet.[1]
Binærverdi 1 2 3 4 5 6 7 8 9 10 11 13 14 15 16
11000110 Æ Ć Ĉ Æ Ц ئ Ζ Æ Æ Ę Æ Æ Æ
11011000 Ø Ř Ĝ Ø и ظ Ψ Ø Ø Ų Ø Ø Ű
11000101 Å Ĺ Ċ Å Х إ Ε Å Å Å Å Å Ć
11100110 æ ć ĉ æ ц ن ζ ז æ æ ę æ æ v
11111000 ø ř ĝ ø ј ψ ר ø ø ų ø ø ű
11100101 å ĺ ċ å х م ε ו å å å å å ć

Denne problemstillingen er illustrert i tabell 3, der vi ser verdiene tilegnet de norske symbolene i ISO-8859-1 i kolonne «1». I de øvrige kolonnene ser vi hvilket symbol verdien får i de andre ISO-8859-variantene. Tar vi utgangspunkt i tabell 3, kan vi se at ordet lærlingspørsmål gjengitt med ISO-8859-2 (kolonne 2) blir lćrlingspřrsmĺl, mens det blir lζrlingspψrsmεl med ISO- 8859-7 (kolonne 7). Med ISO-8859-2 blir «æ» til «ć», «ø» til «ř» og «å» til «ĺ». I ISO-8859-7 blir «æ» til «ζ», «ø» til «ψ», mens «å» blir «ε».

Det er egentlig ingen utfordring med dette så lenge du vet hvilket tegnsett innholdet ditt er representert med, og det ikke har skjedd omforminger som du ikke er klar over. Det er det siste som er problematisk, spesielt de datasystemene som har vært i bruk de siste 20 årene, som ikke har noe innebygd funksjonalitet for å forvalte tegnsettproblematikken. Et godt eksempel på dette er Microsoft-tegnsettet Windows-1252, som ble forvekslet som 100 % kompatibel med ISO-8859-1, men hadde byttet ut plassene fra 127 til 159. Historisk vil det finnes en del variasjon i hvilket tegnsett som har vært i bruk, og hvor vellykket konvertering mellom tegnsett har vært.

Unicode som løsning

Tegnsettforvirring ble etter hvert et irritasjonsmoment og samvirkeproblem. Ofte fikk man en e-post der æøå var erstattet av rare symboler fordi e-posten hadde vært innom et eller annet datasystem som ikke brukte samme tegnsett.

For å løse dette samvirkeproblemet for tegnsett ble det startet et arbeid og en ny standard så dagens lys etter hvert. Denne standarden fikk navnet Unicode (ISO/ IEC 10646) og skulle resultere i et tegnsett som alle skulle være enige om. Unicode er et repertoar og en representasjon, dvs. navngivning og tilordning av tallverdi til alle symboler i bruk i verden i dag. Oppføringer i Unicode skrives gjerne U+XXXX der XXXX er tallkoden i sekstentallssystemet som oppføringen har i Unicode-katalogen. Her finner vi tegn brukt av både levende og døde språk, konstruerte språk, tekniske symboler, morsomme tegninger (såkalte emojier) og tegn ingen vet hva betyr eller skal brukes til. Et morsomt eksempel er i nettartikkelen: U+237C ⍼ RIGHT ANGLE WITH DOWNWARDS ZIGZAG ARROW, av Jonathan Chan.[2]

Sammen med Unicode kom det tre måter å kode disse tallene på; UTF-8, UTF-16 og UTF-32. Av datatekniske årsaker er UTF-8 mye brukt, spesielt når det gjelder utveksling av tekst over Internett, mens UTF-16 er brukt en del til tekstfiler lagret på Windows. En utfordring med Unicode og UTF-variantene er at disse gir flere måter å kode samme symbol på med en kombinasjonsmekanisme. Dette kan gi utfordringer ved søk, hvis en skal søke etter et ord som har ett eller flere symboler som kan skrives på ulikt vis, så er det ikke sikkert at søkesystemet vil finne alle forekomster. For eksempel kan bokstaven U+00F8 «Latin Small Letter O with Stroke» kodes som den tradisjonelle norske tegnet ø, men også som o kombinert med skråstrek U+0338. Begge deler er gyldig bruk av Unicode, selv om det er tradisjon for å foretrekke å «normalisere» kombinasjoner som enkelttegn der det er mulig, nettopp for å forenkle søk.

Bare Unicode fremover

Forvaltningens bruk av tegnsett er regulert i Forskrift om IT-standarder i offentlig forvaltning[3]. Her står det: «Ved all utveksling av informasjon mellom forvaltningsorganer og fra forvaltningsorgan til innbyggere og næringsliv skal tegnsettstandarden ISO/IEC 10646 representert ved UTF8 benyttes.» Det er forskjellige bruksområder til UTF-8, UTF-16 og UTF-32, men UTF-8 er kodingen vi kjenner mest til. Det er flere grunner at UTF-8 «vant» konkurransen til å bli den utvalgte. Den kanskje viktigste er at UTF-8 er fullt samvirkende med ASCII-7, slik at den engelskspråklige delen av verden kunne rulle ut UTF-8 uten å merke noe forskjell. En tekstfil med kun ASCII-tekst vil være identisk på disken hvis den lagres som UTF-8 og ASCII. UTF-16 og UTF-32 byr på noen optimaliseringer som gjør dem relevant for spesifikke problemområder, men for det meste vil vi aldri oppleve disse standardene på nært hold i hverdagen. Det er uansett kun bruken av UTF-8 som er lovregulert i Norge.

Det er ikke slik at hele verden bruker ISO/IEC 10646 og UTF-8. Kina har egne standarder for tegnsett, mye brukt er GB 18030, som er Unicode med en annen koding enn UTF-8, mens Taiwan og andre asiatiske land gjerne bruker Big5 eller andre tegnsett.

UTF-8 er dominerende i Norge, men det er tidsperioder der forskjellige datasystemer utvekslet data i henhold til ISO-8859-1, ISO-8859-15, Windows-1252, Codepage 865 og ISO-646-60 / Codepage 1016 mens overgangen til UTF-8 pågikk. Det er ikke slik at et datasystem enkelt kan tvinges til å bruke et tegnsett, da det er flere lag i et datasystem som må settes opp til å bruke riktig tegnsett, og tegnsettproblemet fort oppstår når det er et eller annet i datasystemet som bruker feil tegnsett.

Et klassisk eksempel på problemet er en utveksling av tekst mellom to systemer der teksten i utgangspunktet er kodet i UTF-8, men går gjennom noe som er ISO-8859-1 underveis. Dette kan vises med at ordet «på» i et slik scenario ender opp som «pÃ¥». Det er mulig å spore dette tilbake til verdiene symbolene er tilordnet i tegnsettene. «på» blir til «pÃ¥» fordi «å» i UTF-8 er representert med U+C3AF, og dersom vi ser på hva disse verdiene representerer, ser vi at sekstentallssystemverdien C3 er 1100 0011 i totallssystemet og symbolet med dette tallet i ISO-8859-1 er Ã.

Vi ser det samme med sekstentallssystemverdien A5, som er 1010 0101 i totallssystemet, og tilsvarende symbol i ISO-8859-1 er ¥. Slik mojibake kan lett skje hvis «på» i utgangspunktet var representert med UTF-8, men ble behandlet med et system som bruker ISO-8859-1. Det er ingen automatikk i å fange opp slike ødeleggelser mens tekstlig innhold utveksles mellom datasystemer.

En utfordring for depotarkivene er at bruken av tegnsett ikke alltid har vært regulert, og at det kan finnes flere dokumentasjonssamlinger som er opprettet med varierende tegnsett før gjeldende forskrift inntraff – uten at det er mulig å avlede fra filene hvilket tegnsett som ble brukt. Et eksempel på dette er €-symbolet, som kom først etter at ISO-8859-1 var tatt i bruk. Det kan bli en utfordring for et depotarkiv, men så lenge det er kjent hvilket tegnsett var i bruk, så bør det gå bra. Riksarkivarens forskrift[4] formaliserer dette ved å kreve følgende:

§ 5-11. Tegnsett i arkivuttrekk

  1. Arkivuttrekk og medfølgende struktur- og innholdsbeskrivelser skal overføres som ren tekst i ukryptert form, og benytte godkjent tegnsett.
  2. Godkjente tegnsett er:
    1. Unicode UTF-8
      (ISO/IEC 10646-1:2000 Annex D)
    2. ISO 8859-1:1998, Latin 1
    3. ISO 8859-4:1998, Latin 4 for samiske tegn.
  3. Andre tegnsett aksepteres bare etter avtale med Arkivverket.

Ditt ansvar

På mange måter burde ikke tegnsett være et problem i 2023, men sånn er det nok ikke. Land som har oppgradert til UTF-8 som primærtegnsett for utveksling av tekstlig innhold, begrenser problematikken betraktelig, men globalt sett så er tegnsettutfordringen ikke løst fordi ikke alle er enige om å bruke samme tegnsett. Det kan være geopolitiske eller kulturelle hensyn som ligger til grunn for dette.

Det er uansett verdt å merke at selv om bruken av UTF-8 skulle bli 100% utbredt, så er det et historisk perspektiv (ASCII-7, ISO-8859-variantene, UTF-8) her som gjør tegnsett til et problemområde arkivarene må forstå og håndtere. Som danningsarkivar har du et ansvar for å vite hvilket tegnsett systemene og databasene dere forvalter, er i samsvar med. Det er noe IT-avdelingen din eller programvareleverandørene enkelt skal kunne svare på, og svaret skal være UTF-8 for alle nye systemer.


1. Tegnsettkilde https://en.wikipedia.org/wiki/ISO/IEC_8859

2. https://ionathan.ch/2022/04/09/angzarr.html

3. https://lovdata.no/dokument/SF/forskrift/2013-04-05-959/%C2%A78#%C2%A78

4. https://lovdata.no/forskrift/2017-12-19-2286/§5-11

For øvrig burde varsleren Edward Snowden få politisk asyl i Norge.

Som vanlig, hvis du bruker Bitcoin og ønsker å vise din støtte til det jeg driver med, setter jeg pris på om du sender Bitcoin-donasjoner til min adresse 15oWEoG9dUPovwmUL9KWAnYRtNJEkP1u1b. Merk, betaling med bitcoin er ikke anonymt. :)

Tags: noark5, norsk, standard.
ONVIF IP camera management tool finally in Debian
24th December 2022

Merry Christmas to you all. Here is a small gift to all those with IP cameras following the ONVIF specification. There is finally a nice command line and GUI tool in Debian to manage ONVIF IP cameras. After working with upstream for a few months and sponsoring the upload, I am very happy to report that the libonvif package entered Debian Sid last night.

The package provide a C library to communicate with such cameras, a command line tool to locate and update settings of (like password) the cameras and a GUI tool to configure and control the units as well as preview the video from the camera. Libonvif is available on Both Linux and Windows and the GUI tool uses the Qt library. The main competitors are non-free software, while libonvif is GNU GPL licensed. I am very glad Debian users in the future can control their cameras using a free software system provided by Debian. But the ONVIF world is full of slightly broken firmware, where the cameras pretend to follow the ONVIF specification but fail to set some configuration values or refuse to provide video to more than one recipient at the time, and the onvif project is quite young and might take a while before it completely work with your camera. Upstream seem eager to improve the library, so handling any broken camera might be just a bug report away.

The package just cleared NEW, and need a new source only upload before it can enter testing. This will happen in the next few days.

As usual, if you use Bitcoin and want to show your support of my activities, please send Bitcoin donations to my address 15oWEoG9dUPovwmUL9KWAnYRtNJEkP1u1b.

Tags: debian, english, multimedia, standard, surveillance.
Managing and using ONVIF IP cameras with Linux
19th October 2022

Recently I have been looking at how to control and collect data from a handful IP cameras using Linux. I both wanted to change their settings and to make their imagery available via a free software service under my control. Here is a summary of the tools I found.

First I had to identify the cameras and their protocols. As far as I could tell, they were using some SOAP looking protocol and their internal web server seem to only work with Microsoft Internet Explorer with some proprietary binary plugin, which in these days of course is a security disaster and also made it impossible for me to use the camera web interface. Luckily I discovered that the SOAP looking protocol is actually following the ONVIF specification, which seem to be supported by a lot of IP cameras these days.

Once the protocol was identified, I was able to find what appear to be the most popular way to configure ONVIF cameras, the free software Windows tool named ONVIF Device Manager. Lacking any other options at the time, I tried unsuccessfully to get it running using Wine, but was missing a dotnet 40 library and I found no way around it to run it on Linux.

The next tool I found to configure the cameras were a non-free Linux Qt client ONVIF Device Tool. I did not like its terms of use, so did not spend much time on it.

To collect the video and make it available in a web interface, I found the Zoneminder tool in Debian. A recent version was able to automatically detect and configure ONVIF devices, so I could use it to set up motion detection in and collection of the camera output. I had initial problems getting the ONVIF autodetection to work, as both Firefox and Chromium refused the inter-tab communication being used by the Zoneminder web pages, but managed to get konqueror to work. Apparently the "Enhanced Tracking Protection" in Firefox cause the problem. I ended up upgrading to the Bookworm edition of Zoneminder in the process to try to fix the issue, and believe the problem might be solved now.

In the process I came across the nice Linux GUI tool ONVIF Viewer allowing me to preview the camera output and validate the login passwords required. Sadly its author has grown tired of maintaining the software, so it might not see any future updates. Which is sad, as the viewer is sightly unstable and the picture tend to lock up. Note, this lockup might be due to limitations in the cameras and not the viewer implementation. I suspect the camera is only able to provide pictures to one client at the time, and the Zoneminder feed might interfere with the GUI viewer. I have asked for the tool to be included in Debian.

Finally, I found what appear to be very nice Linux free software replacement for the Windows tool, named libonvif. It provide a C library to talk to ONVIF devices as well as a command line and GUI tool using the library. Using the GUI tool I was able to change the admin passwords and update other settings of the cameras. I have asked for the package to be included in Debian.

As usual, if you use Bitcoin and want to show your support of my activities, please send Bitcoin donations to my address 15oWEoG9dUPovwmUL9KWAnYRtNJEkP1u1b.

Update 2022-10-20: Since my initial publication of this text, I got several suggestions for more free software Linux tools. There is a ONVIF python library (already requested into Debian) and a python 3 fork using a different SOAP dependency. There is also support for ONVIF in Home Assistant, and there is an alternative to Zoneminder called Shinobi. The latter two are not included in Debian either. I have not tested any of these so far.

Tags: debian, english, multimedia, standard, surveillance.
Playing and encoding AV1 in Debian Bullseye
16th April 2022

Inspired by the recent news of AV1 hardware encoding support from Intel, I decided to look into the state of AV1 on Linux today. AV1 is a free and open standard as defined by Digistan without any royalty payment requirement, unlike its much used competitor encoding H.264. While looking, I came across an 5 year old question on askubuntu.com which in turn inspired me to check out how things are in Debian Stable regarding AV1. The test file listed in the question (askubuntu_test_aom.mp4) did not exist any more, so I tracked down a different set of test files on av1.webmfiles.org to test them with the various video tools I had installed on my machine. I was happy to discover that AV1 decoding and playback worked with almost every tool I tested:

mediainfo ok
dragonplayer ok
ffmpeg / ffplay ok
gnome-mplayer fail
mplayer ok
mpv ok
parole ok
vlc ok
firefox ok
chromium ok

AV1 encoding is available in Debian Stable from the aom-tools version 1.0.0.errata1-3 package, using the aomenc tool. The encoding using the package in Debian Stable is quite slow, with the frame rate for my 10 second test video at around 0.25 fps. My 10 second video test took 16 minutes and 11 seconds on my test machine.

I tested by first running ffmpeg and then aomenc using the recipe provided by the askubuntu recipe above. I had to remove the '--row-mt=1' option, as it was not supported in my 1.0.0 version. The encoding only used a single thread, according to top.

ffmpeg -i some-old-video.ogv -t 10 -pix_fmt yuv420p video.y4m
aomenc --fps=24/1 -u 0 --codec=av1 --target-bitrate=1000 \
  --lag-in-frames=25 --auto-alt-ref=1 -t 24 --cpu-used=8 \
  --tile-columns=2 --tile-rows=2 -o output.webm video.y4m

As version 1.0.0 currently have several unsolved security issues in Debian Stable, and to see if the recent backport provided in Debian is any quicker, I ran apt -t bullseye-backports install aom-tools to fetch the backported version and re-encoded the video using the latest version. This time the '--row-mt=1' option worked, and the encoding was done in 46 seconds with a frame rate of around 5.22 fps. This time it seem to be using all my four cores to encode. Encoding speed is still too low for streaming and real time, which would require frame rates above 25 fps, but might be good enough for offline encoding.

I am very happy to see AV1 playback working so well with the default tools in Debian Stable. I hope the encoding situation improve too, allowing even a slow old computer like my 10 year old laptop to be used for encoding.

As usual, if you use Bitcoin and want to show your support of my activities, please send Bitcoin donations to my address 15oWEoG9dUPovwmUL9KWAnYRtNJEkP1u1b.

Tags: english, standard, video.
Nikita version 0.6 released - free software archive API server
10th June 2021

I am very pleased to be able to share with you the announcement of a new version of the archiving system Nikita published by its lead developer Thomas Sødring:

It is with great pleasure that we can announce a new release of nikita. Version 0.6 (https://gitlab.com/OsloMet-ABI/nikita-noark5-core). This release makes new record keeping functionality available. This really is a maturity release. Both in terms of functionality but also code. Considerable effort has gone into refactoring the codebase and simplifying the code. Notable changes for this release include:

  • Significantly improved OData parsing
  • Support for business specific metadata and national identifiers
  • Continued implementation of domain model and endpoints
  • Improved testing
  • Ability to export and import from arkivstruktur.xml

We are currently in the process of reaching an agreement with an archive institution to publish their picture archive using nikita with business specific metadata and we hope that we can share this with you soon. This is an interesting project as it allows the organisation to bring an older picture archive back to life while using the original metadata values stored as business specific metadata. Combined with OData means the scope and use of the archive is significantly increased and will showcase both the flexibility and power of Noark.

I really think we are approaching a version 1.0 of nikita, even though there is still a lot of work to be done. The notable work at the moment is to implement access-control and full text indexing of documents.

My sincere thanks to everyone who has contributed to this release!

- Thomas

Release 0.6 2021-06-10 (d1ba5fc7e8bad0cfdce45ac20354b19d10ebbc7b)

  • Refactor metadata entity search
  • Remove redundant security configuration
  • Make OpenAPI documentation work
  • Change database structure / inheritance model to a more sensible approach
  • Make it possible to move entities around the fonds structure
  • Implemented a number of missing endpoints
  • Make sure yml files are in sync
  • Implemented/finalised storing and use of
         
    • Business Specific Metadata
    •    
    • Norwegian National Identifiers
    •    
    • Cross Reference
    •    
    • Keyword
    •    
    • StorageLocation
    •    
    • Author
    •    
    • Screening for relevant objects
    •    
    • ChangeLog
    •    
    • EventLog
  • Make generation of updated docker image part of successful CI pipeline
  • Implement pagination for all list requests
         
    • Refactor code to support lists
    •    
    • Refactor code for readability
    •    
    • Standardise the controller/service code
  • Finalise File->CaseFile expansion and Record->registryEntry/recordNote expansion
  • Improved Continuous Integration (CI) approach via gitlab
  • Changed conversion approach to generate tagged PDF documents
  • Updated dependencies
         
    • For security reasons
    •    
    • Brought codebase to spring-boot version 2.5.0
    •    
    • Remove import of necessary dependencies
    •    
    • Remove non-used metrics classes
  • Added new analysis to CI including
  • Implemented storing of Keyword
  • Implemented storing of Screening and ScreeningMetadata
  • Improved OData support
         
    • Better support for inheritance in queries where applicable
    •    
    • Brought in more OData tests
    •    
    • Improved OData/hibernate understanding of queries
    •    
    • Implement $count, $orderby
    •    
    • Finalise $top and $skip
    •    
    • Make sure & is used between query parameters
  • Improved Testing in codebase
         
    • A new approach for integration tests to make test more readable
    •    
    • Introduce tests in parallel with code development for TDD approach
    •    
    • Remove test that required particular access to storage
  • Implement case-handling process from received email to case-handler
         
    • Develop required GUI elements (digital postroom from email)
    •    
    • Introduced leader, quality control and postroom roles
  • Make PUT requests return 200 OK not 201 CREATED
  • Make DELETE requests return 204 NO CONTENT not 200 OK
  • Replaced 'oppdatert*' with 'endret*' everywhere to match latest spec
  • Upgrade Gitlab CI to use python > 3 for CI scripts
  • Bug fixes
         
    • Fix missing ALLOW
    •    
    • Fix reading of objects from jar file during start-up
    •    
    • Reduce the number of warnings in the codebase
    •    
    • Fix delete problems
    •    
    • Make better use of cascade for "leaf" objects
    •    
    • Add missing annotations where relevant
    •    
    • Remove the use of ETAG for delete
    •    
    • Fix missing/wrong/broken rels discovered by runtest
    •    
    • Drop unofficial convertFil (konverterFil) end point
    •    
    • Fix regex problem for dateTime
    •    
    • Fix multiple static analysis issues discovered by coverity
    •    
    • Fix proxy problem when looking for object class names
    •    
    • Add many missing translated Norwegian to English (internal) attribute/entity names
    •    
    • Change UUID generation approach to allow code also set a value
    •    
    • Fix problem with Part/PartParson
    •    
    • Fix problem with empty OData search results
    •    
    • Fix metadata entity domain problem
  • General Improvements
         
    • Makes future refactoring easier as coupling is reduced
    •    
    • Allow some constant variables to be set from property file
    •    
    • Refactor code to make reflection work better across codebase
    •    
    • Reduce the number of @Service layer classes used in @Controller classes
    •    
    • Be more consistent on naming of similar variable types
    •    
    • Start printing rels/href if they are applicable
    •    
    • Cleaner / standardised approach to deleting objects
    •    
    • Avoid concatenation when using StringBuilder
    •    
    • Consolidate code to avoid duplication
    •    
    • Tidy formatting for a more consistent reading style across similar class files
    •    
    • Make throw a log.error message not an log.info message
    •    
    • Make throw print the log value rather than printing in multiple places
    •    
    • Add some missing pronom codes
    •    
    • Fix time formatting issue in Gitlab CI
    •    
    • Remove stale / unused code
    •    
    • Use only UUID datatype rather than combination String/UUID for systemID
    •    
    • Mark variables final and @NotNull where relevant to indicate intention
  • Change Date values to DateTime to maintain compliance with Noark 5 standard
  • Domain model improvements using Hypersistence Optimizer
         
    • Move @Transactional from class to methods to avoid borrowing the JDBC Connection unnecessarily
    •    
    • Fix OneToOne performance issues
    •    
    • Fix ManyToMany performance issues
    •    
    • Add missing bidirectional synchronization support
    •    
    • Fix ManyToMany performance issue
  • Make List<> and Set<> use final-keyword to avoid potential problems during update operations
  • Changed internal URLs, replaced "hateoas-api" with "api".
  • Implemented storing of Precedence.
  • Corrected handling of screening.
  • Corrected _links collection returned for list of mixed entity types to match the specific entity.
  • Improved several internal structures.

If free and open standardized archiving API sound interesting to you, please contact us on IRC (#nikita on irc.oftc.net) or email (nikita-noark mailing list).

As usual, if you use Bitcoin and want to show your support of my activities, please send Bitcoin donations to my address 15oWEoG9dUPovwmUL9KWAnYRtNJEkP1u1b.

Tags: english, noark5, nuug, offentlig innsyn, standard.
Nikita version 0.5 released - updated free software archive API server
2nd March 2020

Today, after many months of development, a new release of Nikita Noark 5 core project was finally announced on the project mailing list. The Nikita free software solution is an implementation of the Norwegian archive standard Noark 5 used by government offices in Norway. These were the changes in version 0.5 since version 0.4, see the email link above for links to a demo site:

If free and open standardized archiving API sound interesting to you, please contact us on IRC (#nikita on irc.freenode.net) or email (nikita-noark mailing list).

As usual, if you use Bitcoin and want to show your support of my activities, please send Bitcoin donations to my address 15oWEoG9dUPovwmUL9KWAnYRtNJEkP1u1b.

Tags: english, noark5, nuug, offentlig innsyn, standard.
Redaksjon på plass for Noark 5 tjenestegrensesnitt
5th February 2020

Arbeidet med å lage et godt, fritt og åpent standardisert maskinelt grensesnitt for arkivering, med tilhørende fri programvareimplementasjon fortsetter. Jeg snakker om Noark 5 Tjenestegrensesnitt og Nikita. Siste nytt etter seminaret for noen dager siden, er vi i Nikita-prosjektet har fått beskjed fra Arkivverket at det blir satt ned en redaksjon for å videreutvikle spesifikasjonen. Redaksjonen består av Mona Danielsen og Anne Sofie Knutsen ved arkivverket, Thomas Sødring ved OsloMet, og meg selv fra NUUG. De to sistenevnte tar seg av de åpenbare forbedringene, mens hele redaksjonen diskuterer tvilstilfeller. Jeg håper dette vil bidra til at vi lykkes i å gjøre denne protokollspesifikasjonen så entydig og klar at den vil bidra til et velfungerende marked for arkivsystemer, og sikre at programmer som trenger å snakke med arkivsystemet kan snakke med enhver implementasjon av API-spesifikasjonen. Nikita er den første implementasjonen, men det bør blir flere.

Det gjenstår riktig nok endel før vi er i mål, selv om svært mye allerede er på plass. Med innspill og forslag til forbedringer fra alle som vil ha et leverandøruavhengig og fullstendig datamaskinlesbart grensesnitt til arkivet, så tror jeg vi vil lykkes.

Som vanlig, hvis du bruker Bitcoin og ønsker å vise din støtte til det jeg driver med, setter jeg pris på om du sender Bitcoin-donasjoner til min adresse 15oWEoG9dUPovwmUL9KWAnYRtNJEkP1u1b. Merk, betaling med bitcoin er ikke anonymt. :)

Tags: noark5, norsk, standard.
Artikkel om Noark 5 Tjenestegrensesnitt og Nikita i Arkivråd nummer 3 for 2019
26th December 2019

Like før julaften ble en artikkel jeg har skrevet om vedlikehold av Noark 5 Tjenestegrensesnitt og Nikita publisert i tidsskriftet Arkivråd. Det er basert på min bloggpost om samme tema som ble publisert 2019-03-11. Jeg oppdaget nettopp at nettsiden til tidsskriftet Arkivråd er oppdatert med siste utgave, og artikkelen dermed er tilgjengelig for alle. Du finner den i PDF-en til nummer 2019/3 på side 30-33. Jeg håper leserne av tidsskriftet får lyst til å sjekke ut tjenestegrensesnittet og at artikkelen vil gjøre det enklere for flere å bidra til en enda bedre, klarere og mer entydig API-spesifikasjon. Det kan gjøre at arkivsystemet Nikita kan bli enda bedre når spesifikasjonen forbedres.

Som vanlig, hvis du bruker Bitcoin og ønsker å vise din støtte til det jeg driver med, setter jeg pris på om du sender Bitcoin-donasjoner til min adresse 15oWEoG9dUPovwmUL9KWAnYRtNJEkP1u1b. Merk, betaling med bitcoin er ikke anonymt. :)

Tags: noark5, norsk, standard.
Artikkel om Nikita i Arkheion nummer 2019/2
9th December 2019

Jeg hadde i dag gleden av å oppdage at en artikkel om arkivsystemet Nikita som vi skrev i sommer, nå er publisert i Arkheion, fagtidsskrift for kommunial arkivsektor. Du finner artikkelen på side 30-33 i nummer 2019/2, PDF kan lastes ned fra nettstedet til tidsskriftet. Kanskje publiseringen kan føre til at noen flere får øynene opp for verdien av et åpent standardisert API for arkivering og søk i arkivet.

Som vanlig, hvis du bruker Bitcoin og ønsker å vise din støtte til det jeg driver med, setter jeg pris på om du sender Bitcoin-donasjoner til min adresse 15oWEoG9dUPovwmUL9KWAnYRtNJEkP1u1b. Merk, betaling med bitcoin er ikke anonymt. :)

Tags: noark5, norsk, standard.
Oppdatert Noark 5 Tjenestegrenesnitt versjon 1.0 for Noark 5.5.0
5th July 2019

Jeg er veldig glad for å kunne fortelle at i går ble ny versjon av API-spesifikasjonen for Noark 5 Tjenestegrensesnitt gitt ut. Det så lenge mørkt ut for sjansene for å få inn nødvendige korreksjoner i spesifikasjonsteksten innen rimelig tid, men takket være intens og god innsats fra Mona og Anne Sofie hos Arkivverket de siste ukene, så ble resultatet som ble gitt ut på USAs uavhengighetsdag mye bedre enn jeg fryktet.

Spesifikasjonen er tilgjengelig som markdown-filer i Arkivverkets github-prosjekt for dette, og de aller fleste av forslagene til forbedringer fra oss som holder på med Nikita-prosjektet kom med i denne nye og oppdaterte spesifikasjonsteksten. Det er fortsatt mye som gjenstår før den er entydig, klar og sikrer samvirke på tvers av leverandører, men utgangspunktet er veldig mye bedre enn forrige versjon fra 2016. Ta gjerne en titt.

Ellers må jeg jo si at det var hyggelig å se at min forrige bloggpost om tjenestegrensesnittet fikk en lenke fra Arkivverket Beta.

Som vanlig, hvis du bruker Bitcoin og ønsker å vise din støtte til det jeg driver med, setter jeg pris på om du sender Bitcoin-donasjoner til min adresse 15oWEoG9dUPovwmUL9KWAnYRtNJEkP1u1b. Merk, betaling med bitcoin er ikke anonymt. :)

Tags: noark5, norsk, standard.
Nikita og Noark 5 tjenestegrensesnittet tilbyr ny måte å tenke arkivering
21st June 2019

av Thomas Sødring (OsloMet) og Petter Reinholdtsen (foreningen NUUG)

Nikita Noark 5-kjerne er et fri programvareprosjekt som tar i bruk Arkivverkets spesifikasjonen for Noark 5 Tjenestegrensesnitt og tilbyr et maskinlesbart grensesnitt (arkiv-API) til datasystemer som trenger å arkivere dokumenter og informasjon. I tillegg tilbyr Nikita et nettleserbasert brukergrensesnitt for brukere av arkivet. Dette brukergrensesnittet benytter det maskinlesbare grensesnittet. Noark 5 Tjenestegrensesnitt er en ny måte å tenke arkivering, med fokus på automatisering og maskinell behandling av arkivmateriale, i stedet for å fokusere på brukergrensesnitt. En kan tenke på tjenestegrensesnittet som arkivet uten brukergrensesnitt, der flere aktører kan koble til ulike brukergrensesnitt, tilpasset ulike behov.

Historisk sett gjorde Noark standarden en veldig bra jobb med overgangen fra papir til digital saksbehandling, men det har kommet til kort på andre områder. Den teknologiske utviklingen har brakt oss ditt at vi kan og skal forvente langt mer fra en arkivkjerne enn før, men det offentlig er ofte konservativ når det gjelder nytenking. For lengst skulle begreper som samvirke mellom datasystemer, metadata, prosess og tjenestegrensesnitt (API) vært dominerende når systemer kjøpes inn. Dessverre er det slik at ikke alle ønsker samvirke mellom datasystemer velkommen, og det kan være trygt å kjøpe «svarte bokser» der du slipper å ta stilling til hvordan man skal få flere systemer til å virke sammen. Men IT-arkitektur er et begrep arkivfolk også begynner å ta inn over seg.

Slike systemer for å organisere metadata bør ha nettbaserte tjenestegrensesnitt der brukergrensesnitt er tydelig adskilt fra bakenforliggende system. Det finnes mange rapporter som snakker om å bryte ned siloer i forvaltningen og standardiserte tjenestegrensesnitt er det viktigste virkemiddel mot datasiloer og legger til rette for økt samvirke mellom systemer. Et standardisert tjenestegrensesnitt er et viktig middel for å få systemer til å samhandle da det sikrer at ulike produsenters systemer kan snakke sammen på tvers. Samfunnet fungerer ikke uten standardisering. Vi har alle samme strømstyrke og kontakter i veggene og kjører alle på høyre side av veien i Norge. Det er i en slik sammenheng at prosjektet «Noark 5 Tjenestegrensesnitt» er veldig viktig. Hvis alle leverandører av arkivsystemer forholdt seg til et standardisert tjenestegrensesnitt kunne kostnadene for arkivering reduseres. Tenk deg at du er en kommune som ønsker et fagsystem integrert med arkivløsningen din. I dag må fagsystemleverandøren vite og tilpasse seg den spesifikke versjonen og varianten av arkivløsningen du har. Hvis vi antar at alle leverandører av arkivkjerner har solgt inn enten SOAP eller REST-grensesnitt til kunder de siste 10 årene og det kommer endret versjon av grensesnittet innimellom, så gir det veldig mange forskjellige tjenestegrensesnitt en fagsystemleverandør må forholde seg til. Med 12 leverandører og kvartalsvise oppdateringer kan det potensielt bli 96 ulike varianter hvert eneste år. Det sier seg selv at det blir dyrt. Men det blir faktisk verre. Hvis du senere ønsker å bytte ut arkivsystemet med et annet så er du avhengig å få alle integrasjonene dine laget på nytt. Dette kan gjøre at du velger å forbli hos en dårlig leverandør framfor å skaffe nytt system, fordi det blir for vanskelig og dyrt å bytte. Dermed etableres det «små» monopolsituasjoner som er vanskelig å bryte ut av. Dårlige valg i dag kan ha uante kostander på sikt. I Nikita-prosjektet har vi kun jobbet opp mot Noark 5 Tjenestegrensesnittet. Det har tatt en god del ressurser å sette seg inn i spesifikasjonen og ta den i bruk, spesielt på grunn av uklarheter i spesifikasjonen. Hvis vi måtte gjøre det samme for alle versjoner og varianter av de forskjellige tjenestegrensesnittene ville det blitt veldig tidkrevende og kostbart.

For deg som arkivar er digitalisering og systemer som skal virke sammen en del av den nye hverdagen. Du har kanskje blitt skånet for det ved å kjøpe svarte bokser, men du risikerer at du gjør deg selv en bjørnetjeneste. Det kan oppleves som kjedelig å fortelle kolleger at du skal sette deg inn i et tjenestegrensesnitt, men dette er faktisk veldig spennende. Tjenestegrensesnittet er på en måte blitt levende og det er spesielt et begrep du bør merke deg: OData. Å trekke inn deler av OData-standarden som en måte å filtrere entitetsøk i et arkivsystem var et nyttig trekk i prosjektet. Følgende eksempel er en OData-spørring det går an å sende inn til en standardisert arkivkjerne:

.../sakarkiv/journalpost?filter=contains(tittel, 'nabovarsel')

Spørringen over vil hente en liste av alle dine journalposter der tittelen til journalposten inneholder ordet 'nabovarsel'. Alle leverandører som implementerer tjenestegrensesnittet vil måtte tilby dette. Det betyr at hvis du lærer dette språket for et system, vil det være gjeldende for alle. Dette er egentlig en ny måte å søke i arkivdatabasen på og vil være svært nyttig, for eksempel kan søk i tjenestegrensesnittet antagelig brukes til å hente ut offentlig postjournal. I arkivverden pleier vi å like teknologier som er menneskelesbart, da vet vi det er enkelt og nyttig! OData er også viktig fordi det kan bli en ny måte å svare innsynsforespørsler på i tråd med offentlighetsloven § 9, der retten til å kreve innsyn i sammenstilling fra databaser er nedfelt. I dag ser vi forvaltningsorganer som avviser slike krav fordi det «ikke kan gjøres med enkle framgangsmåter». Bruken av OData i tjenestegrensesnittet, sammen med maskinlesbar markeringsformater kan være et viktig bidrag til å åpne arkivene i tråd med prinsippene om en åpen og transparent forvaltning.

Standardisering er viktig fordi det kan sikre samvirke. Men den effekten kommer kun hvis standardiseringen sikrer at alle forstår standarden på samme måte, dvs. at den er entydig og klar. En god måte å sikre en entydig og klar spesifikasjon er ved å kreve at det finnes minst to ulike implementasjoner som følger spesifikasjonen og som kan snakke sammen, det vil si at de snakker samme språk, slik IETF krever for alle sine standarder, før spesifikasjonen anses å være ferdig. Tilbakemelding fra miljøet forteller at både leverandører og kunder har et avslappet forhold til Noark 5 Tjenestegrensesnitt og det er så langt kun Evry som har visst offentlig at de har en implementasjon av tjenestegrensesnittet. Evry, HK Data og Fredrikstad kommune er igang med et pilotprosjekt på Noark 5 Tjenestegrensesnitt. For å redusere kostnadene for samvirkende datasystemer betraktelig, er det veldig viktig at vi kommer i en situasjon der alle leverandører har sine egne implementasjoner av tjenestegrensesnittet, og at disse oppfører seg likt og i tråd med det som er beskrevet i spesifikasjonen.

Det er her fri programvare spiller en viktig rolle. Med en uklar standard blir det som en polsk riksdag, der ingenting fungerer. Nikita er en fri programvareimplementasjon av tjenestegrensesnitt og kan fungere som teknisk referanse slik at leverandører enklere kan se og forstå hvordan standarden skal tolkes. Vi har i Nikitaprosjektet erfart å ende opp med vidt forskjellige tolkninger når prosjektmedlemmene leser spesifikasjonsteksten, en effekt av en uklar spesifikasjon. Men Nikitaprosjektet har også utviklet et test-program som sjekker om et tjenestegrensesnitt er i samsvar med standarden, og prosjektet bruker det hele tiden for å sikre at endringer og forbedringer fungerer. Egenerklæringsskjemaenes dager kan være talte! Snart vil du selv kunne teste hver oppdatering av arkivsystemet med en uavhengig sjekk.

Fri programvare representerer en demokratisering av kunnskap der tolkning- og innlåsingsmakt flyttes fra leverandør til allmenheten. Med fri programvare har du en litt annerledes verdikjede, der selve produktet ikke holdes hemmelig for å tjene penger, slik en gjør med ufri programvare og skytjenester som ikke bruker fri programvare, men du kan tjene penger på andre deler av verdikjeden. Med fri programvare kan samfunnet betale for å videreutvikle nyttig fellesfunksjonalitet.

Nikita er en fri programvareimplementasjon av tjenestegrensesnittet og kan fungere som en referanseimplementasjon dersom det er ønskelig. Alle har lik tilgang til koden og det koster ingenting å ta den i bruk og utforske det. Nikitaprosjektet ønsker tjenestegrensesnittet velkommen og stiller veldig gjerne opp i diskusjoner om tolkning av tjenestegrensesnittet. Nikita er bygget på moderne programmeringsrammeverk og utviklet i full åpenhet. Men Nikita er ikke noe du kan kjøpe. Nikita er først og fremst et verktøy for forsking og utvikling laget for å fremme forskning på arkivfeltet. Systemer som virker sammen har alltid vært hovedfokus og vil være det fremover. Det brukes som undervisningsverktøy der studentene ved OsloMet lærer om administrativt oppsett, saksbehandling, uttrekk og samvirkende datasystemer. Det brukes også som forskningsobjekt der vi ser på import av dokumentsamlinger, bruk av blokkjede og andre nyskapende måter å tenke arkiv på. Det er dog helt greit om andre tar Nikita og pakker det for å selge det som produkt. Forvaltningsorganer med sterke drift- og utviklingsmiljøer kan også se på Nikita og utforske hva som er mulig. Dette kan de gjøre uten å måtte betale for bruksrettigheter eller tilgang til konsulenter. Men arkivering blir ikke gratis på grunn av Nikita. Det trengs fortsatt folk med kompetanse og tid til å ta i bruk Nikita.

Nikita har nylig kommet med en ny utgave, den sjette i rekken. Systemet er ikke ferdig, mest på grunn av at API-spesifikasjonen for Noark 5 Tjenestegrensesnitt ikke er ferdig, men allerede i dag kan en bruke Nikita som arkiv. Vi har laget eksempelsystem for å importere data fra deponi-XML og slik gjøre eksisterende arkivdata tilgjengelig via et API. Vi har også laget en testklient som importerer epost inn i arkivet med vedlegg der epostenes trådinformasjon brukes til å legge eposttråder i samme arkivmappe, og en annen testklient som henter epost ut av en arkivmappe på mbox-format slik at en vanlig epostklient kan brukes til å lese igjennom og svare på epostene i en arkivmappe. De som vil ta en titt på Nikita kan besøke https://nikita.oslomet.no og logge inn med brukernavn «admin@example.com» og passord «password». Dette gir tilgang til det forenklede brukergrensesnittet som brukes til undervisning. De som heller vil ta en titt under panseret kan besøke https://nikita.oslomet.no/browse.html og der se hvordan API-et fungerer mer i detalj. Innloggingsdetaljer her er det samme som for brukergrensesnittet.

Fremover er fokuset på forbedring av spesifikasjonen Noark 5 Tjenestegrensesnitt. De som skrev tjenestegrensesnittet gjorde et interessant og framtidsrettet grep, de skilte sak fra arkiv. Tjenestegrensesnittet består av flere "pakker", der noen er grunnleggende mens andre bygger på de grunnleggende pakkene. Pakkene som er beskrevet så langt heter «arkivstruktur», «sakarkiv», «administrasjon», «loggogsporing» og «moeter» (dessverre planlagt fjernet i første utgave). Etter hvert håper vi å utforske prosses- og metadatabeskrivelser til flere fagområder og bidra til at tjenestegrensesnittet kan legge til flere pakker som «byggarkiv», «barnevern», «personal», «barnehage», der arkivfaglig metadata- og dokumentasjonsbehov er kartlagt og standardisert.

Nikita utvikles av en liten prosjektgruppe, og vi er alltid interessert å bli flere. Hvis en åpen, fri og standardisert tilnærming til arkivering høres interessant ut, bli med oss på veien videre. Vi er tilstede på IRC-kanalen #nikita hos FreeNode (tilgjengelig via nettleser på https://webchat.freenode.net?channels=#nikita), og har en e-postliste nikita-noark@nuug.no hos NUUG (tilgjengelig for påmelding og arkiv på https://lists.nuug.no/mailman/listinfo/nikita-noark) der en kan følge med eller være med oss på den spennende veien videre. Spesifikasjonen for Noark 5 Tjenestegrensesnitt vedlikeholdes på github, https://github.com/arkivverket/noark5-tjenestegrensesnitt-standard/.

Som vanlig, hvis du bruker Bitcoin og ønsker å vise din støtte til det jeg driver med, setter jeg pris på om du sender Bitcoin-donasjoner til min adresse 15oWEoG9dUPovwmUL9KWAnYRtNJEkP1u1b.

Tags: noark5, norsk, standard.
Official MIME type "text/vnd.sosi" for SOSI map data
4th June 2019

Just 15 days ago, I mentioned my submission to IANA to register an official MIME type for the SOSI vector map format. This morning, just an hour ago, I was notified that the MIME type "text/vnd.sosi" is registered for this format. In addition to this registration, my file(1) patch for a pattern matching rule for SOSI files has been accepted into the official source of that program (pending a new release), and I've been told by the team behind PRONOM that the SOSI format will be included in the next release of PRONOM, which they plan to release this summer around July.

I am very happy to see all of this fall into place, for use by the Noark 5 Tjenestegrensesnitt implementations.

As usual, if you use Bitcoin and want to show your support of my activities, please send Bitcoin donations to my address 15oWEoG9dUPovwmUL9KWAnYRtNJEkP1u1b.

Tags: english, kart, noark5, standard.
Nikita version 0.4 released - free software archive API server
22nd May 2019

This morning, a new release of Nikita Noark 5 core project was announced on the project mailing list. The Nikita free software solution is an implementation of the Norwegian archive standard Noark 5 used by government offices in Norway. These were the changes in version 0.4 since version 0.3, see the email link above for links to a demo site:

If free and open standardized archiving API sound interesting to you, please contact us on IRC (#nikita on irc.freenode.net) or email (nikita-noark mailing list).

As usual, if you use Bitcoin and want to show your support of my activities, please send Bitcoin donations to my address 15oWEoG9dUPovwmUL9KWAnYRtNJEkP1u1b.

Tags: english, noark5, nuug, offentlig innsyn, standard.
MIME type "text/vnd.sosi" for SOSI map data
20th May 2019

As part of my involvement in the work to standardise a REST based API for Noark 5, the Norwegian archiving standard, I spent some time the last few months to try to register a MIME type and PRONOM code for the SOSI file format. The background is that there is a set of formats approved for long term storage and archiving in Norway, and among these formats, SOSI is the only format missing a MIME type and PRONOM code.

What is SOSI, you might ask? To quote Wikipedia: SOSI is short for Samordnet Opplegg for Stedfestet Informasjon (literally "Coordinated Approach for Spatial Information", but more commonly expanded in English to Systematic Organization of Spatial Information). It is a text based file format for geo-spatial vector information used in Norway. Information about the SOSI format can be found in English from Wikipedia. The specification is available in Norwegian from the Norwegian mapping authority. The SOSI standard, which originated in the beginning of nineteen eighties, was the inspiration and formed the basis for the XML based Geography Markup Language.

I have so far written a pattern matching rule for the file(1) unix tool to recognize SOSI files, submitted a request to the PRONOM project to have a PRONOM ID assigned to the format (reference TNA1555078202S60), and today send a request to IANA to register the "text/vnd.sosi" MIME type for this format (referanse IANA #1143144). If all goes well, in a few months, anyone implementing the Noark 5 Tjenestegrensesnitt API spesification should be able to use an official MIME type and PRONOM code for SOSI files. In addition, anyone using SOSI files on Linux should be able to automatically recognise the format and web sites handing out SOSI files can begin providing a more specific MIME type. So far, SOSI files has been handed out from web sites using the "application/octet-stream" MIME type, which is just a nice way of stating "I do not know". Soon, we will know. :)

As usual, if you use Bitcoin and want to show your support of my activities, please send Bitcoin donations to my address 15oWEoG9dUPovwmUL9KWAnYRtNJEkP1u1b.

Tags: english, kart, noark5, standard.
PlantUML for text based UML diagram modelling - nice free software
25th March 2019

As part of my involvement with the Nikita Noark 5 core project, I have been proposing improvements to the API specification created by The National Archives of Norway and helped migrating the text from a version control system unfriendly binary format (docx) to Markdown in git. Combined with the migration to a public git repository (on github), this has made it possible for anyone to suggest improvement to the text.

The specification is filled with UML diagrams. I believe the original diagrams were modelled using Sparx Systems Enterprise Architect, and exported as EMF files for import into docx. This approach make it very hard to track changes using a version control system. To improve the situation I have been looking for a good text based UML format with associated command line free software tools on Linux and Windows, to allow anyone to send in corrections to the UML diagrams in the specification. The tool must be text based to work with git, and command line to be able to run it automatically to generate the diagram images. Finally, it must be free software to allow anyone, even those that can not accept a non-free software license, to contribute.

I did not know much about free software UML modelling tools when I started. I have used dia and inkscape for simple modelling in the past, but neither are available on Windows, as far as I could tell. I came across a nice list of text mode uml tools, and tested out a few of the tools listed there. The PlantUML tool seemed most promising. After verifying that the packages is available in Debian and found its Java source under a GPL license on github, I set out to test if it could represent the diagrams we needed, ie the ones currently in the Noark 5 Tjenestegrensesnitt specification. I am happy to report that it could represent them, even thought it have a few warts here and there.

After a few days of modelling I completed the task this weekend. A temporary link to the complete set of diagrams (original and from PlantUML) is available in the github issue discussing the need for a text based UML format, but please note I lack a sensible tool to convert EMF files to PNGs, so the "original" rendering is not as good as the original was in the publised PDF.

Here is an example UML diagram, showing the core classes for keeping metadata about archived documents:

@startuml
skinparam classAttributeIconSize 0

!include media/uml-class-arkivskaper.iuml
!include media/uml-class-arkiv.iuml
!include media/uml-class-klassifikasjonssystem.iuml
!include media/uml-class-klasse.iuml
!include media/uml-class-arkivdel.iuml
!include media/uml-class-mappe.iuml
!include media/uml-class-merknad.iuml
!include media/uml-class-registrering.iuml
!include media/uml-class-basisregistrering.iuml
!include media/uml-class-dokumentbeskrivelse.iuml
!include media/uml-class-dokumentobjekt.iuml
!include media/uml-class-konvertering.iuml
!include media/uml-datatype-elektronisksignatur.iuml

Arkivstruktur.Arkivskaper "+arkivskaper 1..*" <-o "+arkiv 0..*" Arkivstruktur.Arkiv
Arkivstruktur.Arkiv o--> "+underarkiv 0..*" Arkivstruktur.Arkiv
Arkivstruktur.Arkiv "+arkiv 1" o--> "+arkivdel 0..*" Arkivstruktur.Arkivdel
Arkivstruktur.Klassifikasjonssystem "+klassifikasjonssystem [0..1]" <--o "+arkivdel 1..*" Arkivstruktur.Arkivdel
Arkivstruktur.Klassifikasjonssystem "+klassifikasjonssystem [0..1]" o--> "+klasse 0..*" Arkivstruktur.Klasse
Arkivstruktur.Arkivdel "+arkivdel 0..1" o--> "+mappe 0..*" Arkivstruktur.Mappe
Arkivstruktur.Arkivdel "+arkivdel 0..1" o--> "+registrering 0..*" Arkivstruktur.Registrering
Arkivstruktur.Klasse "+klasse 0..1" o--> "+mappe 0..*" Arkivstruktur.Mappe
Arkivstruktur.Klasse "+klasse 0..1" o--> "+registrering 0..*" Arkivstruktur.Registrering
Arkivstruktur.Mappe --> "+undermappe 0..*" Arkivstruktur.Mappe
Arkivstruktur.Mappe "+mappe 0..1" o--> "+registrering 0..*" Arkivstruktur.Registrering
Arkivstruktur.Merknad "+merknad 0..*" <--* Arkivstruktur.Mappe
Arkivstruktur.Merknad "+merknad 0..*" <--* Arkivstruktur.Dokumentbeskrivelse
Arkivstruktur.Basisregistrering -|> Arkivstruktur.Registrering
Arkivstruktur.Merknad "+merknad 0..*" <--* Arkivstruktur.Basisregistrering
Arkivstruktur.Registrering "+registrering 1..*" o--> "+dokumentbeskrivelse 0..*" Arkivstruktur.Dokumentbeskrivelse
Arkivstruktur.Dokumentbeskrivelse "+dokumentbeskrivelse 1" o-> "+dokumentobjekt 0..*" Arkivstruktur.Dokumentobjekt
Arkivstruktur.Dokumentobjekt *-> "+konvertering 0..*" Arkivstruktur.Konvertering
Arkivstruktur.ElektroniskSignatur -[hidden]-> Arkivstruktur.Dokumentobjekt
@enduml

The format is quite compact, with little redundant information. The text expresses entities and relations, and there is little layout related fluff. One can reuse content by using include files, allowing for consistent naming across several diagrams. The include files can be standalone PlantUML too. Here is the content of media/uml-class-arkivskaper.iuml:

@startuml
class Arkivstruktur.Arkivskaper  {
  +arkivskaperID : string
  +arkivskaperNavn : string
  +beskrivelse : string [0..1]
}
@enduml

This is what the complete diagram for the PlantUML notation above look like:

A cool feature of PlantUML is that the generated PNG files include the entire original source diagram as text. The source (with include statements expanded) can be extracted using for example exiftool. Another cool feature is that parts of the entities can be hidden after inclusion. This allow to use include files with all attributes listed, even for UML diagrams that should not list any attributes.

The diagram also show some of the warts. Some times the layout engine place text labels on top of each other, and some times it place the class boxes too close to each other, not leaving room for the labels on the relationship arrows. The former can be worked around by placing extra newlines in the labes (ie "\n"). I did not do it here to be able to demonstrate the issue. I have not found a good way around the latter, so I normally try to reduce the problem by changing from vertical to horizontal links to improve the layout.

All in all, I am quite happy with PlantUML, and very impressed with how quickly its lead developer responds to questions. So far I got an answer to my questions in a few hours when I send an email. I definitely recommend looking at PlantUML if you need to make UML diagrams. Note, PlantUML can draw a lot more than class relations. Check out the documention for a complete list. :)

As usual, if you use Bitcoin and want to show your support of my activities, please send Bitcoin donations to my address 15oWEoG9dUPovwmUL9KWAnYRtNJEkP1u1b.

Tags: english, nice free software, noark5, nuug, standard.
Release 0.3 of free software archive API system Nikita announced
24th March 2019

Yesterday, a new release of Nikita Noark 5 core project was announced on the project mailing list. The free software solution is an implementation of the Norwegian archive standard Noark 5 used by government offices in Norway. These were the changes in version 0.3 since version 0.2.1 (from NEWS.md):

If free and open standardized archiving API sound interesting to you, please contact us on IRC (#nikita on irc.freenode.net) or email (nikita-noark mailing list).

As usual, if you use Bitcoin and want to show your support of my activities, please send Bitcoin donations to my address 15oWEoG9dUPovwmUL9KWAnYRtNJEkP1u1b.

Tags: english, noark5, nuug, offentlig innsyn, standard.
Åpen og gjennomsiktig vedlikehold av spesifikasjonen for Noark 5 Tjenestegrensesnitt
11th March 2019

Et virksomhetsarkiv for meg, er et arbeidsverktøy der en enkelt kan finne informasjonen en trenger når en trenger det, og der virksomhetens samlede kunnskap er tilgjengelig. Det må være greit å finne frem i, litt som en bibliotek. Men der et bibliotek gjerne tar vare på offentliggjort informasjon som er tilgjengelig flere steder, tar et arkiv vare på virksomhetsintern og til tider personlig informasjon som ofte kun er tilgjengelig fra et sted.

Jeg mistenker den eneste måten å sikre at arkivet inneholder den samlede kunnskapen i en virksomhet, er å bruke det som virksomhetens kunnskapslager. Det innebærer å automatisk kopiere (brev, epost, SMS-er etc) inn i arkivet når de sendes og mottas, og der filtrere vekk det en ikke vil ta vare på, og legge på metadata om det som er samlet inn for enkel gjenfinning. En slik bruk av arkivet innebærer at arkivet er en del av daglig virke, ikke at det er siste hvilested for informasjon ingen lenger har daglig bruk for. For å kunne være en del av det daglige virket må arkivet enkelt kunne integreres med andre systemer. I disse dager betyr det å tilby arkivet som en nett-tjeneste til hele virksomheten, tilgjengelig for både mennesker og datamaskiner. Det betyr i tur å både tilby nettsider og et maskinlesbart grensesnitt.

For noen år siden erkjente visjonære arkivarer fordelene med et standardisert maskinlesbart grensesnitt til organisasjonens arkiv. De gikk igang med å lage noe de kalte Noark 5 Tjenestegrensesnitt. Gjort riktig, så åpner slike maskinlesbare grensesnitt for samvirke på tvers av uavhengige programvaresystemer. Gjort feil, vil det blokkere for samvirke og bidra til leverandørinnlåsing. For å gjøre det riktig så må grensesnittet være klart og entydig beskrevet i en spesifikasjon som gjør at spesifikasjonen tolkes på samme måte uavhengig av hvem som leser den, og uavhengig av hvem som tar den i bruk.

For å oppnå klare og entydige beskrivelser i en spesifikasjon, som trengs for å kunne få en fri og åpen standard (se Digistan-definisjon), så trengs det en åpen og gjennomsiktig inngangsport med lav terskel, der de som forsøker å ta den i bruk enkelt kan få inn korreksjoner, etterlyse klargjøringer og rapportere uklarheter i spesifikasjonen. En trenger også automatiserte datasystemer som måler og sjekker at et gitt grensesnitt fungerer i tråd med spesifikasjonen.

For Noark 5 Tjenestegrensesnittet er det nå etablert en slik åpen og gjennomsiktig inngangsport på prosjekttjenesten github. Denne inngangsporten består først og fremst av en åpen portal som lar enhver se hva som er gjort av endringer i spesifikasjonsteksten over tid, men det hører også med et åpent "diskusjonsforum" der en kan komme med endringsforslag og forespørsler om klargjøringer. Alle registrerte brukere på github kan bidra med innspill til disse henvendelsene.

I samarbeide med Arkivverket har jeg fått opprettet et git-depot med spesifikasjonsteksten for tjenestegrensesnittet, der det er lagt inn historikk for endringer i teksten de siste årene, samt lagt inn endringsforslag og forespørsler om klargjøring av teksten. Bakgrunnen for at jeg bidro med dette er at jeg er involvert i Nikita-prosjektet, som lager en fri programvare-utgave av Noark 5 Tjenestegrensesnitt. Det er først når en forsøker å lage noe i tråd med en spesifikasjon at en oppdager hvor mange detaljer som må beskrives i spesifikasjonen for å sikre samhandling.

Spesifikasjonen vedlikeholdes i et rent tekstformat, for å ha et format egnet for versjonskontroll via versjontrollsystemet git. Dette gjør det både enkelt å se konkret hvilke endringer som er gjort når, samt gjør det praktisk mulig for enhver med github-konto å sende inn endringsforslag med formuleringer til spesifikasjonsteksten. Dette tekstformatet vises frem som nettsider på github, slik at en ikke trenger spesielle verktøy for å se på siste utgave av spesifikasjonen.

Fra dette rene tekstformatet kan det så avledes ulike formater, som HTML for websider, PDF for utskrift på papir og ePub for lesing med ebokleser. Avlednings-systemet (byggesystemet) bruker i dag verktøyene pandoc, latex, docbook-xsl og GNU make til transformasjonen. Tekstformatet som brukes dag er Markdown, men det vurderes å endre til formatet RST i fremtiden for bedre styring av utseende på PDF-utgaven.

Versjonskontrollsystemet git ble valgt da det er både fleksibelt, avansert og enkelt å ta i bruk. Github ble valgt (foran f.eks. Gitlab som vi bruker i Nikita), da Arkivverket allerede hadde tatt i bruk Github i andre sammenhenger.

Enkle endringer i teksten kan gjøres av priviligerte brukere direkte i nettsidene til Github, ved å finne aktuell fil som skal endres (f.eks. kapitler/03-konformitet.md), klikke på den lille bokstaven i høyre hjørne over teksten. Det kommer opp en nettside der en kan endre teksten slik en ønsker. Når en er fornøyd med endringen så må endringen "sjekkes inn" i historikken. Det gjøres ved å gi en kort beskrivelse av endringen (beskriv helst hvorfor endringen trengs, ikke hva som er endret), under overskriften "Commit changes". En kan og bør legge inn en lengre forklaring i det større skrivefeltet, før en velger om endringen skal sendes direkte til 'master'-grenen (dvs. autorativ utgave av spesifikasjonen) eller om en skal lage en ny gren for denne endringen og opprette en endringsforespørsel (aka "Pull Request"/PR). Når alt dette er gjort kan en velge "Commit changes" for å sende inn endringen. Hvis den er lagt inn i "master"-grenen så er den en offisiell del av spesifikasjonen med en gang. Hvis den derimot er en endringsforespørsel, så legges den inn i listen over forslag til endringer som venter på korrekturlesing og godkjenning.

Større endringer (for eksempel samtidig endringer i flere filer) gjøres enklest ved å hente ned en kopi av git-depoet lokalt og gjøre endringene der før endringsforslaget sendes inn. Denne prosessen er godt beskrivet i dokumentasjon fra github. Git-prosjektet som skal "klones" er https://github.com/arkivverket/noark5-tjenestegrensesnitt-standard/.

For å registrere nye utfordringer (issues) eller kommentere på eksisterende utfordringer benyttes nettsiden https://github.com/arkivverket/noark5-tjenestegrensesnitt-standard/issues. I skrivende stund er det 48 åpne og 11 avsluttede utfordringer. Et forslag til hva som bør være med når en beskriver en utfordring er tilgjengelig som utfordring #14.

For å bygge en PDF-utgave av spesifikasjonen så bruker jeg i dag en Debian GNU/Linux-maskin med en rekke programpakker installert. Når dette er på plass, så holder det å kjøre kommandoen 'make pdf html' på kommandolinjen, vente ca. 20 sekunder, før spesifikasjon.pdf og spesifikasjon.html ligger klar på disken. Verktøyene for bygging av PDF, HTML og ePub-utgave er også tilgjengelig på Windows og MacOSX.

Github bidrar med rammeverket. Men for at åpent vedlikehold av spesifikasjonen skal fungere, så trengs det folk som bidrar med sin tid og kunnskap. Arkivverket har sagt de skal bidra med innspill og godkjenne forslag til endringer, men det blir størst suksess hvis alle som bruker og lager systemer basert på Noark 5 Tjenestegrensesnitt bidrar med sin kunnskap og kommer med forslag til forebedringer. Jeg stiller. Blir du med?

Det er viktig å legge til rette for åpen diskusjon blant alle interesserte, som ikke krever at en må godta lange kontrakter med vilkår for deltagelse. Inntil Arkivverket dukker opp på IRC har vi laget en IRC-kanal der interesserte enkelt kan orientere seg og diskutere tjenestegrensesnittet. Alle er velkommen til å ta turen innom #nikita (f.eks. via irc.freenode.net) for å møte likesinnede.

Det holder dog ikke å ha en god spesifikasjon, hvis ikke de som tar den i bruk gjør en like god jobb. For å automatisk teste om et konkret tjenestegrensesnitt følger (min) forståelse av spesifikasjonsdokumentet, har jeg skrevet et program som kobler seg opp til et Noark 5v4 REST-tjeneste og tester alt den finner for å se om det er i henhold til min tolkning av spesifikasjonen. Dette verktøyet er tilgjengelig fra https://github.com/petterreinholdtsen/noark5-tester, og brukes daglig mens vi utvikler Nikita for å sikre at vi ikke introduserer nye feil. Hvis en skal sikre samvirke på tvers av ulike systemer er det helt essensielt å kunne raskt og automatisk sjekke at tjenestegrensesnittet oppfører seg som forventet. Jeg håper andre som lager sin utgave av tjenestegrensesnittet vi bruke dette verktøyet, slik at vi tidlig og raskt kan oppdage hvor vi har tolket spesifikasjonen ulikt, og dermed få et godt grunnlag for å gjøre spesifikasjonsteksten enda klarere og bedre.

Dagens beskrivelse av Noark 5 Tjenestegrensesnitt er et svært godt utgangspunkt for å gjøre virksomhetens arkiv til et dynamisk og sentralt arbeidsverktøy i organisasjonen. Blir du med å gjøre den enda bedre?

Tags: digistan, noark5, norsk, standard.
Why is your site not using Content Security Policy / CSP?
9th December 2018

Yesterday, I had the pleasure of watching on Frikanalen the OWASP talk by Scott Helme titled "What We’ve Learned From Billions of Security Reports". I had not heard of the Content Security Policy standard nor its ability to "call home" when a browser detect a policy breach (I do not follow web page design development much these days), and found the talk very illuminating.

The mechanism allow a web site owner to use HTTP headers to tell visitors web browser which sources (internal and external) are allowed to be used on the web site. Thus it become possible to enforce a "only local content" policy despite web designers urge to fetch programs from random sites on the Internet, like the one enabling the attack reported by Scott Helme earlier this year.

Using CSP seem like an obvious thing for a site admin to implement to take some control over the information leak that occur when external sources are used to render web pages, it is a mystery more sites are not using CSP? It is being standardized under W3C these days, and is supposed by most web browsers

I managed to find a Django middleware for implementing CSP and was happy to discover it was already in Debian. I plan to use it to add CSP support to the Frikanalen web site soon.

As usual, if you use Bitcoin and want to show your support of my activities, please send Bitcoin donations to my address 15oWEoG9dUPovwmUL9KWAnYRtNJEkP1u1b.

Tags: english, standard, web.
Time for an official MIME type for patches?
1st November 2018

As part of my involvement in the Nikita archive API project, I've been importing a fairly large lump of emails into a test instance of the archive to see how well this would go. I picked a subset of my notmuch email database, all public emails sent to me via @lists.debian.org, giving me a set of around 216 000 emails to import. In the process, I had a look at the various attachments included in these emails, to figure out what to do with attachments, and noticed that one of the most common attachment formats do not have an official MIME type registered with IANA/IETF. The output from diff, ie the input for patch, is on the top 10 list of formats included in these emails. At the moment people seem to use either text/x-patch or text/x-diff, but neither is officially registered. It would be better if one official MIME type were registered and used everywhere.

To try to get one official MIME type for these files, I've brought up the topic on the media-types mailing list. If you are interested in discussion which MIME type to use as the official for patch files, or involved in making software using a MIME type for patches, perhaps you would like to join the discussion?

As usual, if you use Bitcoin and want to show your support of my activities, please send Bitcoin donations to my address 15oWEoG9dUPovwmUL9KWAnYRtNJEkP1u1b.

Tags: debian, english, noark5, standard.
Release 0.2 of free software archive system Nikita announced
18th October 2018

This morning, the new release of the Nikita Noark 5 core project was announced on the project mailing list. The free software solution is an implementation of the Norwegian archive standard Noark 5 used by government offices in Norway. These were the changes in version 0.2 since version 0.1.1 (from NEWS.md):

The changes and improvements are extensive. Running diffstat on the changes between git tab 0.1.1 and 0.2 show 1098 files changed, 108666 insertions(+), 54066 deletions(-).

If free and open standardized archiving API sound interesting to you, please contact us on IRC (#nikita on irc.freenode.net) or email (nikita-noark mailing list).

As usual, if you use Bitcoin and want to show your support of my activities, please send Bitcoin donations to my address 15oWEoG9dUPovwmUL9KWAnYRtNJEkP1u1b.

Tags: english, noark5, nuug, offentlig innsyn, standard.
Release 0.1.1 of free software archive system Nikita announced
10th June 2017

I am very happy to report that the Nikita Noark 5 core project tagged its second release today. The free software solution is an implementation of the Norwegian archive standard Noark 5 used by government offices in Norway. These were the changes in version 0.1.1 since version 0.1.0 (from NEWS.md):

If this sound interesting to you, please contact us on IRC (#nikita on irc.freenode.net) or email (nikita-noark mailing list).

Tags: english, noark5, nuug, offentlig innsyn, standard.
Idea for storing trusted timestamps in a Noark 5 archive
7th June 2017

This is a copy of an email I posted to the nikita-noark mailing list. Please follow up there if you would like to discuss this topic. The background is that we are making a free software archive system based on the Norwegian Noark 5 standard for government archives.

I've been wondering a bit lately how trusted timestamps could be stored in Noark 5. Trusted timestamps can be used to verify that some information (document/file/checksum/metadata) have not been changed since a specific time in the past. This is useful to verify the integrity of the documents in the archive.

Then it occured to me, perhaps the trusted timestamps could be stored as dokument variants (ie dokumentobjekt referered to from dokumentbeskrivelse) with the filename set to the hash it is stamping?

Given a "dokumentbeskrivelse" with an associated "dokumentobjekt", a new dokumentobjekt is associated with "dokumentbeskrivelse" with the same attributes as the stamped dokumentobjekt except these attributes:

This assume a service following IETF RFC 3161 is used, which specifiy the given MIME type for replies and the .tsr file ending for the content of such trusted timestamp. As far as I can tell from the Noark 5 specifications, it is OK to have several variants/renderings of a dokument attached to a given dokumentbeskrivelse objekt. It might be stretching it a bit to make some of these variants represent crypto-signatures useful for verifying the document integrity instead of representing the dokument itself.

Using the source of the service in formatDetaljer allow several timestamping services to be used. This is useful to spread the risk of key compromise over several organisations. It would only be a problem to trust the timestamps if all of the organisations are compromised.

The following oneliner on Linux can be used to generate the tsr file. $input is the path to the file to checksum, and $sha256 is the SHA-256 checksum of the file (ie the ".tsr" value mentioned above).

openssl ts -query -data "$inputfile" -cert -sha256 -no_nonce \
  | curl -s -H "Content-Type: application/timestamp-query" \
      --data-binary "@-" http://zeitstempel.dfn.de > $sha256.tsr

To verify the timestamp, you first need to download the public key of the trusted timestamp service, for example using this command:

wget -O ca-cert.txt \
  https://pki.pca.dfn.de/global-services-ca/pub/cacert/chain.txt

Note, the public key should be stored alongside the timestamps in the archive to make sure it is also available 100 years from now. It is probably a good idea to standardise how and were to store such public keys, to make it easier to find for those trying to verify documents 100 or 1000 years from now. :)

The verification itself is a simple openssl command:

openssl ts -verify -data $inputfile -in $sha256.tsr \
  -CAfile ca-cert.txt -text

Is there any reason this approach would not work? Is it somehow against the Noark 5 specification?

Tags: english, noark5, offentlig innsyn, standard.
Epost inn som arkivformat i Riksarkivarens forskrift?
27th April 2017

I disse dager, med frist 1. mai, har Riksarkivaren ute en høring på sin forskrift. Som en kan se er det ikke mye tid igjen før fristen som går ut på søndag. Denne forskriften er det som lister opp hvilke formater det er greit å arkivere i Noark 5-løsninger i Norge.

Jeg fant høringsdokumentene hos Norsk Arkivråd etter å ha blitt tipset på epostlisten til fri programvareprosjektet Nikita Noark5-Core, som lager et Noark 5 Tjenestegresesnitt. Jeg er involvert i Nikita-prosjektet og takket være min interesse for tjenestegrensesnittsprosjektet har jeg lest en god del Noark 5-relaterte dokumenter, og til min overraskelse oppdaget at standard epost ikke er på listen over godkjente formater som kan arkiveres. Høringen med frist søndag er en glimrende mulighet til å forsøke å gjøre noe med det. Jeg holder på med egen høringsuttalelse, og lurer på om andre er interessert i å støtte forslaget om å tillate arkivering av epost som epost i arkivet.

Er du igang med å skrive egen høringsuttalelse allerede? I så fall kan du jo vurdere å ta med en formulering om epost-lagring. Jeg tror ikke det trengs så mye. Her et kort forslag til tekst:

Viser til høring sendt ut 2017-02-17 (Riksarkivarens referanse 2016/9840 HELHJO), og tillater oss å sende inn noen innspill om revisjon av Forskrift om utfyllende tekniske og arkivfaglige bestemmelser om behandling av offentlige arkiver (Riksarkivarens forskrift).

Svært mye av vår kommuikasjon foregår i dag på e-post.  Vi foreslår derfor at Internett-e-post, slik det er beskrevet i IETF RFC 5322, https://tools.ietf.org/html/rfc5322. bør inn som godkjent dokumentformat.  Vi foreslår at forskriftens oversikt over godkjente dokumentformater ved innlevering i § 5-16 endres til å ta med Internett-e-post.

Som del av arbeidet med tjenestegrensesnitt har vi testet hvordan epost kan lagres i en Noark 5-struktur, og holder på å skrive et forslag om hvordan dette kan gjøres som vil bli sendt over til arkivverket så snart det er ferdig. De som er interesserte kan følge fremdriften på web.

Oppdatering 2017-04-28: I dag ble høringuttalelsen jeg skrev sendt inn av foreningen NUUG.

Tags: noark5, norsk, offentlig innsyn, standard.
Free software archive system Nikita now able to store documents
19th March 2017

The Nikita Noark 5 core project is implementing the Norwegian standard for keeping an electronic archive of government documents. The Noark 5 standard document the requirement for data systems used by the archives in the Norwegian government, and the Noark 5 web interface specification document a REST web service for storing, searching and retrieving documents and metadata in such archive. I've been involved in the project since a few weeks before Christmas, when the Norwegian Unix User Group announced it supported the project. I believe this is an important project, and hope it can make it possible for the government archives in the future to use free software to keep the archives we citizens depend on. But as I do not hold such archive myself, personally my first use case is to store and analyse public mail journal metadata published from the government. I find it useful to have a clear use case in mind when developing, to make sure the system scratches one of my itches.

If you would like to help make sure there is a free software alternatives for the archives, please join our IRC channel (#nikita on irc.freenode.net) and the project mailing list.

When I got involved, the web service could store metadata about documents. But a few weeks ago, a new milestone was reached when it became possible to store full text documents too. Yesterday, I completed an implementation of a command line tool archive-pdf to upload a PDF file to the archive using this API. The tool is very simple at the moment, and find existing fonds, series and files while asking the user to select which one to use if more than one exist. Once a file is identified, the PDF is associated with the file and uploaded, using the title extracted from the PDF itself. The process is fairly similar to visiting the archive, opening a cabinet, locating a file and storing a piece of paper in the archive. Here is a test run directly after populating the database with test data using our API tester:

~/src//noark5-tester$ ./archive-pdf mangelmelding/mangler.pdf
using arkiv: Title of the test fonds created 2017-03-18T23:49:32.103446
using arkivdel: Title of the test series created 2017-03-18T23:49:32.103446

 0 - Title of the test case file created 2017-03-18T23:49:32.103446
 1 - Title of the test file created 2017-03-18T23:49:32.103446
Select which mappe you want (or search term): 0
Uploading mangelmelding/mangler.pdf
  PDF title: Mangler i spesifikasjonsdokumentet for NOARK 5 Tjenestegrensesnitt
  File 2017/1: Title of the test case file created 2017-03-18T23:49:32.103446
~/src//noark5-tester$

You can see here how the fonds (arkiv) and serie (arkivdel) only had one option, while the user need to choose which file (mappe) to use among the two created by the API tester. The archive-pdf tool can be found in the git repository for the API tester.

In the project, I have been mostly working on the API tester so far, while getting to know the code base. The API tester currently use the HATEOAS links to traverse the entire exposed service API and verify that the exposed operations and objects match the specification, as well as trying to create objects holding metadata and uploading a simple XML file to store. The tester has proved very useful for finding flaws in our implementation, as well as flaws in the reference site and the specification.

The test document I uploaded is a summary of all the specification defects we have collected so far while implementing the web service. There are several unclear and conflicting parts of the specification, and we have started writing down the questions we get from implementing it. We use a format inspired by how The Austin Group collect defect reports for the POSIX standard with their instructions for the MANTIS defect tracker system, in lack of an official way to structure defect reports for Noark 5 (our first submitted defect report was a request for a procedure for submitting defect reports :).

The Nikita project is implemented using Java and Spring, and is fairly easy to get up and running using Docker containers for those that want to test the current code base. The API tester is implemented in Python.

Tags: english, noark5, nuug, offentlig innsyn, standard.
Detect OOXML files with undefined behaviour?
21st February 2017

I just noticed the new Norwegian proposal for archiving rules in the goverment list ECMA-376 / ISO/IEC 29500 (aka OOXML) as valid formats to put in long term storage. Luckily such files will only be accepted based on pre-approval from the National Archive. Allowing OOXML files to be used for long term storage might seem like a good idea as long as we forget that there are plenty of ways for a "valid" OOXML document to have content with no defined interpretation in the standard, which lead to a question and an idea.

Is there any tool to detect if a OOXML document depend on such undefined behaviour? It would be useful for the National Archive (and anyone else interested in verifying that a document is well defined) to have such tool available when considering to approve the use of OOXML. I'm aware of the officeotron OOXML validator, but do not know how complete it is nor if it will report use of undefined behaviour. Are there other similar tools available? Please send me an email if you know of any such tool.

Tags: english, nuug, standard.
Introducing ical-archiver to split out old iCalendar entries
4th January 2017

Do you have a large iCalendar file with lots of old entries, and would like to archive them to save space and resources? At least those of us using KOrganizer know that turning on and off an event set become slower and slower the more entries are in the set. While working on migrating our calendars to a Radicale CalDAV server on our Freedombox server, my loved one wondered if I could find a way to split up the calendar file she had in KOrganizer, and I set out to write a tool. I spent a few days writing and polishing the system, and it is now ready for general consumption. The code for ical-archiver is publicly available from a git repository on github. The system is written in Python and depend on the vobject Python module.

To use it, locate the iCalendar file you want to operate on and give it as an argument to the ical-archiver script. This will generate a set of new files, one file per component type per year for all components expiring more than two years in the past. The vevent, vtodo and vjournal entries are handled by the script. The remaining entries are stored in a 'remaining' file.

This is what a test run can look like:

% ical-archiver t/2004-2016.ics 
Found 3612 vevents
Found 6 vtodos
Found 2 vjournals
Writing t/2004-2016.ics-subset-vevent-2004.ics
Writing t/2004-2016.ics-subset-vevent-2005.ics
Writing t/2004-2016.ics-subset-vevent-2006.ics
Writing t/2004-2016.ics-subset-vevent-2007.ics
Writing t/2004-2016.ics-subset-vevent-2008.ics
Writing t/2004-2016.ics-subset-vevent-2009.ics
Writing t/2004-2016.ics-subset-vevent-2010.ics
Writing t/2004-2016.ics-subset-vevent-2011.ics
Writing t/2004-2016.ics-subset-vevent-2012.ics
Writing t/2004-2016.ics-subset-vevent-2013.ics
Writing t/2004-2016.ics-subset-vevent-2014.ics
Writing t/2004-2016.ics-subset-vjournal-2007.ics
Writing t/2004-2016.ics-subset-vjournal-2011.ics
Writing t/2004-2016.ics-subset-vtodo-2012.ics
Writing t/2004-2016.ics-remaining.ics
%

As you can see, the original file is untouched and new files are written with names derived from the original file. If you are happy with their content, the *-remaining.ics file can replace the original the the others can be archived or imported as historical calendar collections.

The script should probably be improved a bit. The error handling when discovering broken entries is not good, and I am not sure yet if it make sense to split different entry types into separate files or not. The program is thus likely to change. If you find it interesting, please get in touch. :)

As usual, if you use Bitcoin and want to show your support of my activities, please send Bitcoin donations to my address 15oWEoG9dUPovwmUL9KWAnYRtNJEkP1u1b.

Tags: english, standard.
UsingQR - "Electronic" paper invoices using JSON and QR codes
19th March 2016

Back in 2013 I proposed a way to make paper and PDF invoices easier to process electronically by adding a QR code with the key information about the invoice. I suggested using vCard field definition, to get some standard format for name and address, but any format would work. I did not do anything about the proposal, but hoped someone one day would make something like it. It would make it possible to efficiently send machine readable invoices directly between seller and buyer.

This was the background when I came across a proposal and specification from the web based accounting and invoicing supplier Visma in Sweden called UsingQR. Their PDF invoices contain a QR code with the key information of the invoice in JSON format. This is the typical content of a QR code following the UsingQR specification (based on a real world example, some numbers replaced to get a more bogus entry). I've reformatted the JSON to make it easier to read. Normally this is all on one long line:

{
 "vh":500.00,
 "vm":0,
 "vl":0,
 "uqr":1,
 "tp":1,
 "nme":"Din Leverandør",
 "cc":"NO",
 "cid":"997912345 MVA",
 "iref":"12300001",
 "idt":"20151022",
 "ddt":"20151105",
 "due":2500.0000,
 "cur":"NOK",
 "pt":"BBAN",
 "acc":"17202612345",
 "bc":"BIENNOK1",
 "adr":"0313 OSLO"
}

The interpretation of the fields can be found in the format specification (revision 2 from june 2014). The format seem to have most of the information needed to handle accounting and payment of invoices, at least the fields I have needed so far here in Norway.

Unfortunately, the site and document do not mention anything about the patent, trademark and copyright status of the format and the specification. Because of this, I asked the people behind it back in November to clarify. Ann-Christine Savlid (ann-christine.savlid (at) visma.com) replied that Visma had not applied for patent or trademark protection for this format, and that there were no copyright based usage limitations for the format. I urged her to make sure this was explicitly written on the web pages and in the specification, but unfortunately this has not happened yet. So I guess if there is submarine patents, hidden trademarks or a will to sue for copyright infringements, those starting to use the UsingQR format might be at risk, but if this happen there is some legal defense in the fact that the people behind the format claimed it was safe to do so. At least with patents, there is always a chance of getting sued...

I also asked if they planned to maintain the format in an independent standard organization to give others more confidence that they would participate in the standardization process on equal terms with Visma, but they had no immediate plans for this. Their plan was to work with banks to try to get more users of the format, and evaluate the way forward if the format proved to be popular. I hope they conclude that using an open standard organisation like IETF is the correct place to maintain such specification.

Update 2016-03-20: Via Twitter I became aware of some comments about this blog post that had several useful links and references to similar systems. In the Czech republic, the Czech Banking Association standard #26, with short name SPAYD, uses QR codes with payment information. More information is available from the Wikipedia page on Short Payment Descriptor. And in Germany, there is a system named BezahlCode, (specification v1.8 2013-12-05 available as PDF), which uses QR codes with URL-like formatting using "bank:" as the URI schema/protocol to provide the payment information. There is also the ZUGFeRD file format that perhaps could be transfered using QR codes, but I am not sure if it is done already. Last, in Bolivia there are reports that tax information since november 2014 need to be printed in QR format on invoices. I have not been able to track down a specification for this format, because of my limited language skill sets.

Tags: english, standard.
MPEG LA on "Internet Broadcast AVC Video" licensing and non-private use
7th July 2015

After asking the Norwegian Broadcasting Company (NRK) why they can broadcast and stream H.264 video without an agreement with the MPEG LA, I was wiser, but still confused. So I asked MPEG LA if their understanding matched that of NRK. As far as I can tell, it does not.

I started by asking for more information about the various licensing classes and what exactly is covered by the "Internet Broadcast AVC Video" class that NRK pointed me at to explain why NRK did not need a license for streaming H.264 video:

According to a MPEG LA press release dated 2010-02-02, there is no charge when using MPEG AVC/H.264 according to the terms of "Internet Broadcast AVC Video". I am trying to understand exactly what the terms of "Internet Broadcast AVC Video" is, and wondered if you could help me. What exactly is covered by these terms, and what is not?

The only source of more information I have been able to find is a PDF named AVC Patent Portfolio License Briefing, which states this about the fees:

  • Where End User pays for AVC Video
    • Subscription (not limited by title) – 100,000 or fewer subscribers/yr = no royalty; > 100,000 to 250,000 subscribers/yr = $25,000; >250,000 to 500,000 subscribers/yr = $50,000; >500,000 to 1M subscribers/yr = $75,000; >1M subscribers/yr = $100,000
    • Title-by-Title - 12 minutes or less = no royalty; >12 minutes in length = lower of (a) 2% or (b) $0.02 per title
  • Where remuneration is from other sources
    • Free Television - (a) one-time $2,500 per transmission encoder or (b) annual fee starting at $2,500 for > 100,000 HH rising to maximum $10,000 for >1,000,000 HH
    • Internet Broadcast AVC Video (not title-by-title, not subscription) – no royalty for life of the AVC Patent Portfolio License

Am I correct in assuming that the four categories listed is the categories used when selecting licensing terms, and that "Internet Broadcast AVC Video" is the category for things that do not fall into one of the other three categories? Can you point me to a good source explaining what is ment by "title-by-title" and "Free Television" in the license terms for AVC/H.264?

Will a web service providing H.264 encoded video content in a "video on demand" fashing similar to Youtube and Vimeo, where no subscription is required and no payment is required from end users to get access to the videos, fall under the terms of the "Internet Broadcast AVC Video", ie no royalty for life of the AVC Patent Portfolio license? Does it matter if some users are subscribed to get access to personalized services?

Note, this request and all answers will be published on the Internet.

The answer came quickly from Benjamin J. Myers, Licensing Associate with the MPEG LA:

Thank you for your message and for your interest in MPEG LA. We appreciate hearing from you and I will be happy to assist you.

As you are aware, MPEG LA offers our AVC Patent Portfolio License which provides coverage under patents that are essential for use of the AVC/H.264 Standard (MPEG-4 Part 10). Specifically, coverage is provided for end products and video content that make use of AVC/H.264 technology. Accordingly, the party offering such end products and video to End Users concludes the AVC License and is responsible for paying the applicable royalties.

Regarding Internet Broadcast AVC Video, the AVC License generally defines such content to be video that is distributed to End Users over the Internet free-of-charge. Therefore, if a party offers a service which allows users to upload AVC/H.264 video to its website, and such AVC Video is delivered to End Users for free, then such video would receive coverage under the sublicense for Internet Broadcast AVC Video, which is not subject to any royalties for the life of the AVC License. This would also apply in the scenario where a user creates a free online account in order to receive a customized offering of free AVC Video content. In other words, as long as the End User is given access to or views AVC Video content at no cost to the End User, then no royalties would be payable under our AVC License.

On the other hand, if End Users pay for access to AVC Video for a specific period of time (e.g., one month, one year, etc.), then such video would constitute Subscription AVC Video. In cases where AVC Video is delivered to End Users on a pay-per-view basis, then such content would constitute Title-by-Title AVC Video. If a party offers Subscription or Title-by-Title AVC Video to End Users, then they would be responsible for paying the applicable royalties you noted below.

Finally, in the case where AVC Video is distributed for free through an "over-the-air, satellite and/or cable transmission", then such content would constitute Free Television AVC Video and would be subject to the applicable royalties.

For your reference, I have attached a .pdf copy of the AVC License. You will find the relevant sublicense information regarding AVC Video in Sections 2.2 through 2.5, and the corresponding royalties in Section 3.1.2 through 3.1.4. You will also find the definitions of Title-by-Title AVC Video, Subscription AVC Video, Free Television AVC Video, and Internet Broadcast AVC Video in Section 1 of the License. Please note that the electronic copy is provided for informational purposes only and cannot be used for execution.

I hope the above information is helpful. If you have additional questions or need further assistance with the AVC License, please feel free to contact me directly.

Having a fresh copy of the license text was useful, and knowing that the definition of Title-by-Title required payment per title made me aware that my earlier understanding of that phrase had been wrong. But I still had a few questions:

I have a small followup question. Would it be possible for me to get a license with MPEG LA even if there are no royalties to be paid? The reason I ask, is that some video related products have a copyright clause limiting their use without a license with MPEG LA. The clauses typically look similar to this:

This product is licensed under the AVC patent portfolio license for the personal and non-commercial use of a consumer to (a) encode video in compliance with the AVC standard ("AVC video") and/or (b) decode AVC video that was encoded by a consumer engaged in a personal and non-commercial activity and/or AVC video that was obtained from a video provider licensed to provide AVC video. No license is granted or shall be implied for any other use. additional information may be obtained from MPEG LA L.L.C.

It is unclear to me if this clause mean that I need to enter into an agreement with MPEG LA to use the product in question, even if there are no royalties to be paid to MPEG LA. I suspect it will differ depending on the jurisdiction, and mine is Norway. What is MPEG LAs view on this?

According to the answer, MPEG LA believe those using such tools for non-personal or commercial use need a license with them:

With regard to the Notice to Customers, I would like to begin by clarifying that the Notice from Section 7.1 of the AVC License reads:

THIS PRODUCT IS LICENSED UNDER THE AVC PATENT PORTFOLIO LICENSE FOR THE PERSONAL USE OF A CONSUMER OR OTHER USES IN WHICH IT DOES NOT RECEIVE REMUNERATION TO (i) ENCODE VIDEO IN COMPLIANCE WITH THE AVC STANDARD ("AVC VIDEO") AND/OR (ii) DECODE AVC VIDEO THAT WAS ENCODED BY A CONSUMER ENGAGED IN A PERSONAL ACTIVITY AND/OR WAS OBTAINED FROM A VIDEO PROVIDER LICENSED TO PROVIDE AVC VIDEO. NO LICENSE IS GRANTED OR SHALL BE IMPLIED FOR ANY OTHER USE. ADDITIONAL INFORMATION MAY BE OBTAINED FROM MPEG LA, L.L.C. SEE HTTP://WWW.MPEGLA.COM

The Notice to Customers is intended to inform End Users of the personal usage rights (for example, to watch video content) included with the product they purchased, and to encourage any party using the product for commercial purposes to contact MPEG LA in order to become licensed for such use (for example, when they use an AVC Product to deliver Title-by-Title, Subscription, Free Television or Internet Broadcast AVC Video to End Users, or to re-Sell a third party's AVC Product as their own branded AVC Product).

Therefore, if a party is to be licensed for its use of an AVC Product to Sell AVC Video on a Title-by-Title, Subscription, Free Television or Internet Broadcast basis, that party would need to conclude the AVC License, even in the case where no royalties were payable under the License. On the other hand, if that party (either a Consumer or business customer) simply uses an AVC Product for their own internal purposes and not for the commercial purposes referenced above, then such use would be included in the royalty paid for the AVC Products by the licensed supplier.

Finally, I note that our AVC License provides worldwide coverage in countries that have AVC Patent Portfolio Patents, including Norway.

I hope this clarification is helpful. If I may be of any further assistance, just let me know.

The mentioning of Norwegian patents made me a bit confused, so I asked for more information:

But one minor question at the end. If I understand you correctly, you state in the quote above that there are patents in the AVC Patent Portfolio that are valid in Norway. This make me believe I read the list available from <URL: http://www.mpegla.com/main/programs/AVC/Pages/PatentList.aspx > incorrectly, as I believed the "NO" prefix in front of patents were Norwegian patents, and the only one I could find under Mitsubishi Electric Corporation expired in 2012. Which patents are you referring to that are relevant for Norway?

Again, the quick answer explained how to read the list of patents in that list:

Your understanding is correct that the last AVC Patent Portfolio Patent in Norway expired on 21 October 2012. Therefore, where AVC Video is both made and Sold in Norway after that date, then no royalties would be payable for such AVC Video under the AVC License. With that said, our AVC License provides historic coverage for AVC Products and AVC Video that may have been manufactured or Sold before the last Norwegian AVC patent expired. I would also like to clarify that coverage is provided for the country of manufacture and the country of Sale that has active AVC Patent Portfolio Patents.

Therefore, if a party offers AVC Products or AVC Video for Sale in a country with active AVC Patent Portfolio Patents (for example, Sweden, Denmark, Finland, etc.), then that party would still need coverage under the AVC License even if such products or video are initially made in a country without active AVC Patent Portfolio Patents (for example, Norway). Similarly, a party would need to conclude the AVC License if they make AVC Products or AVC Video in a country with active AVC Patent Portfolio Patents, but eventually Sell such AVC Products or AVC Video in a country without active AVC Patent Portfolio Patents.

As far as I understand it, MPEG LA believe anyone using Adobe Premiere and other video related software with a H.264 distribution license need a license agreement with MPEG LA to use such tools for anything non-private or commercial, while it is OK to set up a Youtube-like service as long as no-one pays to get access to the content. I still have no clear idea how this applies to Norway, where none of the patents MPEG LA is licensing are valid. Will the copyright terms take precedence or can those terms be ignored because the patents are not valid in Norway?

Tags: english, h264, multimedia, opphavsrett, standard, video, web.
Hva gjør at NRK kan distribuere H.264-video uten patentavtale med MPEG LA?
10th June 2015

Helt siden jeg i 2012 fikk beskjed fra MPEG LA om at NRK trengte patentavtale med dem hvis de distribuerte H.264-video til sluttbrukere, har jeg lurt på hva som gjør at NRK ikke har slik avtale. For noen dager siden fikk jeg endelig gjort noe med min undring, og sendte 2015-05-28 følgende epost til info (at) nrk.no med tittel "Hva gjør at NRK kan distribuere H.264-video uten patentavtale med MPEG LA?":

Jeg lurer på en ting rundt NRKs bruk av H.264-video på sine websider samt distribusjon via RiksTV og kabel-TV. Har NRK vurdert om det er behov for en patentavtale med MPEG LA slik det står i programvarelisensene til blant annet Apple Final Cut Studio, Adobe Premiere Pro, Avid og Apples Final Cut Pro X?

Hvis dere har vurdert dette, hva var utfallet av en slik vurdering?

Hvis dere ikke har vurdert dette, har NRK planer om å vurdere behovet for patentavtale?

I følge en artikkel på NRK Beta i 2012 har NRK brukt eller testet både Apple Final Cut Studio, Adobe Premiere Pro, Avid og Apples Final Cut Pro X til bruk for å redigere video før sending. Alle disse har bruksvilkår understøttet av opphavsretten som sier at de kun kan brukes til å lage filmer til personlig og ikke-kommersiell bruk - med mindre en har en lisensavtale med MPEG LA om bruk av patenter utstedt i USA for H.264. Se f.eks. bruksvilkårene for Avid, Adobe Premiere og Apple Final Cut Studio og søk etter "MPEG LA".

Dette får meg til å lure på om det er brudd på opphavsretten å bruke disse verktøyene i strid med bruksvilkårene uten patentavtale med MPEG LA. Men NRK bruker jo tilsynelatende disse verktøyene uten patentavtale med MPEG LA.

I følge forfatteren av Open Broadcast Encoder finnes det to typer H.264-relaterte avtaler en kan få med MPEG LA. Det er én for å lage programvare og utstyr som produserer H.264-video, og en annen for å kringkaste video som bruker H.264. Dette forteller meg at selv om produsentene av utstyr og programvare som NRK bruker har en slik avtale med MPEG LA, så trenges det en egen avtale for å kringkaste video på det formatet.

I følge Ryan Rodriguez hos MPEG LA, da jeg spurte ham på epost i juni 2012, har NRK ikke en slik avtale med MPEG LA. Han sa videre at NRK trenger en slik avtale hvis NRK tilbyr H.264-kodet video til sluttbrukere. Jeg sjekket listen med organisasjoner med avtale med MPEG LA og NRK står fortsatt ikke der.

Jeg lurer dermed på hva som gjør at NRK kan bruke de overnevnte videoredigeringsverktøyene, som tilsynelatende har krav om avtale med MPEG LA for å kunne brukes slik NRK bruker dem, til å lage videofiler for distribusjon uten å ha en avtale med MPEG LA om distribusjon av H.264-video? Dette er spesielt interessant å vite for oss andre som også vurderer å spre H.264-video etter å ha redigert dem med disse mye brukte videoredigeringsverktøyene.

Samme dag fikk jeg automatisk svar om at min henvendelse hadde fått saksid 1294699. Jeg fikk deretter følgende respons fra NRK 2015-06-09:

Hei, beklager lang svartid, men det tok litt tid å finne ut hvem som kunne svare på dette.

For selskaper som leverer h.264 til sluttbrukere på nett (f.eks NRKs nett- tv utgaver som bruker h.264) - og som leverer slike tjenester uten betaling fra forbrukere – er det heller ikke påkrevd noen patentavtale.

http://www.businesswire.com/news/home/20100825006629/en/MPEG-LA%E2%80%99s-AVC-License-Charge-Royalties-Internet#.VWb2ws_774Y

Med vennlig hilsen
Gunn Helen Berg
Informasjonskonsulent, Publikumsservice

NRK
Strategidivisjonen
Sentralbord: +47 23 04 70 00
Post: NRK Publikumsservice, 8608 Mo i Rana
nrk.no / info (at) nrk.no

Da dette ikke helt var svar på det jeg lurte på, sendte jeg samme dag oppfølgerepost tilbake:

[Gunn Helen Berg]
> Hei, beklager lang svartid, men det tok litt tid å finne ut hvem som
> kunne svare på dette.

Takk for svar. Men det besvarte ikke helt det jeg spurte om.

> For selskaper som leverer h.264 til sluttbrukere på nett (f.eks NRKs
> nett- tv utgaver som bruker h.264) - og som leverer slike tjenester
> uten betaling fra forbrukere – er det heller ikke påkrevd noen
> patentavtale.
>
> http://www.businesswire.com/news/home/20100825006629/en/MPEG-LA%E2%80%99s-AVC-License-Charge-Royalties-Internet#.VWb2ws_774Y

Spørsmålet er ikke kun om MPEG LA krever patentavtale eller ikke (hvilket ikke helt besvares av pressemeldingen omtalt over, gitt at pressemeldingen kom i 2010, to år før MPEG LA ansvarlige for internasjonal lisensiering egen Ryan Rodriguez fortalte meg på epost at NRK trenger en lisens.

Det er uklart fra pressemeldingen hva "Internet Broadcast AVC Video" konkret betyr, men i følge en presentasjon fra MPEG LA med tema "AVC PAtent Portfoli License Briefing" datert 2015-05-15 gjelder "Internet Broadcast AVC Video" kun kringkasting på Internet som ikke tilbyr valg av enkeltinnslag ("not title-by-title"), hvilket jo NRK gjør på sine nettsider. I tillegg kringkaster jo NRK H.264-video også utenom Internet (RiksTV, kabel, satelitt), hvilket helt klart ikke er dekket av vilkårene omtalt i pressemeldingen.

Spørsmålet mitt er hvordan NRK kan bruke verktøy med bruksvilkår som krever avtale med MPEG LA for det NRK bruker dem til, når NRK ikke har avtale med MPEG LA. Hvis jeg forsto spørsmålet riktig, så mener NRK at dere ikke trenger avtale med MPEG LA, men uten slik avtale kan dere vel ikke bruke hverken Apple Final Cut Studio, Adobe Premiere Pro, Avid eller Apples Final Cut Pro X for å redigere video før sending?

Mine konkrete spørsmål var altså:

  • Hvis NRK har vurdert om det er behov for en patentavtale med MPEG LA slik det er krav om i programvarelisensene til blant annet Apple Final Cut Studio, Adobe Premiere Pro, Avid og Apples Final Cut Pro X, hva var utfallet av en slik vurdering? Kan jeg få kopi av vurderingen hvis den er gjort skriftlig?
  • Hvis NRK ikke har vurdert dette, har NRK planer om å vurdere behovet for patentavtale?
  • Hva slags saksnummer fikk min henvendelse i NRKs offentlige postjournal? Jeg ser at postjournalen ikke er publisert for den aktuelle perioden ennå, så jeg fikk ikke sjekket selv.

Det hjelper å ha funnet rette vedkommende i NRK, for denne gangen fikk jeg svar tilbake dagen etter (2015-06-10), fra Geir Børdalen i NRK:

Hei Petter Reinholdtsen

Jeg har sjekket saken med distribusjonssjef for tv, Arild Hellgren (som var teknologidirektør da bakkenettet ble satt opp). NRK v/ Hellgren hadde møte med MPEG LA sammen med den europeiske kringkastingsunionen EBU før bakkenettet for TV ble satt opp (igangsatt høsten 2007). I dette møtet ble det avklart at NRK/EBU ikke trengte noen patentavtale for h.264 i forbindelse med oppsett av bakkenettet eller bruk av MPEG4 h.264 som kompresjonsalgoritme fordi tjenesten «in full»(nor: helt) var betalt av utsendelseselskapene og ikke av forbrukerne.

http://www.nrk.no/oppdrag/digitalt-bakkenett-1.3214555

Det er også klart slått fast at selskaper som leverer video basert på MPEG4 h.264 til sluttbrukere på nett, heller ikke påkrevd noen patentavtale – så lenge de leverer slike tjenester uten betaling fra sluttbrukere.

http://www.businesswire.com/news/home/20100825006629/en/MPEG-LA%E2%80%99s-AVC-License-Charge-Royalties-Internet#.VWb2ws_774Y

“MPEG LA announced today that its AVC Patent Portfolio License will continue not to charge royalties for Internet Video that is free to end users (known as “Internet Broadcast AVC Video”) during the entire life of this License. MPEG LA previously announced it would not charge royalties for such video through December 31, 2015 (see http://www.mpegla.com/Lists/MPEG%20LA%20News%20List/Attachments/226/n-10-02-02.pdf), and today’s announcement makes clear that royalties will continue not to be charged for such video beyond that time. Products and services other than Internet Broadcast AVC Video continue to be royalty-bearing.”

Vi har derfor ikke noe behov for å vurdere noen patentavtale med MPEG LA.

Understreker for øvrig at NRK ikke er låst til MPEG4 – h.264 som utsendelsesformat – og at vi har brukt og bruker flere andre alternativer i våre tjenester. Ulike «devicer» har ofte behov for forskjellige løsninger – og NRK har forsøkt å levere med best mulig kvalitet /økonomi /stabilitet avhengig av plattform. Produksjonsformater i NRK spenner for øvrig over en rekke forskjellige formater – hvor MPEG4 bare er en av disse. Når NRK kjøper teknisk utstyr er betaling for kodekstøtte ofte en del av anskaffelsesprisen for denne maskinvaren (enten dette er spesialiserte enkodere eller forskjellige typer produksjonsutstyr).

Vennlig hilsen
Geir Børdalen

________________________________________
Geir Børdalen
Investeringsansvarlig NRK / Hovedprosjektleder - Origo
Avdeling for utvikling, innovasjon, investering og eiendom
NRK medietjenester
Sentralbord: +47 23 04 70 00
Post: NRK, AUTV (RBM5), Pb. 8500 Majorstuen, 0340 Oslo
nrk.no

Et godt og grundig svar, som var informativt om hvordan NRK tenker rundt patentavtale med MPEG LA, men heller ikke helt besvarte det jeg lurte på, så jeg sendte epostoppfølging samme dag.

[Geir Børdalen]
> Hei Petter Reinholdtsen

Hei, og takk for raskt svar. Er min henvendelse journalført slik at den dukker opp i NRKs postjournal?

Svaret ditt var meget nyttig, og jeg forstår ut fra det du skriver at avklaringen med MPEG LA rundt H.264-distribusjon via bakkenettet gjelder alle TV-kanaler i Norge. Hvilke saksnummer fikk dokumenter som ble opprettet i forbindelse med det omtalte møtet NRK v/Hellgren og EBU hadde med MPEG LA (dvs. referater, avtaler, etc), f.eks. dokumentet der formuleringen "in full" som du omtaler finnes?

Men det er et par ting jeg fortsatt ikke forstår. Det ene er hvorfor NRKs forståelse av hva "Internet Broadcast AVC Video" dekker ser ut til å avvike fra det som presenteres i lysark fra MPEG LA i mai, der MPEG LA på lysark med overskriften "AVC/H.264 License Terms Participation Fees" og undertittel "Where remuneration is from other sources" skriver "Internet Broadcast AVC Video (not title-by-title, not subscription) – no royalty for life of the AVC Patent Portfolio License".

Her leser jeg MPEG LA dithen at det kun er kringkasting uten abonnement via Internet som er dekket at vilkårne omtalt i pressemeldingen, mens jeg forstår deg dithen at NRK mener NRKs nettsider som også har enkeltfilmer og innslag (som jeg forstår dekket av formuleringen "title-by-title") dekkes av "Internet Broadcast AVC Video" fra MPEG LA. Hva baserer dere denne tolkningen på? Jeg har ikke sett noe skriftlig fra MPEG LA som støtter NRKs tolkning, og lurer på om dere har andre kilder enn den pressemeldingen fra 5 år tilbake, der NRKS forståelse av hva "Internet Broadcast AVC Video" dekker er beskrevet?

Det andre er at eposten din ikke nevnte spørsmålet mitt om bruksvilkårene til videoredigeringsverktøyene som NRK bruker. Disse har som tidligere nevnt krav om at de kun skal brukes til private og ikke-kommersielle formål med mindre en har avtale med MPEG LA, og uten avtale med MPEG LA kan det jo virke som om NRK bruker verktøyene i strid med bruksvilkårene. Hva gjør at disse bruksvilkårene ikke gjelder for NRK?

Noen minutter senere får jeg foreløpig siste svar i føljetongen:

Hei igjen

Vårt dokumentarkiv har fått en kopi (journalføringsnr kan jeg dessverre ikke gi deg).

> Svaret ditt var meget nyttig, og jeg forstår ut fra det du
> skriver at avklaringen med MPEG LA rundt H.264-distribusjon via
> bakkenettet gjelder alle TV-kanaler i Norge.

Svar: Kan ikke svare for andre enn for NRK/EBU - og for bakkenettet i Norge er det kun NRK som er et lisensbasert selskap. Kan ikke gi noe svar på saksnr på dokumenter eller ytterligere informasjon da jeg selv ikke var del i dette.

> Men det er et par ting jeg fortsatt ikke forstår. ...

Svar: Kan ikke gå ytterligere inn i dette fra min side og mitt fagfelt som er produksjon/publisering og systemstrukturene bak disse. For øvrig ligger det etter vår formening ingen begrensninger for NRK i mulighetene til publisering mht til kodek i produksjonssystemer. Som tidligere skrevet mener vi at NRK ikke trenger noen avtale med MPEG LA og støtter oss til det vi allerede har kommunisert i forrige epost.

Mvh
Geir Børdalen

Det syntes vanskelig å komme videre når NRK ikke ønsker å gå inn i problemstillingen rundt bruksvilkårene til videoredigeringsverktøyene NRK bruker, så jeg sendte takk for svarene og avsluttet utvekslingen så langt:

Tusen takk for rask respons, og oppklarende forklaring om hvordan NRK tenker rundt MPEG LA.

Jeg vil høre med NRK-arkivet for å se om de kan spore opp de omtalte dokumentene. Jeg setter pris på om du kan dele titler, dato eller annen informasjon som kan gjøre det enklere for arkivet å finne dem.

Når det gjelder hvordan bruksvilkårene til videoredigeringsverktøyene skal tolkes, så skal jeg høre med MPEG LA og produsentene av verktøyene for å forsøke å få klarhet i hva de mener er rikgig rettstilstand.

Jeg ble litt klokere, men fortsatt er det uklart for meg hva som er grunnlaget til NRK for å se bort fra bruksvilkår i videoredigeringsprogramvare som krever MPEG LA-avtale til alt annet enn privat og ikke-kommersiell bruk.

Tags: h264, multimedia, norsk, opphavsrett, standard, video, web.
Hvordan vurderer regjeringen H.264-patentutfordringen?
16th November 2014

For en stund tilbake spurte jeg Fornyingsdepartementet om hvilke juridiske vurderinger rundt patentproblemstillingen som var gjort da H.264 ble tatt inn i statens referansekatalog over standarder. Stig Hornnes i FAD tipset meg om følgende som står i oppsumeringen til høringen om referansekatalogen versjon 2.0, som jeg siden ved hjelp av en innsynsforespørsel fikk tak i PDF-utgaven av datert 2009-06-03 (saksnummer 200803291, saksbehandler Henrik Linnestad).

Der står det følgende om problemstillingen:

4.4 Patentproblematikk

NUUG og Opera ser det som særlig viktig at forslagene knyttet til lyd og video baserer seg på de royalty-frie standardene Vorbis, Theora og FLAC.

Kommentarene relaterer seg til at enkelte standarder er åpne, men inneholder tekniske prosedyrer som det i USA (og noen andre land som Japan) er gitt patentrettigheter til. I vårt tilfelle berører dette spesielt standardene Mp3 og H.264, selv om Politidirektoratet peker på at det muligens kan være tilsvarende problematikk også for Theora og Vorbis. Dette medfører at det i USA kan kreves royalties for bruk av tekniske løsninger knyttet til standardene, et krav som også håndheves. Patenter kan imidlertid bare hevdes i de landene hvor patentet er gitt, så amerikanske patenter gjelder ikke andre steder enn USA.

Spesielt for utvikling av fri programvare er patenter problematisk. GPL, en "grunnleggende" lisens for distribusjon av fri programvare, avviser at programvare kan distribueres under denne lisensen hvis det inneholder referanser til patenterte rutiner som utløser krav om royalties. Det er imidlertid uproblematisk å distribuere fri programvareløsninger under GPL som benytter de aktuelle standardene innen eller mellom land som ikke anerkjenner patentene. Derfor finner vi også flere implementeringer av Mp3 og H.264 som er fri programvare, lisensiert under GPL.

I Norge og EU er patentlovgivningen langt mer restriktiv enn i USA, men det er også her mulig å få patentert metoder for løsning av et problem som relaterer seg til databehandling. Det er AIF bekjent ikke relevante patenter i EU eller Norge hva gjelder H.264 og Mp3, men muligheten for at det finnes patenter uten at det er gjort krav om royalties eller at det senere vil gis slike patenter kan ikke helt avvises.

AIF mener det er et behov for å gi offentlige virksomheter mulighet til å benytte antatt royaltyfrie åpne standarder som et likeverdig alternativ eller i tillegg til de markedsledende åpne standardene.

Det ser dermed ikke ut til at de har vurdert patentspørsmålet i sammenheng med opphavsrettsvilkår slik de er formulert for f.eks. Apple Final Cut Pro, Adobe Premiere Pro, Avid og Sorenson-verktøyene, der det kreves brukstillatelse for patenter som ikke er gyldige i Norge for å bruke disse verktøyene til annet en personlig og ikke kommersiell aktivitet når det gjelder H.264-video. Jeg må nok lete videre etter svar på det spørsmålet.

Tags: h264, multimedia, norsk, opphavsrett, standard, video, web.
Do you need an agreement with MPEG-LA to publish and broadcast H.264 video in Norway?
25th August 2014

Two years later, I am still not sure if it is legal here in Norway to use or publish a video in H.264 or MPEG4 format edited by the commercially licensed video editors, without limiting the use to create "personal" or "non-commercial" videos or get a license agreement with MPEG LA. If one want to publish and broadcast video in a non-personal or commercial setting, it might be that those tools can not be used, or that video format can not be used, without breaking their copyright license. I am not sure. Back then, I found that the copyright license terms for Adobe Premiere and Apple Final Cut Pro both specified that one could not use the program to produce anything else without a patent license from MPEG LA. The issue is not limited to those two products, though. Other much used products like those from Avid and Sorenson Media have terms of use are similar to those from Adobe and Apple. The complicating factor making me unsure if those terms have effect in Norway or not is that the patents in question are not valid in Norway, but copyright licenses are.

These are the terms for Avid Artist Suite, according to their published end user license text (converted to lower case text for easier reading):

18.2. MPEG-4. MPEG-4 technology may be included with the software. MPEG LA, L.L.C. requires this notice:

This product is licensed under the MPEG-4 visual patent portfolio license for the personal and non-commercial use of a consumer for (i) encoding video in compliance with the MPEG-4 visual standard (“MPEG-4 video”) and/or (ii) decoding MPEG-4 video that was encoded by a consumer engaged in a personal and non-commercial activity and/or was obtained from a video provider licensed by MPEG LA to provide MPEG-4 video. No license is granted or shall be implied for any other use. Additional information including that relating to promotional, internal and commercial uses and licensing may be obtained from MPEG LA, LLC. See http://www.mpegla.com. This product is licensed under the MPEG-4 systems patent portfolio license for encoding in compliance with the MPEG-4 systems standard, except that an additional license and payment of royalties are necessary for encoding in connection with (i) data stored or replicated in physical media which is paid for on a title by title basis and/or (ii) data which is paid for on a title by title basis and is transmitted to an end user for permanent storage and/or use, such additional license may be obtained from MPEG LA, LLC. See http://www.mpegla.com for additional details.

18.3. H.264/AVC. H.264/AVC technology may be included with the software. MPEG LA, L.L.C. requires this notice:

This product is licensed under the AVC patent portfolio license for the personal use of a consumer or other uses in which it does not receive remuneration to (i) encode video in compliance with the AVC standard (“AVC video”) and/or (ii) decode AVC video that was encoded by a consumer engaged in a personal activity and/or was obtained from a video provider licensed to provide AVC video. No license is granted or shall be implied for any other use. Additional information may be obtained from MPEG LA, L.L.C. See http://www.mpegla.com.

Note the requirement that the videos created can only be used for personal or non-commercial purposes.

The Sorenson Media software have similar terms:

With respect to a license from Sorenson pertaining to MPEG-4 Video Decoders and/or Encoders: Any such product is licensed under the MPEG-4 visual patent portfolio license for the personal and non-commercial use of a consumer for (i) encoding video in compliance with the MPEG-4 visual standard (“MPEG-4 video”) and/or (ii) decoding MPEG-4 video that was encoded by a consumer engaged in a personal and non-commercial activity and/or was obtained from a video provider licensed by MPEG LA to provide MPEG-4 video. No license is granted or shall be implied for any other use. Additional information including that relating to promotional, internal and commercial uses and licensing may be obtained from MPEG LA, LLC. See http://www.mpegla.com.

With respect to a license from Sorenson pertaining to MPEG-4 Consumer Recorded Data Encoder, MPEG-4 Systems Internet Data Encoder, MPEG-4 Mobile Data Encoder, and/or MPEG-4 Unique Use Encoder: Any such product is licensed under the MPEG-4 systems patent portfolio license for encoding in compliance with the MPEG-4 systems standard, except that an additional license and payment of royalties are necessary for encoding in connection with (i) data stored or replicated in physical media which is paid for on a title by title basis and/or (ii) data which is paid for on a title by title basis and is transmitted to an end user for permanent storage and/or use. Such additional license may be obtained from MPEG LA, LLC. See http://www.mpegla.com for additional details.

Some free software like Handbrake and FFMPEG uses GPL/LGPL licenses and do not have any such terms included, so for those, there is no requirement to limit the use to personal and non-commercial.

Tags: english, h264, multimedia, opphavsrett, standard, video, web.
Hvor godt fungerer Linux-klienter mot MS Exchange?
26th November 2013

Jeg skrev i juni om protestene på planene til min arbeidsplass, Universitetet i Oslo, om å gå bort fra fri programvare- og åpne standardløsninger for å håndtere epost, vekk fra IETF-standarden SIEVE for filtrering av epost og over til godseide spesifikasjoner og epostsystemet Microsoft Exchange. Protestene har fått litt ny omtale i media de siste dagene, i tillegg til de oppslagene som kom i mai.

Prosjektledelsen har fortalt at dette skal fungere like godt for Linux-brukere som for brukere av Microsoft Windows og Apple MacOSX, men jeg lurer på hva slags erfaringer Linux-brukere i eksisterende miljøer som bruker MS Exchange har gjort. Hvis du har slik erfaring hadet det vært veldig fint om du kan send et leserbrev til Uniforum og fortelle om hvor greit det er å bruke Exchange i kryss-platform-miljøer? De jeg har snakket med sier en greit får lest e-posten sin hvis Exchange har slått på IMAP-funksjonalitet, men at kalender og møtebooking ikke fungerer godt for Linux-klienter. Jeg har ingen personlig erfaring å komme med, så jeg er nysgjerrig på hva andre kan dele av erfaringer med universitetet.

Mitt ankerpunkt mot å bytte ut fri programvare som fungerer godt med godseid programvare er at en mister kontroll over egen infrastruktur, låser seg inn i en løsning det vil bli dyrt å komme ut av, uten at en får funksjonalitet en ikke kunne skaffet seg med fri programvare, eventuelt videreutviklet med de pengene som brukes på overgangen til MS Exchange. Personlig planlegger jeg å fortsette å laste ned all eposten min til lokal maskin for indeksering og lesing med notmuch, så jeg håper jeg ikke blir veldig skadelidende av overgangen.

Underskriftslista for oss som er mot endringen, som omtales i artiklene, er fortsatt åpen for de som vil signere på oppropet. Akkurat nå er det 298 personer som har signert.

Tags: norsk, standard.
Åpent møte på onsdag om bruken av Microsoft Exchange ved Universitetet i Oslo
3rd June 2013

Jeg jobber til daglig ved Universitetet i Oslo, en institusjon som lenge har vektlagt verdien av åpne standarder og fri programvare. Men noe har endret seg, og for en liten stund tilbake annonserte USIT at dagens fungerende e-postsystemet basert på fri programvare skulle byttes ut med Microsoft Exchange og at Microsoft Outlook skulle bli den best fungerende men antagelig ikke eneste støttede e-postklienten. Annonseringen har ført til flere protester og en underskriftskampanje, initiert av Diana Santos, der så langt 253 personer har signert. Prosjektet NIKE (Ny integrert kalender/e-post) ble initiert for å se på mulige løsninger med utgangspunkt i at en kombinert epost/kalenderløsning var påkrevd, og prosjektet NIKE-implementasjon er igang med å rulle ut MS Exchange ved Universitetet i Oslo.

For kun kort tid siden ble det annonsert at det blir et åpent møte med ledelsen hos universitetet i Oslo med disse planene som tema:

Tid: Onsdag 2013-06-05 kl. 10:00
Sted: 9. etasje i Lucy Smiths hus (admin-bygget)

Det kan være en god plass å stille opp hvis en som meg ikke tror valget av Microsoft Exchange som sentral epostinfrastruktur er et heldig valg for Norges ledende forskningsuniversitet, men at en er mer tjent med å selv beholde kontrollen over egen infrastruktur.

Saken har ført til endel presseoppslag så langt. Her er de jeg har fått med meg:

Tags: norsk, standard.
Mer innsyn i bakgrunnen for fjerning av ODF fra statens standardkatalog
9th April 2013

For cirka en måned siden ba jeg om begrunnelse på nektet innsyn i dokumenter om standardkatalogen fra Fornyingsdepartementet. I dag fikk jeg svar fra Fornyingsdepartementet, og tilgang til dokumentene. Jeg fikk både innsyn i vedlegg sendt fra DIFI, og også innsyn i et notat brukt internt i Fornyingsdepartementet:

Det bør nevnes at da jeg ble nektet innsyn hos mottaker Fornyingsdepartementet på høringsoppsummeringen som DIFI hadde sendt ut, spurte jeg DIFI om innsyn i stedet. Det fikk jeg i løpet av et par dager. Moralen er at hvis ikke mottaker ikke vil gi innsyn, spør avsender i stedet. Kanskje de har forskjellig forståelse av hva som bør holdes skjult for folket. Her er de tilsvarende dokumentene jeg fikk innsyn i fra DIFI:

Det jeg synes er mest interessant er endel av aktørene som protesterte på fjerningen (Kartverket, Drammen kommune), og hvordan høringsoppsummeringen ikke tar stilling til effekten av å fjerne ODF fra katalogen.

Tags: norsk, standard.
Regjeringen, FAD og DIFI går inn for å fjerne ODF som obligatorisk standard i det offentlige
18th March 2013

I siste høring om referansekatalogen for IT-standarder i offentlig sektor, med høringsfrist 2012-09-30 (DIFI-sak 2012/498), ble det foreslått å fjerne ODF som obligatorisk standard når en publiserte dokumenter som skulle kunne redigeres videre av mottaker. NUUG og andre protesterte på forslaget, som er et langt steg tilbake når det gjelder å sikre like rettigheter for alle når en kommuniserer med det offentlige. For noen dager siden ble jeg oppmerksom på at Direktoratet for forvaltning og IKT (DIFI) og Fornyings-,administrasjons- og kirkedepartementet (FAD) har konkludert, og oversendt forslag til regjeringen i saken. FADs dokument 2012/2168-8, «Utkast til endring av standardiseringsforskriften» datert 2013-02-06 har følgende triste oppsummering fra høringen i saken:

Det kom noen innvendinger på forslaget om å fjerne ODF som obligatorisk standard for redigerbare dokumenter. Innvendingene har ikke blitt ilagt avgjørende vekt.

Ved å fjerne ODF som obligatorisk format ved publisering av redigerbare dokumenter setter en Norge tiår tilbake. Det som vil skje er at offentlige etater går tilbake til kun å publisere dokumenter på et av de mange formatene til Microsoft Office, og alle som ikke aksepterer bruksvilkårene til Microsoft eller ikke har råd til å bruke penger på å få tilgang til Microsoft Office må igjen basere seg på verktøy fra utviklerne som er avhengig av å reversutvikle disse formatene. I og med at ISO-spesifikasjonen for OOXML ikke komplett og korrekt spesifiserer formatene til MS Office (men er nyttige å titte i når en reversutvikler), er en tilbake til en situasjon der en ikke har en fri og åpen standard å forholde seg til, men i stedet må springe etter Microsoft. Alle andre leverandører enn Microsoft vil dermed ha en seriøs ulempe. Det er som å fjerne krav om bruk av meter som måleenhet, og heretter aksepterer alle måleenheter som like gyldige, når en vet at den mest brukte enheten vil være armlengden til Steve Ballmer slik Microsoft måler den.

Jeg er ikke sikker på om forslaget er vedtatt av regjeringen ennå. Kristian Bergem hos DIFI nevnte på et møte forrige tirsdag at han trodde det var vedtatt i statsråd 8. mars, men jeg har ikke klart å finne en skriftlig kilde på regjeringen.no som bekrefter dette. Kanskje det ennå ikke er for sent...

Jeg ba i forrige uke om innsyn i dokument 6, 7 og 8 i FAD-saken, og har i dag fått innsyn i dokument 7 og 8. Ble nektet innsyn i dokumentet med tittelen «Oppsummering av høring om endringer i forskrift om IT-standarder i offentlig forvaltning» med hjemmel i off. lovens §15.1, så det er vanskelig å vite hvordan argumentene fra høringen ble mottatt og forstått av saksbehandleren hos DIFI. Lurer på hvordan jeg kan klage på at jeg ikke fikk se oppsummeringen. Fikk tre PDFer tilsendt fra FAD, Endring av underversjon i EHF, Bakgrunnsnotat knyttet til versjon av EHF standarden i Forskrift om IT-standarder i offentlig sektor og Utkast til endring av standardiseringsforskriften, hvis du vil ta en titt.

Tags: digistan, norsk, standard.
"Electronic" paper invoices - using vCard in a QR code
12th February 2013

Here in Norway, electronic invoices are spreading, and the solution promoted by the Norwegian government require that invoices are sent through one of the approved facilitators, and it is not possible to send electronic invoices without an agreement with one of these facilitators. This seem like a needless limitation to be able to transfer invoice information between buyers and sellers. My preferred solution would be to just transfer the invoice information directly between seller and buyer, for example using SMTP, or some HTTP based protocol like REST or SOAP. But this might also be overkill, as the "electronic" information can be transferred using paper invoices too, using a simple bar code. My bar code encoding of choice would be QR codes, as this encoding can be read by any smart phone out there. The content of the code could be anything, but I would go with the vCard format, as it too is supported by a lot of computer equipment these days.

The vCard format support extentions, and the invoice specific information can be included using such extentions. For example an invoice from SLX Debian Labs (picked because we ask for donations to the Debian Edu project and thus have bank account information publicly available) for NOK 1000.00 could have these extra fields:

X-INVOICE-NUMBER:1
X-INVOICE-AMOUNT:NOK1000.00
X-INVOICE-KID:123412341234
X-INVOICE-MSG:Donation to Debian Edu
X-BANK-ACCOUNT-NUMBER:16040884339
X-BANK-IBAN-NUMBER:NO8516040884339
X-BANK-SWIFT-NUMBER:DNBANOKKXXX

The X-BANK-ACCOUNT-NUMBER field was proposed in a stackoverflow answer regarding how to put bank account information into a vCard. For payments in Norway, either X-INVOICE-KID (payment ID) or X-INVOICE-MSG could be used to pass on information to the seller when paying the invoice.

The complete vCard could look like this:

BEGIN:VCARD
VERSION:2.1
ORG:SLX Debian Labs Foundation
ADR;WORK:;;Gunnar Schjelderups vei 29D;OSLO;;0485;Norway
URL;WORK:http://www.linuxiskolen.no/slxdebianlabs/
EMAIL;PREF;INTERNET:sdl-styret@rt.nuug.no
REV:20130212T095000Z
X-INVOICE-NUMBER:1
X-INVOICE-AMOUNT:NOK1000.00
X-INVOICE-MSG:Donation to Debian Edu
X-BANK-ACCOUNT-NUMBER:16040884339
X-BANK-IBAN-NUMBER:NO8516040884339
X-BANK-SWIFT-NUMBER:DNBANOKKXXX
END:VCARD

The resulting QR code created using qrencode would look like this, and should be readable (and thus checkable) by any smart phone, or for example the zbar bar code reader and feed right into the approval and accounting system.

The extension fields will most likely not show up in any normal vCard reader, so those parts would have to go directly into a system handling invoices. I am a bit unsure how vCards without name parts are handled, but a simple test indicate that this work just fine.

Update 2013-02-12 11:30: Added KID to the proposal based on feedback from Sturle Sunde.

Tags: english, standard.
12 years of outages - summarised by Stuart Kendrick
26th October 2012

I work at the University of Oslo looking after the computers, mostly on the unix side, but in general all over the place. I am also a member (and currently leader) of the NUUG association, which in turn make me a member of USENIX. NUUG is an member organisation for us in Norway interested in free software, open standards and unix like operating systems, and USENIX is a US based member organisation with similar targets. And thanks to these memberships, I get all issues of the great USENIX magazine ;login: in the mail several times a year. The magazine is great, and I read most of it every time.

In the last issue of the USENIX magazine ;login:, there is an article by Stuart Kendrick from Fred Hutchinson Cancer Research Center titled "What Takes Us Down" (longer version also available from his own site), where he report what he found when he processed the outage reports (both planned and unplanned) from the last twelve years and classified them according to cause, time of day, etc etc. The article is a good read to get some empirical data on what kind of problems affect a data centre, but what really inspired me was the kind of reporting they had put in place since 2000.

The centre set up a mailing list, and started to send fairly standardised messages to this list when a outage was planned or when it already occurred, to announce the plan and get feedback on the assumtions on scope and user impact. Here is the two example from the article: First the unplanned outage:

Subject:     Exchange 2003 Cluster Issues
Severity:    Critical (Unplanned)
Start: 	     Monday, May 7, 2012, 11:58
End: 	     Monday, May 7, 2012, 12:38
Duration:    40 minutes
Scope:	     Exchange 2003
Description: The HTTPS service on the Exchange cluster crashed, triggering
             a cluster failover.

User Impact: During this period, all Exchange users were unable to
             access e-mail. Zimbra users were unaffected.
Technician:  [xxx]
Next the planned outage:
Subject:     H Building Switch Upgrades
Severity:    Major (Planned)
Start:	     Saturday, June 16, 2012, 06:00
End:	     Saturday, June 16, 2012, 16:00
Duration:    10 hours
Scope:	     H2 Transport
Description: Currently, Catalyst 4006s provide 10/100 Ethernet to end-
	     stations. We will replace these with newer Catalyst
	     4510s.
User Impact: All users on H2 will be isolated from the network during
     	     this work. Afterward, they will have gigabit
     	     connectivity.
Technician:  [xxx]

He notes in his article that the date formats and other fields have been a bit too free form to make it easy to automatically process them into a database for further analysis, and I would have used ISO 8601 dates myself to make it easier to process (in other words I would ask people to write '2012-06-16 06:00 +0000' instead of the start time format listed above). There are also other issues with the format that could be improved, read the article for the details.

I find the idea of standardising outage messages seem to be such a good idea that I would like to get it implemented here at the university too. We do register planned changes and outages in a calendar, and report the to a mailing list, but we do not do so in a structured format and there is not a report to the same location for unplanned outages. Perhaps something for other sites to consider too?

Tags: english, nuug, standard, usenix.
NUUGs høringsuttalelse til DIFIs forslag om å kaste ut ODF fra statens standardkatalog
1st October 2012

Som jeg skrev i juni har DIFI foreslått å fjerne krav om å bruke ODF til utveksling av redigerbare dokumenter med det offentlige, og derigjennom tvinge innbyggerne til å forholde seg til formatene til MS Office når en kommuniserer med det offentlige.

I går kveld fikk vi i NUUG fullført vår høringsuttalelse og sendt den inn til DIFI. Du finner uttalelsen på wikien. Ta en titt. Fristen for å sende inn uttalelse var i går søndag, men en får kanskje sitt innspill med hvis en sender i dag.

Tags: norsk, nuug, standard.
Free software forced Microsoft to open Office (and don't forget Officeshots)
23rd August 2012

I came across a great comment from Simon Phipps today, about how Microsoft have been forced to open Office, and it made me remember and revisit the great site officeshots which allow you to check out how different programs present the ODF file format. I recommend both to those of my readers interested in ODF. :)

Tags: english, standard.
OOXML og standardisering
25th July 2012

DIFI har en høring gående om ny versjon av statens standardkatalog, med frist 2012-09-30, der det foreslås å fjerne ODF fra katalogen og ta inn ISO OOXML. I den anledning minnes jeg notatet FAD skrev da versjon 2 av standardkatalogen var under utarbeidelse, da FAD og DIFI fortsatt forsto poenget med og verdien av frie og åpne standarder.

Det er mange som tror at OOXML er ett spesifikt format, men det brukes ofte som fellesbetegnelse for både formatet spesifisert av ECMA, ISO, og formatet produsert av Microsoft Office (aka docx), som dessverre ikke er det samme formatet. Fra en av de som implementerte støtte for docx-formatet i KDE fikk jeg høre at ISO-spesifikasjonen var en nyttig referanse, men at det var mange avvik som gjorde at en ikke kunne gå ut ifra at Microsoft Office produserte dokumenter i henhold til ISO-spesifikasjonen.

ISOs OOXML-spesifikasjon har (eller hadde, usikker på om kommentaren er oppdatert) i følge Inigo Surguy feil i mer enn 10% av eksemplene, noe som i tillegg gjør det vanskelig å bruke spesifikasjonen til å implementere støtte for ISO OOXML. Jeg har ingen erfaring med å validere OOXML-dokumenter selv, men ser at Microsoft har laget en validator som jeg ikke kan teste da den kun er tilgjengelig på MS Windows. Finner også en annen kalt Office-O-Tron som er oppdatert i fjor. Lurer på om de validerer at dokumenter er i formatet til Microsoft office, eller om de validerer at de er i henhold til formatene spesifisert av ECMA og ISO. Det hadde også vært interessant å se om docx-dokumentene publisert av det offentlige er gyldige ISO OOXML-dokumenter.

Tags: norsk, nuug, standard.
Mer oppfølging fra MPEG-LA om avtale med dem for å kringkaste og publisere H.264-video
5th July 2012

I føljetongen om H.264 forlot jeg leserne i undring om hvor pakken fra MPEG-LA tok veien, og om hvilke selskaper i Norge som har avtale med MPEG-LA. Da Ryan hos MPEG-LA dro på ferie sendte jeg min melding videre til hans kollega, og dagen etter fikk jeg følgende svar derfra:

Date: Fri, 29 Jun 2012 18:32:34 +0000
From: Sidney Wolf <SWolf (at) mpegla.com>
To: Petter Reinholdtsen <pere (at) hungry.com>
Cc: Ryan Rodriguez <RRodriguez (at) mpegla.com>
Subject: RE: Do NRK have a license agreement with MPEG-LA?

Dear Mr. Reinholdtsen,

Thank you for your message. As you know, Ryan is currently our of the office, so it will be my pleasure to assist you.

Per your request, attached please find an electronic copy of the AVC Patent Portfolio License. Please note that the electronic copy of the License is provided as a convenience and for informational purposes only. When concluding the Licenses, only the hard copies provided by MPEG LA may be used.

To your question, MPEG LA lists our Licensees on our website according to each program. The lists are in alphabetical order, so it is very easy to search.

I hope that this was helpful. If we can be of additional assistance, please let me know.

Kind regards,

Sidney A. Wolf
Manager, Global Licensing
MPEG LA

Selv om et epostvedlegg er nyttig for mottakeren, så håpet jeg å få et dokument jeg kunne dele med alle leserne av bloggen min, og ikke et som må deles på individuell basis. Opphavsretten krever godkjenning fra rettighetsinnehaver før en kan gjøre slikt, så dermed fulgte jeg opp med et spørsmål om dette var greit.

Date: Wed, 4 Jul 2012 20:25:06 +0200
From: Petter Reinholdtsen <pere (at) hungry.com>
To: Sidney Wolf <SWolf (at) mpegla.com>
Cc: Ryan Rodriguez <RRodriguez (at) mpegla.com>
Subject: Re: Do NRK have a license agreement with MPEG-LA?

Thank you for your reply.

[Sidney Wolf]
> Per your request, attached please find an electronic copy of the AVC
> Patent Portfolio License. Please note that the electronic copy of
> the License is provided as a convenience and for informational
> purposes only. When concluding the Licenses, only the hard copies
> provided by MPEG LA may be used.

This is useful for me to learn, but the reason I asked for the Internet address of the licensing document was to ensure I could publish a link to it when I discuss the topic of H.264 licensing here in Norway, and allow others to verify my observations. I can not do the same with an email attachment. Thus I would like to ask you if it is OK with MPEG LA that I publish this document on the Internet for others to read?

> To your question, MPEG LA lists our Licensees on our website
> according to each program. The lists are in alphabetical order, so
> it is very easy to search.

I am afraid this do not help me locate Norwegian companies in the list of Licensees. I do not know the name of all companies and organisations in Norway, and thus do not know how to locate the Norwegian ones on that list.

> I hope that this was helpful. If we can be of additional assistance,
> please let me know.

Absoutely helpful to learn more about how MPEG LA handle licensing.

--
Happy hacking
Petter Reinholdtsen

Jeg håpet også at det skulle være mulig å få vite hvilke av de mange hundre som har avtale med MPEG-LA om bruk av H.264 som holdt til i Norge. Begge mine håp falt i grus med svaret fra MPEG-LA.

Date: Thu, 5 Jul 2012 17:42:39 +0000
From: Sidney Wolf <SWolf (at) mpegla.com>
To: 'Petter Reinholdtsen' <pere (at) hungry.com>
Cc: Ryan Rodriguez <RRodriguez (at) mpegla.com>
Subject: RE: Do NRK have a license agreement with MPEG-LA?

Dear Mr. Reinholdtsen,

Thank you for your reply.

We appreciate the additional explanation you have provided and for asking our permission to publish the electronic copy of the License in advance of doing so. Typically, MPEG LA prefers to distribute the electronic copies of our Licenses to interested parties. Therefore, please feel free to send interested parties to the AVC portion of our website, http://www.mpegla.com/main/programs/AVC/Pages/Intro.aspx for their further reference.

As previously mentioned, MPEG LA maintains a list of Licensees in good standing on our website according to each program. Due to the large volume of Licensees, it would be administratively impractical to provide this level of detail to interested parties. Therefore, I am afraid we are not in a position to assist you with your request.

Kind regards,

Sidney A. Wolf
Manager, Global Licensing
MPEG LA

Men takket være epostvedlegget kunne jeg søke på Google etter setningen "WHEREAS, a video standard commonly referred to as AVC has been defined and is referred to in this Agreement as the “AVC Standard” (as more fully defined herein below)" som finnes i avtalen, og lokalisere en kopi fra 2007 av lisensavtalen mellom MPEG-LA og DivX, Inc., slik at mine lesere kan se hvordan avtalen så ut da. Jeg har ikke sammenlignet tekstene for å se om noe har endret seg siden den tid, men satser på at teksten er representativ.

Jeg aner fortsatt ikke hvor FedEx tok veien med pakken fra MPEG-LA.

Update 2012-07-06: Jeg er visst ikke den første som forsøker å få klarhet i problemstillinger rundt H.264, og kom nettopp over en veldig interessant bloggpost fra 2010 hos LibreVideo med tittelen "MPEG-LA answers some questions about AVC/H.264 licensing. Anbefales!

Tags: h264, multimedia, norsk, opphavsrett, standard, video, web.
DIFI foreslår å kaste ut ODF og ta inn OOXML fra statens standardkatalog
29th June 2012

DIFI har nettopp annonsert høring om revisjon av standardkatalogen, og endelig har Microsoft fått viljen sin. Se høringssiden for hele teksten.

Her er forslaget i sin helhet:

3.2 Revisjon av krav til redigerbare dokumenter

I første versjon av referansekatalogen i 2007 ble det satt krav om Open Document Format (ODF), versjon 1.1 (OASIS, 1.2.2007) for redigerbare dokumenter. Kravet var obligatorisk for stat og sterkt anbefalt for kommunal sektor. I 2009 ble kravet gjort obligatorisk for hele offentlig sektor i forskrift om IT-standarder i forvaltningen. Anvendelsesområdet for kravet har vært begrenset til publisering av dokumenter som skal bearbeides videre (§ 4 nr. 1 andre ledd). I 2011 ble anvendelsesområdet utvidet til å omfatte utveksling av dokumenter beregnet for redigering som vedlegg til e-post (§4 nr. 2).

Office Open XML ISO/IEC 29500:2011 (OOXML) er et dokumentformat opprinnelig utviklet av Microsoft med tilsvarende anvendelsesområde som ODF. Formatet er blant annet tatt i bruk i nyere versjoner av kontorstøtteprogamvaren MS Office. Difi har foretatt en revisjonsvurdering av krav som stilles til redigerbare dokumenter i Forskrift om IT-standarder i forvaltningen, og anbefaler at kravet til ODF fjernes. Dette innebærer at det ikke stilles krav til dokumentformater for redigerbare dokumenter ved publisering på offentlige virksomheters nettsider og for redigerbare vedlegg til e-post som sendes fra offentlige virksomheter til innbyggere og næringsliv. Offentlige virksomheter vil dermed stå fritt til å publisere eller sende redigerbare dokumenter i det format som ivaretar brukernes behov best.

Forslaget innebærer at krav til ODF utgår § 4 nr. 1 tredje ledd og § 4 nr. 2 første ledd

Imidlertid bør det stilles strengere krav til hvilke formater offentlige virksomheter plikter å motta redigerbare dokumenter. Vi mener at det ikke bør skilles mellom mottak av redigerbare dokumenter som sendes i ODF eller OOXML3, som begge er åpne standarder. Dette medfører at innbyggere og næringsliv skal kunne basere sitt valg av programvare på egne behov og ikke på de valg offentlige virksomheter tar. Kravet vil omfatte hele offentlig sektor, herunder utdanningssektoren, hvor det kanskje er størst bruk av ODF. Kravet er foreslått som ny § 4 nr.2 andre ledd

De satser vel på at det hele blir glemt over sommeren, og at de fleste har glemt Standard Norge og ISOs fallitt fra da OOXML ble jukset igjennom som ISO-standard. Jeg håper mine lesere sender inn høringsuttalelser til høringen.

Anbefaler alle å friske opp sine argumenter ved å lese svaret fra senator Edgar Villanueva til Microsoft i Peru. Det er en klassisk tekst som er like gyldig i dag som da det ble skrevet.

Tags: norsk, nuug, standard.
Departementenes servicesenter har ingen avtale om bruk av H.264 med MPEG-LA
29th June 2012

Da fikk jeg nettopp svar fra Departementenes servicesenter (DSS) på mitt spørsmål om avtale rundt bruk av H.264. De har ingen avtale med MPEG LA eller dets representanter. Her er svaret.

Date: Fri, 29 Jun 2012 07:04:42 +0000
From: Nielsen Mette Haga <Mette-Haga.Nielsen (at) dss.dep.no>
To: Petter Reinholdtsen <petter.reinholdtsen (at) ...>
CC: Postmottak <Postmottak (at) dss.dep.no>
Subject: SV: Innsynsbegjæring om MPEG/H.264-relaterte avtaler

DSS har ikke inngått noen egen lisensavtale med MPEG-LA eller noen som representerer MPEG-LA i Norge. Videoløsningen på regjeringen.no er levert av Smartcom:tv. Lisensforholdet rundt H.264 er ikke omtalt i vår avtale med Smartcom.

Vennlig hilsen

Mette Haga Nielsen
Fung. seksjonssjef

Departementenes servicesenter

Informasjonsforvaltning

Mobil 93 09 83 51
E-post mette-haga.nielsen (at) dss.dep.no

Hvis den norske regjeringen representert ved DSS ikke har slik avtale, så kan en kanskje konkludere med at det ikke trengs? Jeg er ikke trygg på at det er god juridisk grunn å stå på, men det er i det minste interessant å vite at hverken NRK eller DSS har funnet det nødvendig å ha avtale om bruk av H.264.

Det forklarer ikke hvordan de kan ignorere bruksvilkårene knyttet til bruk av opphavsrettsbeskyttet materiale de bruker til videoproduksjon, med mindre slike vilkår kan ignoreres av selskaper og privatpersoner i Norge. Har de lov til å bryte vilkårene, eller har de brutt dem og så langt sluppet unna med det? Jeg aner ikke.

Tags: h264, multimedia, norsk, opphavsrett, standard, video, web.
MPEG-LA mener NRK må ha avtale med dem for å kringkaste og publisere H.264-video
28th June 2012

Etter at NRK nektet å spore opp eventuell avtale med MPEG-LA eller andre om bruk av MPEG/H.264-video etter at jeg ba om innsyn i slike avtaler, tenkte jeg at i stedet for å forsøke å få NRK til å finne en slik avtale, så burde det være like enkelt å spørre MPEG-LA om de hadde avtale med NRK. Spørsmålet ble sendt før jeg fikk tips fra Kieran Kunhya om hvor listen over lisensinnehavere "in Good Standing" befant seg. MPEG-LA svarte meg i dag, og kan fortelle at NRK ikke har noen avtale med dem, så da er i det minste det slått fast. Ikke overraskende mener MPEG-LA at det trengs en avtale med MPEG-LA for å streame H.264, men deres rammer er jo rettstilstanden i USA og ikke Norge. Jeg tar dermed den delen av svaret med en klype salt. Jeg er dermed fortsatt ikke klok på om det trengs en avtale, og hvis det trengs en avtale her i Norge, heller ikke sikker på om NRK har en avtale med noen andre enn MPEG-LA som gjør at de ikke trenger avtale direkte med MPEG-LA. Jeg håper NRKs jurister har vurdert dette, og at det er mulig å få tilgang til vurderingen uansett om de trenger en avtale eller ikke.

Her er epostutvekslingen med MPEG-LA så langt. Håper ikke utvekslingen fører til NRK plutselig får en litt uventet pakke fra MPEG-LA.

Date: Mon, 25 Jun 2012 15:29:37 +0200
From: Petter Reinholdtsen <pere (at) hungry.com>
To: licensing-web (at) mpegla.com
Subject: Do NRK have a license agreement with MPEG-LA?

Hi. I have a small question for you, that I hope it is OK that I ask.

Is there any license agreements between MPEG-LA and NRK, <URL: http://www.nrk.no/ >, the Norwegian national broadcasting cooperation? I am not sure if they need one, and am just curious if such agreeement exist.

The postal address is

NRK
Postbox 8500, Majorstuen
0340 Oslo
Norway

if it make it easier for you to locate such agreement.

Can you tell me how many entities in Norway have an agreement with MPEG-LA, and the name of these entities?

--
Happy hacking
Petter Reinholdtsen

I dag, to dager senere, fikk jeg følgende svar:

Date: Thu, 28 Jun 2012 14:11:17 +0000
From: Ryan Rodriguez <RRodriguez (at) mpegla.com>
To: Petter Reinholdtsen <pere (at) hungry.com>
CC: MD Administration <MDAdministration (at) mpegla.com>
Subject: RE: Do NRK have a license agreement with MPEG-LA?

Dear Mr. Reinholdtsen,

Thank you for your message and for your interest in MPEG LA. We appreciate hearing from you and I will be happy to assist you.

To begin, I will assume that you are referring to AVC/H.264 technology in your message below, as this technology is commonly used in the transmission of video content. In that case, please allow me to briefly summarize the coverage provided by our AVC Patent Portfolio License.

Our AVC License provides coverage for end products and video services that make use of AVC/H.264 technology. Accordingly, the party offering such end products and video to End Users concludes the AVC License and is responsible for paying the applicable royalties associated with the end products/video they offer.

While the Norwegian Broadcast Corporation (NRK) is not currently a Licensee to MPEG LA's AVC License (or any other Portfolio License offered by MPEG LA), if NRK offers AVC Video to End Users for remuneration (for example, Title-by-Title, Subscription, Free Television, or Internet Broadcast AVC Video), then NRK will need to conclude the AVC License and may be responsible for paying applicable royalties associated with the AVC Video it distributes.

Today I will send you a FedEx package containing a copy of our AVC License for your review. You should receive the License document within the next few days.

Meanwhile, MPEG LA currently has several Norwegian Licensees that can be found under the "Licensees" header within the respective portion of our website. For example, you may find our list of Licensees in Good Standing to our AVC License in the AVC portion of our website, http://www.mpegla.com/main/programs/AVC/Pages/Licensees.aspx

I hope the above information is helpful. If you have additional questions or need further assistance with the AVC License, please feel free to contact me directly. I look forward to hearing from you again soon.

Best regards,

Ryan

Ryan M. Rodriguez
Licensing Associate
MPEG LA
5425 Wisconsin Avenue
Suite 801
Chevy Chase, MD 20815
U.S.A.
Phone: +1 (301) 986-6660 x211
Fax: +1 (301) 986-8575
Email: rrodriguez (at) mpegla.com

Meldingen om utsendt FedEx-pakke var så merkelig at jeg øyeblikkelig sendte svar tilbake og spurte hva i alle dager han mente, da han jo ikke hadde fått noen postadresse som nådde meg.

Date: Thu, 28 Jun 2012 16:36:15 +0200
From: Petter Reinholdtsen <pere (at) hungry.com>
To: Ryan Rodriguez <RRodriguez (at) mpegla.com>
Cc: MD Administration <MDAdministration (at) mpegla.com>
Subject: Re: Do NRK have a license agreement with MPEG-LA?

[Ryan Rodriguez]
> Dear Mr. Reinholdtsen,

Thank you for your quick reply.

> Today I will send you a FedEx package containing a copy of our AVC
> License for your review. You should receive the License document
> within the next few days.

The part about sending a FedEx package confused me, though. I did not
give you my address, nor am I associated with NRK in any way, so I hope
you did not try to send me a package using the address of NRK. If you
would send me the Internet address of to the document, it would be more
useful to me to be able to download it as an electronic document.

> Meanwhile, MPEG LA currently has several Norwegian Licensees that can
> be found under the "Licensees" header within the respective portion
> of our website. For example, you may find our list of Licensees in
> Good Standing to our AVC License in the AVC portion of our website,
> http://www.mpegla.com/main/programs/AVC/Pages/Licensees.aspx

How can I recognize the Norwegian licensees?

--
Happy hacking
Petter Reinholdtsen

Selv om jeg svarte kun noen minutter etter at jeg fikk eposten fra MPEG-LA, fikk jeg eposten under som automatisk var beskjed på min siste epost. Får håpe noen likevel følger opp "FedEx-pakken". For å øke sjansen for at noen revurderer utsending av pakke uten mottaker, videresendte jeg min epost til swolf (at) mpegla.com, så får vi se. Har ikke hørt noe mer 3 timer senere, så jeg mistenker at ingen leste min epost tidsnok.

Date: Thu, 28 Jun 2012 14:36:20 +0000
From: Ryan Rodriguez <RRodriguez (at) mpegla.com>
To: Petter Reinholdtsen <pere (at) hungry.com>
Subject: Automatic reply: Do NRK have a license agreement with MPEG-LA?

Thank you for your message.

I will be out of the office until Thursday, July 5 and will respond to all messages upon my return. If this is a matter that requires immediate attention, please contact Sidney Wolf (swolf (at) mpegla.com)

Best regards,

Ryan

Ryan M. Rodriguez
Licensing Associate
MPEG LA

Litt klokere, men fortsatt ikke klok på mitt opprinnelige spørsmål, som er om en trenger avtale med MPEG-LA for å publisere eller kringkaste H.264-video i Norge.

Tags: h264, multimedia, norsk, opphavsrett, standard, video, web.
NRK nekter å finne og utlevere eventuell avtale med MPEG-LA
25th June 2012

Jeg fikk nettopp svar fra NRK på min forespørsel om kopi av avtale med MPEG-LA eller andre om bruk av MPEG og/eller H.264. Svaret har fått saksreferanse 2011/371 (mon tro hva slags sak fra 2011 dette er?) hos NRK og lyder som følger:

Svar på innsynsbegjæring i MPEG / H.264-relaterte avtaler

Viser til innsynsbegjæring av 19. juni 2012. Kravet om innsyn gjelder avtale som gjør at NRK «ikke er begrenset av de generelle bruksvilkårene som gjelder for utstyr som bruker MPEG og/eller H.264».

I henhold til offentleglova § 28 annet ledd må innsynskravet gjelde en bestemt sak eller i rimelig utstrekning saker av en bestemt sak. Det er på det rene at det aktuelle innsynskravet ikke gjelder en bestemt sak. Spørsmålet som reiser seg er om identifiseringsgraden er tilstrekkelig. I Justisdepartementets «Rettleiar til offentleglova» står følgende:

«Kravet om at innsynskravet må gjelde ei bestemt sak er til hinder for at eit innsynskrav kan gjelde alle saker av ein bestemt art, utan at den enkelte saka blir identifisert. Ein kan med andre ord i utgangspunktet ikkje krevje innsyn i til dømes alle saker om utsleppsløyve hos Statens forureiningstilsyn frå dei siste tre åra, med mindre ein identifiserer kvar enkelt sak, til dømes med tilvising til dato, partar eller liknande.»

Vedrørende denne begrensningen har Justisdepartementet uttalt følgende (Lovavdelingens uttalelser JDLOV-2010-3295):

«Bakgrunnen for avgrensinga av kva innsynskravet kan gjelde, er fyrst og fremst at meir generelle innsynskrav, utan noka form for identifikasjon av kva ein eigentleg ynskjer, ville vere svært vanskelege å handsame for forvaltninga.»

I samme sak uttaler Lovavdelingen følgende:

«Det følgjer vidare av offentleglova § 28 andre ledd at det `i rimeleg utstrekning' kan krevjast innsyn i `saker av ein bestemt art'. Vilkåret om at eit innsynskrav berre `i rimeleg utstrekning' kan gjelde saker av ein bestemt art, er i hovudsak knytt til kor arbeidskrevjande det vil vere å finne fram til dei aktuelle dokumenta. I tillegg reknar vi med at vilkåret kan gje grunnlag for å nekte innsyn i tilfelle der innsynskravet er så omfattande (gjeld så mange dokument) at arbeidsmengda som ville gått med til å handsame det, er større enn det ein `i rimeleg utstrekning' kan krevje (sjølv om det nok skal mykje til).»

NRK har ikke noen egen sammenstilling over avtaler innenfor bestemte områder som omtales i innsynsbegjæringen. De måtte søkes på vanlig måte. I tillegg finnes ikke noen automatisert måte å finne avtaler som «ikke er begrenset av de generelle bruksvilkårene som gjelder for utstyr som bruker MPEG og/eller H.264». En slik gjennomgang av avtaler måtte gjøres manuelt av en person med spesialistkunnskap. Dette vil kreve at NRK avsetter omfattende ressurser for å finne frem relevante avtaler og for deretter å vurdere om de dekkes av det innsynsbegjæringen omfattes.

På bakgrunn av dette nekter NRK innsyn, med den begrunnelsen at innsynskravet er så omfattende at arbeidsmengden for å håndtere kravet vil være langt større enn det som i rimelig utstrekning kan kreves i henhold til offentleglova § 28 annet ledd.

Avslag på deres innsynsbegjæring kan påklages til Kultur- og kirkedepartementet innen tre uker fra det tidspunkt avslaget kommer frem til mottakeren, i henhold til reglene i offentleglova § 32, jf. forvaltningsloven kapittel VI. Klagen skal stiles til Kultur- og kirkedepartementet, og sendes til NRK.

NRK er imidlertid etter Offentleglova forpliktet å gi ut journaler, slik at en eventuell søknad om innsyn kan tydeligere identifisere hvilke dokumenter som det ønskes innsyn i. NRKs offentlige journaler for inneværende og forrige måned ligger ute på NRK.no/innsyn. Journaler som går lengre tilbake i tid, kan sendes ut på forespørsel til innsyn (at) nrk.no.

Med hilsen
Dokumentarkivet i NRK
v/ Elin Brandsrud
Tel. direkte: 23 04 29 29
Post: RBM3, Postboks 8500 Majorstuen, 0340 Oslo
innsyn (at) nrk.no

Svaret kom i PDF-form som vedlegg på epost. Jeg er litt usikker på hvordan jeg best går videre for å bli klok, men jeg har jo i hvert fall tre uker på å vurdere om jeg skal klage. Enten må nok forespørselen reformuleres eller så må jeg vel klage. Synes jo det er merkelig at NRK ikke har bedre kontroll med hvilke avtaler de har inngått. Det burde jo være noen i ledelsen som vet om de har signert en avtale med MPEG-LA eller ikke...

Oppdatering 2012-06-25 20:20: Et google-søk på "2011/371 nrk" sendte meg til postjournalen for 2012-06-19 og 2012-06-20 hos NRK som viser mine forespørsler og viser at sakens tittel hos NRK er "Graphic Systems Regions MA 2378/10E". Videre søk etter "Graphic Systems Regions" viser at dette er saken til et anbud om "a graphics system for 12 or 13 sites broadcasting regional news" hos Mercell Sourcing Service, også omtalt på Public Tenders og Doffin. Jeg er dog usikker på hvordan dette er relatert til min forespørsel.

Oppdatering 2012-06-25 22:40: Ble tipset av Kieran Kunhya, fra miljøet rundt Open Broadcast Encoder, at listen over de som har lisensavtale med MPEG-LA er tilgjengelig på web. Veldig fint å oppdage hvor den finnes, da jeg må ha lett etter feil ting da jeg forsøke å finne den. Der står ikke NRK, men flere andre "Broadcasting Company"-oppføringer. Lurer på om det betyr at NRK ikke trenger avtale, eller noe helt annet?

Tags: h264, multimedia, norsk, opphavsrett, standard, video, web.
Trenger en avtale med MPEG-LA for å publisere og kringkaste H.264-video?
21st June 2012

Trengs det avtale med MPEG-LA for å ha lovlig rett til å distribuere og kringkaste video i MPEG4 eller med videokodingen H.264? H.264 og MPEG4 er jo ikke en fri og åpen standard i henhold til definisjonen til Digistan, så i enkelte land er det ingen tvil om at du må ha en slik avtale, men jeg må innrømme at jeg ikke vet om det også gjelder Norge. Det ser uansett ut til å være en juridisk interessant problemstilling. Men jeg tenkte her om dagen som så, at hvis det er nødvendig, så har store aktører som NRK og regjeringen skaffet seg en slik avtale. Jeg har derfor sendt forespørsel til begge (for regjeringen sin del er det Departementenes Servicesenter som gjør jobben), og bedt om kopi av eventuelle avtaler de har om bruk av MPEG og/eller H.264 med MPEG-LA eller andre aktører som opererer på vegne av MPEG-LA. Her er kopi av eposten jeg har sendt til Departementenes Servicesenter. Forespørselen til NRK er veldig lik.

Date: Tue, 19 Jun 2012 15:18:33 +0200
From: Petter Reinholdtsen
To: postmottak@dss.dep.no
Subject: Innsynsbegjæring om MPEG/H.264-relaterte avtaler

Hei. Jeg ber herved om innsyn og kopi av dokumenter i DSS relatert til avtaler rundt bruk av videoformatene MPEG og H.264. Jeg er spesielt interessert i å vite om DSS har lisensavtale med MPEG-LA eller noen som representerer MPEG-LA i Norge.

MPEG og H.264 er videoformater som brukes både til kringkasting (f.eks. i bakkenett og kabel-TV) og videopublisering på web, deriblant via Adobe Flash. MPEG-LA, <URL: http://www.mpeg-la.com/ >, er en organisasjon som har fått oppgaven, av de kjente rettighetshavere av immaterielle rettigheter knyttet til MPEG og H.264, å selge bruksrett for MPEG og H.264.

Via regjeringen.no kringkastes med MPEG og H.264-baserte videoformater, og dette ser ut til å være organisert av DSS. Jeg antar dermed at DSS har avtale med en eller annen aktør om dette.

F.eks. har Adobe Premiere Pro har følgende klausul i følge <URL: http://news.cnet.com/8301-30685_3-20000101-264.html >:

6.17. AVC DISTRIBUTION. The following notice applies to software containing AVC import and export functionality: THIS PRODUCT IS LICENSED UNDER THE AVC PATENT PORTFOLIO LICENSE FOR THE PERSONAL AND NON-COMMERCIAL USE OF A CONSUMER TO (a) ENCODE VIDEO IN COMPLIANCE WITH THE AVC STANDARD ("AVC VIDEO") AND/OR (b) DECODE AVC VIDEO THAT WAS ENCODED BY A CONSUMER ENGAGED IN A PERSONAL AND NON-COMMERCIAL ACTIVITY AND/OR AVC VIDEO THAT WAS OBTAINED FROM A VIDEO PROVIDER LICENSED TO PROVIDE AVC VIDEO. NO LICENSE IS GRANTED OR SHALL BE IMPLIED FOR ANY OTHER USE. ADDITIONAL INFORMATION MAY BE OBTAINED FROM MPEG LA L.L.C. SEE http://www.mpegla.com.

Her er det kun "non-commercial" og "personal and non-commercial" aktivitet som er tillatt uten ekstra avtale med MPEG-LA.

Et annet tilsvarende eksempel er Apple Final Cut Pro, som har følgende klausul i følge <URL: http://images.apple.com/legal/sla/docs/finalcutstudio2.pdf >:

15. Merknad om H.264/AVC. Hvis Apple-programvaren inneholder funksjonalitet for AVC-koding og/eller AVC-dekoding, krever kommersiell bruk ekstra lisensiering og følgende gjelder: AVC-FUNKSJONALITETEN I DETTE PRODUKTET KAN KUN ANVENDES AV FORBRUKERE OG KUN FOR PERSONLIG OG IKKE- KOMMERSIELL BRUK TIL (i) KODING AV VIDEO I OVERENSSTEMMELSE MED AVC-STANDARDEN ("AVC-VIDEO") OG/ELLER (ii) DEKODING AV AVC-VIDEO SOM ER KODET AV EN FORBRUKER TIL PERSONLIG OG IKKE-KOMMERSIELL BRUK OG/ELLER DEKODING AV AVC-VIDEO FRA EN VIDEOLEVERANDØR SOM HAR LISENS TIL Å TILBY AVC-VIDEO. INFORMASJON OM ANNEN BRUK OG LISENSIERING KAN INNHENTES FRA MPEG LA L.L.C. SE HTTP://WWW.MPEGLA.COM.

Tilsvarende gjelder for andre programvarepakker, kamera, etc som bruker MPEG og H.264, at en må ha en avtale med MPEG-LA for å ha lov til å bruke programmet/utstyret hvis en skal lage noe annet enn private filmer og i ikke-kommersiell virksomhet.

Jeg er altså interessert i kopi av avtaler DSS har som gjør at en ikke er begrenset av de generelle bruksvilkårene som gjelder for utstyr som bruker MPEG og/eller H.264.

Nå venter jeg spent på svaret. Jeg planlegger å blogge om svaret her.

Tags: digistan, h264, multimedia, norsk, opphavsrett, standard, video, web.
The cost of ODF and OOXML
26th May 2012

I just come across a blog post from Glyn Moody reporting the claimed cost from Microsoft on requiring ODF to be used by the UK government. I just sent him an email to let him know that his assumption are most likely wrong. Sharing it here in case some of my blog readers have seem the same numbers float around in the UK.

Hi. I just noted your http://blogs.computerworlduk.com/open-enterprise/2012/04/does-microsoft-office-lock-in-cost-the-uk-government-500-million/index.htm comment:

"They're all in Danish, not unreasonably, but even with the help of Google Translate I can't find any figures about the savings of "moving to a flexible two standard" as claimed by the Microsoft email. But I assume it is backed up somewhere, so let's take it, and the £500 million figure for the UK, on trust."

I can tell you that the Danish reports are inflated. I believe it is the same reports that were used in the Norwegian debate around 2007, and Gisle Hannemyr (a well known IT commentator in Norway) had a look at the content. In short, the reason it is claimed that using ODF will be so costly, is based on the assumption that this mean every existing document need to be converted from one of the MS Office formats to ODF, transferred to the receiver, and converted back from ODF to one of the MS Office formats, and that the conversion will cost 10 minutes of work time for both the sender and the receiver. In reality the sender would have a tool capable of saving to ODF, and the receiver would have a tool capable of reading it, and the time spent would at most be a few seconds for saving and loading, not 20 minutes of wasted effort.

Microsoft claimed all these costs were saved by allowing people to transfer the original files from MS Office instead of spending 10 minutes converting to ODF. :)

See http://hannemyr.com/no/ms12_vl02.php and http://hannemyr.com/no/ms12.php for background information. Norwegian only, sorry. :)

Tags: english, nuug, standard.
OpenOffice.org fungerer da fint for blinde?
21st May 2012

De siste dagene har høringsuttalelsene om DIFIs forslag til standardkatalog v3.1 blitt publisert på DIFIs nettside, og jeg kunne der glede meg over at NUUGs uttalelse er kommet med. En uttalelse som overrasker og forvirrer meg er den fra Norges Blindeforbund, som 5 år etter at Klaus Knopper sammen med sin blinde kone blant annet demonstrerte høyttalende OpenOffice.org på nynorsk for blinde på et NUUG-møte.

Norges Blindeforbund skriver følgende, som for meg virker å være formulert på sviktende grunnlag:

Bruk av fri programvare

I FRIPROGSENTERET, RAPPORT 2009-02: Universell utforming http://www.kunnskapsbazaren.no/filer/Friprogsenteret-Rapport-Universell_utforming.pdf sies det "Det finnes i dag ikke mange fri programvare-rammeverk eller generelle løsninger som støtter tilgjengelighet eller som er universelt utformet."

Til tross for at det gjennom prinsippene i fri programvare åpnes for større frihet til selv å påvirke programvareløsninger i retning av universell utforming viser praksis at virkeligheten er en annen. Mange av de mest alminnelige frie programvarepakkene mangler delvis eller fullstendig tilgjengelighet for mennesker med nedsatt syn. Eksempler på dette er OpenOffice og LibreOffice m.fl.

En annen utfordring ved bruk av fri programvare kan være manglende kundestøtte og muligheter til opplæring i bruk av løsningen. Svaksynte og blinde har et høyere behov for denne typen støtte enn andre brukere ettersom mange av dem har behov for tilleggsprogramvare som skal fungere sammen med den opprinnelige programvaren, og ettersom man ikke har de samme muligheter for overblikk over grensesnittet som en seende bruker. I tillegg til dette kommer de mer tilgjengelighetstekniske utfordringene som ofte må løses i samarbeid med programvareleverandør/produsent.

Fri programvare er ikke på samme måte underlagt lovgivning gjennom for eksempel diskriminerings og tilgjengelighetsloven ettersom det ikke alltid finnes en produsent/tilbyder av tjenesten eller produktet.

Norges Blindeforbund krever at universell utforming og brukskvalitet tas med som viktige hensyn i utredninger som ligger til grunn for valg av standarder som primært leder brukeren mot fri programvare. Et eksempel på dette er bruk av dokumentformatet ODF som leder brukeren i retning av OpenOffice, som er helt eller delvis utilgjengelig for svaksynte og blinde – noe avhengig av plattform og hjelpemiddelprogramvare.

Jeg håper noen involvert i OpenOffice.org og/eller LibreOffice tar kontakt med Norges Blindeforbund og oppklarer det som for meg virker å være en misforståelse, i og med at OpenOffice.org så vidt jeg vet fungerer fint også for blinde.

Jeg ble minnet på problemstillingen da jeg leste Slashdot-saken om "The State of Linux Accessibility", som også hevder at Linux fungerer utmerket for blinde.

Tags: norsk, nuug, standard.
NUUGs leverer høringsuttalelse om v3.1 av statens referansekatalog
27th April 2012

NUUG-styremedlem Hans-Petter Fjeld meldte nettopp at han har sendt inn NUUGs høringsuttalelse angående Difi sin standardkatalog v3.1. Jeg er veldig glad for at så mange bidro og sikret at vår stemme blir hørt i denne høringen. Anbefaler alle å lese våre to sider med innspill.

Tags: norsk, nuug, standard.
HTC One X - Your video? What do you mean?
26th April 2012

In an article today published by Computerworld Norway, the photographer Eirik Helland Urke reports that the video editor application included with HTC One X have some quite surprising terms of use. The article is mostly based on the twitter message from mister Urke, stating:

"Drøy brukeravtale: HTC kan bruke MINE redigerte videoer kommersielt. Selv kan jeg KUN bruke dem privat."

I quickly translated it to this English message:

"Arrogant user agreement: HTC can use MY edited videos commercially. Although I can ONLY use them privately."

I've been unable to find the text of the license term myself, but suspect it is a variation of the MPEG-LA terms I discovered with my Canon IXUS 130. The HTC One X specification specifies that the recording format of the phone is .amr for audio and .mp3 for video. AMR is Adaptive Multi-Rate audio codec with patents which according to the Wikipedia article require an license agreement with VoiceAge. MP4 is MPEG4 with H.264, which according to Wikipedia require a licence agreement with MPEG-LA.

I know why I prefer free and open standards also for video.

Tags: digistan, english, h264, multimedia, personvern, standard, video, web.
RAND terms - non-reasonable and discriminatory
19th April 2012

Here in Norway, the Ministry of Government Administration, Reform and Church Affairs is behind a directory of standards that are recommended or mandatory for use by the government. When the directory was created, the people behind it made an effort to ensure that everyone would be able to implement the standards and compete on equal terms to supply software and solutions to the government. Free software and non-free software could compete on the same level.

But recently, some standards with RAND (Reasonable And Non-Discriminatory) terms have made their way into the directory. And while this might not sound too bad, the fact is that standard specifications with RAND terms often block free software from implementing them. The reasonable part of RAND mean that the cost per user/unit is low,and the non-discriminatory part mean that everyone willing to pay will get a license. Both sound great in theory. In practice, to get such license one need to be able to count users, and be able to pay a small amount of money per unit or user. By definition, users of free software do not need to register their use. So counting users or units is not possible for free software projects. And given that people will use the software without handing any money to the author, it is not really economically possible for a free software author to pay a small amount of money to license the rights to implement a standard when the income available is zero. The result in these situations is that free software are locked out from implementing standards with RAND terms.

Because of this, when I see someone claiming the terms of a standard is reasonable and non-discriminatory, all I can think of is how this really is non-reasonable and discriminatory. Because free software developers are working in a global market, it does not really help to know that software patents are not supposed to be enforceable in Norway. The patent regimes in other countries affect us even here. I really hope the people behind the standard directory will pay more attention to these issues in the future.

You can find more on the issues with RAND, FRAND and RAND-Z terms from Simon Phipps (RAND: Not So Reasonable?).

Update 2012-04-21: Just came across a blog post from Glyn Moody over at Computer World UK warning about the same issue, and urging people to speak out to the UK government. I can only urge Norwegian users to do the same for the hearing taking place at the moment (respond before 2012-04-27). It proposes to require video conferencing standards including specifications with RAND terms.

Tags: english, multimedia, nuug, standard, video.
The video format most supported in web browsers?
16th January 2011

The video format struggle on the web continues, and the three contenders seem to be Ogg Theora, H.264 and WebM. Most video sites seem to use H.264, while others use Ogg Theora. Interestingly enough, the comments I see give me the feeling that a lot of people believe H.264 is the most supported video format in browsers, but according to the Wikipedia article on HTML5 video, this is not true. Check out the nice table of supprted formats in different browsers there. The format supported by most browsers is Ogg Theora, supported by released versions of Mozilla Firefox, Google Chrome, Chromium, Opera, Konqueror, Epiphany, Origyn Web Browser and BOLT browser, while not supported by Internet Explorer nor Safari. The runner up is WebM supported by released versions of Google Chrome Chromium Opera and Origyn Web Browser, and test versions of Mozilla Firefox. H.264 is supported by released versions of Safari, Origyn Web Browser and BOLT browser, and the test version of Internet Explorer. Those wanting Ogg Theora support in Internet Explorer and Safari can install plugins to get it.

To me, the simple conclusion from this is that to reach most users without any extra software installed, one uses Ogg Theora with the HTML5 video tag. Of course to reach all those without a browser handling HTML5, one need fallback mechanisms. In NUUG, we provide first fallback to a plugin capable of playing MPEG1 video, and those without such support we have a second fallback to the Cortado java applet playing Ogg Theora. This seem to work quite well, as can be seen in an example from last week.

The reason Ogg Theora is the most supported format, and H.264 is the least supported is simple. Implementing and using H.264 require royalty payment to MPEG-LA, and the terms of use from MPEG-LA are incompatible with free software licensing. If you believed H.264 was without royalties and license terms, check out "H.264 – Not The Kind Of Free That Matters" by Simon Phipps.

A incomplete list of sites providing video in Ogg Theora is available from the Xiph.org wiki, if you want to have a look. I'm not aware of a similar list for WebM nor H.264.

Update 2011-01-16 09:40: A question from Tollef on IRC made me realise that I failed to make it clear enough this text is about the <video> tag support in browsers and not the video support provided by external plugins like the Flash plugins.

Tags: english, h264, nuug, standard, video.
Chrome plan to drop H.264 support for HTML5 <video>
12th January 2011

Today I discovered via digi.no that the Chrome developers, in a surprising announcement, yesterday announced plans to drop H.264 support for HTML5 <video> in the browser. The argument used is that H.264 is not a "completely open" codec technology. If you believe H.264 was free for everyone to use, I recommend having a look at the essay "H.264 – Not The Kind Of Free That Matters". It is not free of cost for creators of video tools, nor those of us that want to publish on the Internet, and the terms provided by MPEG-LA excludes free software projects from licensing the patents needed for H.264. Some background information on the Google announcement is available from OSnews. A good read. :)

Personally, I believe it is great that Google is taking a stand to promote equal terms for everyone when it comes to video publishing on the Internet. This can only be done by publishing using free and open standards, which is only possible if the web browsers provide support for these free and open standards. At the moment there seem to be two camps in the web browser world when it come to video support. Some browsers support H.264, and others support Ogg Theora and WebM (Dirac is not really an option yet), forcing those of us that want to publish video on the Internet and which can not accept the terms of use presented by MPEG-LA for H.264 to not reach all potential viewers. Wikipedia keep an updated summary of the current browser support.

Not surprising, several people would prefer Google to keep promoting H.264, and John Gruber presents the mind set of these people quite well. His rhetorical questions provoked a reply from Thom Holwerda with another set of questions presenting the issues with H.264. Both are worth a read.

Some argue that if Google is dropping H.264 because it isn't free, they should also drop support for the Adobe Flash plugin. This argument was covered by Simon Phipps in todays blog post, which I find to put the issue in context. To me it make perfect sense to drop native H.264 support for HTML5 in the browser while still allowing plugins.

I suspect the reason this announcement make so many people protest, is that all the users and promoters of H.264 suddenly get an uneasy feeling that they might be backing the wrong horse. A lot of TV broadcasters have been moving to H.264 the last few years, and a lot of money has been invested in hardware based on the belief that they could use the same video format for both broadcasting and web publishing. Suddenly this belief is shaken.

An interesting question is why Google is doing this. While the presented argument might be true enough, I believe Google would only present the argument if the change make sense from a business perspective. One reason might be that they are currently negotiating with MPEG-LA over royalties or usage terms, and giving MPEG-LA the feeling that dropping H.264 completely from Chroome, Youtube and Google Video would improve the negotiation position of Google. Another reason might be that Google want to save money by not having to pay the video tax to MPEG-LA at all, and thus want to move to a video format not requiring royalties at all. A third reason might be that the Chrome development team simply want to avoid the Chrome/Chromium split to get more help with the development of Chrome. I guess time will tell.

Update 2011-01-15: The Google Chrome team provided more background and information on the move it a blog post yesterday.

Tags: english, h264, standard, video.
What standards are Free and Open as defined by Digistan?
30th December 2010

After trying to compare Ogg Theora to the Digistan definition of a free and open standard, I concluded that this need to be done for more standards and started on a framework for doing this. As a start, I want to get the status for all the standards in the Norwegian reference directory, which include UTF-8, HTML, PDF, ODF, JPEG, PNG, SVG and others. But to be able to complete this in a reasonable time frame, I will need help.

If you want to help out with this work, please visit the wiki pages I have set up for this, and let me know that you want to help out. The IRC channel #nuug on irc.freenode.net is a good place to coordinate this for now, as it is the IRC channel for the NUUG association where I have created the framework (I am the leader of the Norwegian Unix User Group).

The framework is still forming, and a lot is left to do. Do not be scared by the sketchy form of the current pages. :)

Tags: digistan, english, standard.
The many definitions of a open standard
27th December 2010

One of the reasons I like the Digistan definition of "Free and Open Standard" is that this is a new term, and thus the meaning of the term has been decided by Digistan. The term "Open Standard" has become so misunderstood that it is no longer very useful when talking about standards. One end up discussing which definition is the best one and with such frame the only one gaining are the proponents of de-facto standards and proprietary solutions.

But to give us an idea about the diversity of definitions of open standards, here are a few that I know about. This list is not complete, but can be a starting point for those that want to do a complete survey. More definitions are available on the wikipedia page.

First off is my favourite, the definition from the European Interoperability Framework version 1.0. Really sad to notice that BSA and others has succeeded in getting it removed from version 2.0 of the framework by stacking the committee drafting the new version with their own people. Anyway, the definition is still available and it include the key properties needed to make sure everyone can use a specification on equal terms.

The following are the minimal characteristics that a specification and its attendant documents must have in order to be considered an open standard:

  • The standard is adopted and will be maintained by a not-for-profit organisation, and its ongoing development occurs on the basis of an open decision-making procedure available to all interested parties (consensus or majority decision etc.).
  • The standard has been published and the standard specification document is available either freely or at a nominal charge. It must be permissible to all to copy, distribute and use it for no fee or at a nominal fee.
  • The intellectual property - i.e. patents possibly present - of (parts of) the standard is made irrevocably available on a royalty- free basis.
  • There are no constraints on the re-use of the standard.

Another one originates from my friends over at DKUUG, who coined and gathered support for this definition in 2004. It even made it into the Danish parlament as their definition of a open standard. Another from a different part of the Danish government is available from the wikipedia page.

En åben standard opfylder følgende krav:

  1. Veldokumenteret med den fuldstændige specifikation offentligt tilgængelig.
  2. Frit implementerbar uden økonomiske, politiske eller juridiske begrænsninger på implementation og anvendelse.
  3. Standardiseret og vedligeholdt i et åbent forum (en såkaldt "standardiseringsorganisation") via en åben proces.

Then there is the definition from Free Software Foundation Europe.

An Open Standard refers to a format or protocol that is

  1. subject to full public assessment and use without constraints in a manner equally available to all parties;
  2. without any components or extensions that have dependencies on formats or protocols that do not meet the definition of an Open Standard themselves;
  3. free from legal or technical clauses that limit its utilisation by any party or in any business model;
  4. managed and further developed independently of any single vendor in a process open to the equal participation of competitors and third parties;
  5. available in multiple complete implementations by competing vendors, or as a complete implementation equally available to all parties.

A long time ago, SUN Microsystems, now bought by Oracle, created its Open Standards Checklist with a fairly detailed description.

Creation and Management of an Open Standard

  • Its development and management process must be collaborative and democratic:
    • Participation must be accessible to all those who wish to participate and can meet fair and reasonable criteria imposed by the organization under which it is developed and managed.
    • The processes must be documented and, through a known method, can be changed through input from all participants.
    • The process must be based on formal and binding commitments for the disclosure and licensing of intellectual property rights.
    • Development and management should strive for consensus, and an appeals process must be clearly outlined.
    • The standard specification must be open to extensive public review at least once in its life-cycle, with comments duly discussed and acted upon, if required.

Use and Licensing of an Open Standard

  • The standard must describe an interface, not an implementation, and the industry must be capable of creating multiple, competing implementations to the interface described in the standard without undue or restrictive constraints. Interfaces include APIs, protocols, schemas, data formats and their encoding.
  • The standard must not contain any proprietary "hooks" that create a technical or economic barriers
  • Faithful implementations of the standard must interoperate. Interoperability means the ability of a computer program to communicate and exchange information with other computer programs and mutually to use the information which has been exchanged. This includes the ability to use, convert, or exchange file formats, protocols, schemas, interface information or conventions, so as to permit the computer program to work with other computer programs and users in all the ways in which they are intended to function.
  • It must be permissible for anyone to copy, distribute and read the standard for a nominal fee, or even no fee. If there is a fee, it must be low enough to not preclude widespread use.
  • It must be possible for anyone to obtain free (no royalties or fees; also known as "royalty free"), worldwide, non-exclusive and perpetual licenses to all essential patent claims to make, use and sell products based on the standard. The only exceptions are terminations per the reciprocity and defensive suspension terms outlined below. Essential patent claims include pending, unpublished patents, published patents, and patent applications. The license is only for the exact scope of the standard in question.
    • May be conditioned only on reciprocal licenses to any of licensees' patent claims essential to practice that standard (also known as a reciprocity clause)
    • May be terminated as to any licensee who sues the licensor or any other licensee for infringement of patent claims essential to practice that standard (also known as a "defensive suspension" clause)
    • The same licensing terms are available to every potential licensor
  • The licensing terms of an open standards must not preclude implementations of that standard under open source licensing terms or restricted licensing terms

It is said that one of the nice things about standards is that there are so many of them. As you can see, the same holds true for open standard definitions. Most of the definitions have a lot in common, and it is not really controversial what properties a open standard should have, but the diversity of definitions have made it possible for those that want to avoid a level marked field and real competition to downplay the significance of open standards. I hope we can turn this tide by focusing on the advantages of Free and Open Standards.

Tags: digistan, english, standard.
Is Ogg Theora a free and open standard?
25th December 2010

The Digistan definition of a free and open standard reads like this:

The Digital Standards Organization defines free and open standard as follows:

  1. A free and open standard is immune to vendor capture at all stages in its life-cycle. Immunity from vendor capture makes it possible to freely use, improve upon, trust, and extend a standard over time.
  2. The standard is adopted and will be maintained by a not-for-profit organisation, and its ongoing development occurs on the basis of an open decision-making procedure available to all interested parties.
  3. The standard has been published and the standard specification document is available freely. It must be permissible to all to copy, distribute, and use it freely.
  4. The patents possibly present on (parts of) the standard are made irrevocably available on a royalty-free basis.
  5. There are no constraints on the re-use of the standard.

The economic outcome of a free and open standard, which can be measured, is that it enables perfect competition between suppliers of products based on the standard.

For a while now I have tried to figure out of Ogg Theora is a free and open standard according to this definition. Here is a short writeup of what I have been able to gather so far. I brought up the topic on the Xiph advocacy mailing list in July 2009, for those that want to see some background information. According to Ivo Emanuel Gonçalves and Monty Montgomery on that list the Ogg Theora specification fulfils the Digistan definition.

Free from vendor capture?

As far as I can see, there is no single vendor that can control the Ogg Theora specification. It can be argued that the Xiph foundation is such vendor, but given that it is a non-profit foundation with the expressed goal making free and open protocols and standards available, it is not obvious that this is a real risk. One issue with the Xiph foundation is that its inner working (as in board member list, or who control the foundation) are not easily available on the web. I've been unable to find out who is in the foundation board, and have not seen any accounting information documenting how money is handled nor where is is spent in the foundation. It is thus not obvious for an external observer who control The Xiph foundation, and for all I know it is possible for a single vendor to take control over the specification. But it seem unlikely.

Maintained by open not-for-profit organisation?

Assuming that the Xiph foundation is the organisation its web pages claim it to be, this point is fulfilled. If Xiph foundation is controlled by a single vendor, it isn't, but I have not found any documentation indicating this.

According to a report prepared by Audun Vaaler og Børre Ludvigsen for the Norwegian government, the Xiph foundation is a non-commercial organisation and the development process is open, transparent and non-Discrimatory. Until proven otherwise, I believe it make most sense to believe the report is correct.

Specification freely available?

The specification for the Ogg container format and both the Vorbis and Theora codeces are available on the web. This are the terms in the Vorbis and Theora specification:

Anyone may freely use and distribute the Ogg and [Vorbis/Theora] specifications, whether in private, public, or corporate capacity. However, the Xiph.Org Foundation and the Ogg project reserve the right to set the Ogg [Vorbis/Theora] specification and certify specification compliance.

The Ogg container format is specified in IETF RFC 3533, and this is the term:

This document and translations of it may be copied and furnished to others, and derivative works that comment on or otherwise explain it or assist in its implementation may be prepared, copied, published and distributed, in whole or in part, without restriction of any kind, provided that the above copyright notice and this paragraph are included on all such copies and derivative works. However, this document itself may not be modified in any way, such as by removing the copyright notice or references to the Internet Society or other Internet organizations, except as needed for the purpose of developing Internet standards in which case the procedures for copyrights defined in the Internet Standards process must be followed, or as required to translate it into languages other than English.

The limited permissions granted above are perpetual and will not be revoked by the Internet Society or its successors or assigns.

All these terms seem to allow unlimited distribution and use, an this term seem to be fulfilled. There might be a problem with the missing permission to distribute modified versions of the text, and thus reuse it in other specifications. Not quite sure if that is a requirement for the Digistan definition.

Royalty-free?

There are no known patent claims requiring royalties for the Ogg Theora format. MPEG-LA and Steve Jobs in Apple claim to know about some patent claims (submarine patents) against the Theora format, but no-one else seem to believe them. Both Opera Software and the Mozilla Foundation have looked into this and decided to implement Ogg Theora support in their browsers without paying any royalties. For now the claims from MPEG-LA and Steve Jobs seem more like FUD to scare people to use the H.264 codec than any real problem with Ogg Theora.

No constraints on re-use?

I am not aware of any constraints on re-use.

Conclusion

3 of 5 requirements seem obviously fulfilled, and the remaining 2 depend on the governing structure of the Xiph foundation. Given the background report used by the Norwegian government, I believe it is safe to assume the last two requirements are fulfilled too, but it would be nice if the Xiph foundation web site made it easier to verify this.

It would be nice to see other analysis of other specifications to see if they are free and open standards.

Tags: digistan, english, h264, standard, video.
The reply from Edgar Villanueva to Microsoft in Peru
25th December 2010

A few days ago an article in the Norwegian Computerworld magazine about how version 2.0 of European Interoperability Framework has been successfully lobbied by the proprietary software industry to remove the focus on free software. Nothing very surprising there, given earlier reports on how Microsoft and others have stacked the committees in this work. But I find this very sad. The definition of an open standard from version 1 was very good, and something I believe should be used also in the future, alongside the definition from Digistan. Version 2 have removed the open standard definition from its content.

Anyway, the news reminded me of the great reply sent by Dr. Edgar Villanueva, congressman in Peru at the time, to Microsoft as a reply to Microsofts attack on his proposal regarding the use of free software in the public sector in Peru. As the text was not available from a few of the URLs where it used to be available, I copy it here from my source to ensure it is available also in the future. Some background information about that story is available in an article from Linux Journal in 2002.

Lima, 8th of April, 2002
To: Señor JUAN ALBERTO GONZÁLEZ
General Manager of Microsoft Perú

Dear Sir:

First of all, I thank you for your letter of March 25, 2002 in which you state the official position of Microsoft relative to Bill Number 1609, Free Software in Public Administration, which is indubitably inspired by the desire for Peru to find a suitable place in the global technological context. In the same spirit, and convinced that we will find the best solutions through an exchange of clear and open ideas, I will take this opportunity to reply to the commentaries included in your letter.

While acknowledging that opinions such as yours constitute a significant contribution, it would have been even more worthwhile for me if, rather than formulating objections of a general nature (which we will analyze in detail later) you had gathered solid arguments for the advantages that proprietary software could bring to the Peruvian State, and to its citizens in general, since this would have allowed a more enlightening exchange in respect of each of our positions.

With the aim of creating an orderly debate, we will assume that what you call "open source software" is what the Bill defines as "free software", since there exists software for which the source code is distributed together with the program, but which does not fall within the definition established by the Bill; and that what you call "commercial software" is what the Bill defines as "proprietary" or "unfree", given that there exists free software which is sold in the market for a price like any other good or service.

It is also necessary to make it clear that the aim of the Bill we are discussing is not directly related to the amount of direct savings that can by made by using free software in state institutions. That is in any case a marginal aggregate value, but in no way is it the chief focus of the Bill. The basic principles which inspire the Bill are linked to the basic guarantees of a state of law, such as:

  • Free access to public information by the citizen.
  • Permanence of public data.
  • Security of the State and citizens.

To guarantee the free access of citizens to public information, it is indispensable that the encoding of data is not tied to a single provider. The use of standard and open formats gives a guarantee of this free access, if necessary through the creation of compatible free software.

To guarantee the permanence of public data, it is necessary that the usability and maintenance of the software does not depend on the goodwill of the suppliers, or on the monopoly conditions imposed by them. For this reason the State needs systems the development of which can be guaranteed due to the availability of the source code.

To guarantee national security or the security of the State, it is indispensable to be able to rely on systems without elements which allow control from a distance or the undesired transmission of information to third parties. Systems with source code freely accessible to the public are required to allow their inspection by the State itself, by the citizens, and by a large number of independent experts throughout the world. Our proposal brings further security, since the knowledge of the source code will eliminate the growing number of programs with *spy code*.

In the same way, our proposal strengthens the security of the citizens, both in their role as legitimate owners of information managed by the state, and in their role as consumers. In this second case, by allowing the growth of a widespread availability of free software not containing *spy code* able to put at risk privacy and individual freedoms.

In this sense, the Bill is limited to establishing the conditions under which the state bodies will obtain software in the future, that is, in a way compatible with these basic principles.

From reading the Bill it will be clear that once passed:

  • the law does not forbid the production of proprietary software
  • the law does not forbid the sale of proprietary software
  • the law does not specify which concrete software to use
  • the law does not dictate the supplier from whom software will be bought
  • the law does not limit the terms under which a software product can be licensed.
  • What the Bill does express clearly, is that, for software to be acceptable for the state it is not enough that it is technically capable of fulfilling a task, but that further the contractual conditions must satisfy a series of requirements regarding the license, without which the State cannot guarantee the citizen adequate processing of his data, watching over its integrity, confidentiality, and accessibility throughout time, as these are very critical aspects for its normal functioning.

    We agree, Mr. Gonzalez, that information and communication technology have a significant impact on the quality of life of the citizens (whether it be positive or negative). We surely also agree that the basic values I have pointed out above are fundamental in a democratic state like Peru. So we are very interested to know of any other way of guaranteeing these principles, other than through the use of free software in the terms defined by the Bill.

    As for the observations you have made, we will now go on to analyze them in detail:

    Firstly, you point out that: "1. The bill makes it compulsory for all public bodies to use only free software, that is to say open source software, which breaches the principles of equality before the law, that of non-discrimination and the right of free private enterprise, freedom of industry and of contract, protected by the constitution."

    This understanding is in error. The Bill in no way affects the rights you list; it limits itself entirely to establishing conditions for the use of software on the part of state institutions, without in any way meddling in private sector transactions. It is a well established principle that the State does not enjoy the wide spectrum of contractual freedom of the private sector, as it is limited in its actions precisely by the requirement for transparency of public acts; and in this sense, the preservation of the greater common interest must prevail when legislating on the matter.

    The Bill protects equality under the law, since no natural or legal person is excluded from the right of offering these goods to the State under the conditions defined in the Bill and without more limitations than those established by the Law of State Contracts and Purchasing (T.U.O. by Supreme Decree No. 012-2001-PCM).

    The Bill does not introduce any discrimination whatever, since it only establishes *how* the goods have to be provided (which is a state power) and not *who* has to provide them (which would effectively be discriminatory, if restrictions based on national origin, race religion, ideology, sexual preference etc. were imposed). On the contrary, the Bill is decidedly antidiscriminatory. This is so because by defining with no room for doubt the conditions for the provision of software, it prevents state bodies from using software which has a license including discriminatory conditions.

    It should be obvious from the preceding two paragraphs that the Bill does not harm free private enterprise, since the latter can always choose under what conditions it will produce software; some of these will be acceptable to the State, and others will not be since they contradict the guarantee of the basic principles listed above. This free initiative is of course compatible with the freedom of industry and freedom of contract (in the limited form in which the State can exercise the latter). Any private subject can produce software under the conditions which the State requires, or can refrain from doing so. Nobody is forced to adopt a model of production, but if they wish to provide software to the State, they must provide the mechanisms which guarantee the basic principles, and which are those described in the Bill.

    By way of an example: nothing in the text of the Bill would prevent your company offering the State bodies an office "suite", under the conditions defined in the Bill and setting the price that you consider satisfactory. If you did not, it would not be due to restrictions imposed by the law, but to business decisions relative to the method of commercializing your products, decisions with which the State is not involved.

    To continue; you note that:" 2. The bill, by making the use of open source software compulsory, would establish discriminatory and non competitive practices in the contracting and purchasing by public bodies..."

    This statement is just a reiteration of the previous one, and so the response can be found above. However, let us concern ourselves for a moment with your comment regarding "non-competitive ... practices."

    Of course, in defining any kind of purchase, the buyer sets conditions which relate to the proposed use of the good or service. From the start, this excludes certain manufacturers from the possibility of competing, but does not exclude them "a priori", but rather based on a series of principles determined by the autonomous will of the purchaser, and so the process takes place in conformance with the law. And in the Bill it is established that *no one* is excluded from competing as far as he guarantees the fulfillment of the basic principles.

    Furthermore, the Bill *stimulates* competition, since it tends to generate a supply of software with better conditions of usability, and to better existing work, in a model of continuous improvement.

    On the other hand, the central aspect of competivity is the chance to provide better choices to the consumer. Now, it is impossible to ignore the fact that marketing does not play a neutral role when the product is offered on the market (since accepting the opposite would lead one to suppose that firms' expenses in marketing lack any sense), and that therefore a significant expense under this heading can influence the decisions of the purchaser. This influence of marketing is in large measure reduced by the bill that we are backing, since the choice within the framework proposed is based on the *technical merits* of the product and not on the effort put into commercialization by the producer; in this sense, competitiveness is increased, since the smallest software producer can compete on equal terms with the most powerful corporations.

    It is necessary to stress that there is no position more anti-competitive than that of the big software producers, which frequently abuse their dominant position, since in innumerable cases they propose as a solution to problems raised by users: "update your software to the new version" (at the user's expense, naturally); furthermore, it is common to find arbitrary cessation of technical help for products, which, in the provider's judgment alone, are "old"; and so, to receive any kind of technical assistance, the user finds himself forced to migrate to new versions (with non-trivial costs, especially as changes in hardware platform are often involved). And as the whole infrastructure is based on proprietary data formats, the user stays "trapped" in the need to continue using products from the same supplier, or to make the huge effort to change to another environment (probably also proprietary).

    You add: "3. So, by compelling the State to favor a business model based entirely on open source, the bill would only discourage the local and international manufacturing companies, which are the ones which really undertake important expenditures, create a significant number of direct and indirect jobs, as well as contributing to the GNP, as opposed to a model of open source software which tends to have an ever weaker economic impact, since it mainly creates jobs in the service sector."

    I do not agree with your statement. Partly because of what you yourself point out in paragraph 6 of your letter, regarding the relative weight of services in the context of software use. This contradiction alone would invalidate your position. The service model, adopted by a large number of companies in the software industry, is much larger in economic terms, and with a tendency to increase, than the licensing of programs.

    On the other hand, the private sector of the economy has the widest possible freedom to choose the economic model which best suits its interests, even if this freedom of choice is often obscured subliminally by the disproportionate expenditure on marketing by the producers of proprietary software.

    In addition, a reading of your opinion would lead to the conclusion that the State market is crucial and essential for the proprietary software industry, to such a point that the choice made by the State in this bill would completely eliminate the market for these firms. If that is true, we can deduce that the State must be subsidizing the proprietary software industry. In the unlikely event that this were true, the State would have the right to apply the subsidies in the area it considered of greatest social value; it is undeniable, in this improbable hypothesis, that if the State decided to subsidize software, it would have to do so choosing the free over the proprietary, considering its social effect and the rational use of taxpayers money.

    In respect of the jobs generated by proprietary software in countries like ours, these mainly concern technical tasks of little aggregate value; at the local level, the technicians who provide support for proprietary software produced by transnational companies do not have the possibility of fixing bugs, not necessarily for lack of technical capability or of talent, but because they do not have access to the source code to fix it. With free software one creates more technically qualified employment and a framework of free competence where success is only tied to the ability to offer good technical support and quality of service, one stimulates the market, and one increases the shared fund of knowledge, opening up alternatives to generate services of greater total value and a higher quality level, to the benefit of all involved: producers, service organizations, and consumers.

    It is a common phenomenon in developing countries that local software industries obtain the majority of their takings in the service sector, or in the creation of "ad hoc" software. Therefore, any negative impact that the application of the Bill might have in this sector will be more than compensated by a growth in demand for services (as long as these are carried out to high quality standards). If the transnational software companies decide not to compete under these new rules of the game, it is likely that they will undergo some decrease in takings in terms of payment for licenses; however, considering that these firms continue to allege that much of the software used by the State has been illegally copied, one can see that the impact will not be very serious. Certainly, in any case their fortune will be determined by market laws, changes in which cannot be avoided; many firms traditionally associated with proprietary software have already set out on the road (supported by copious expense) of providing services associated with free software, which shows that the models are not mutually exclusive.

    With this bill the State is deciding that it needs to preserve certain fundamental values. And it is deciding this based on its sovereign power, without affecting any of the constitutional guarantees. If these values could be guaranteed without having to choose a particular economic model, the effects of the law would be even more beneficial. In any case, it should be clear that the State does not choose an economic model; if it happens that there only exists one economic model capable of providing software which provides the basic guarantee of these principles, this is because of historical circumstances, not because of an arbitrary choice of a given model.

    Your letter continues: "4. The bill imposes the use of open source software without considering the dangers that this can bring from the point of view of security, guarantee, and possible violation of the intellectual property rights of third parties."

    Alluding in an abstract way to "the dangers this can bring", without specifically mentioning a single one of these supposed dangers, shows at the least some lack of knowledge of the topic. So, allow me to enlighten you on these points.

    On security:

    National security has already been mentioned in general terms in the initial discussion of the basic principles of the bill. In more specific terms, relative to the security of the software itself, it is well known that all software (whether proprietary or free) contains errors or "bugs" (in programmers' slang). But it is also well known that the bugs in free software are fewer, and are fixed much more quickly, than in proprietary software. It is not in vain that numerous public bodies responsible for the IT security of state systems in developed countries require the use of free software for the same conditions of security and efficiency.

    What is impossible to prove is that proprietary software is more secure than free, without the public and open inspection of the scientific community and users in general. This demonstration is impossible because the model of proprietary software itself prevents this analysis, so that any guarantee of security is based only on promises of good intentions (biased, by any reckoning) made by the producer itself, or its contractors.

    It should be remembered that in many cases, the licensing conditions include Non-Disclosure clauses which prevent the user from publicly revealing security flaws found in the licensed proprietary product.

    In respect of the guarantee:

    As you know perfectly well, or could find out by reading the "End User License Agreement" of the products you license, in the great majority of cases the guarantees are limited to replacement of the storage medium in case of defects, but in no case is compensation given for direct or indirect damages, loss of profits, etc... If as a result of a security bug in one of your products, not fixed in time by yourselves, an attacker managed to compromise crucial State systems, what guarantees, reparations and compensation would your company make in accordance with your licensing conditions? The guarantees of proprietary software, inasmuch as programs are delivered ``AS IS'', that is, in the state in which they are, with no additional responsibility of the provider in respect of function, in no way differ from those normal with free software.

    On Intellectual Property:

    Questions of intellectual property fall outside the scope of this bill, since they are covered by specific other laws. The model of free software in no way implies ignorance of these laws, and in fact the great majority of free software is covered by copyright. In reality, the inclusion of this question in your observations shows your confusion in respect of the legal framework in which free software is developed. The inclusion of the intellectual property of others in works claimed as one's own is not a practice that has been noted in the free software community; whereas, unfortunately, it has been in the area of proprietary software. As an example, the condemnation by the Commercial Court of Nanterre, France, on 27th September 2001 of Microsoft Corp. to a penalty of 3 million francs in damages and interest, for violation of intellectual property (piracy, to use the unfortunate term that your firm commonly uses in its publicity).

    You go on to say that: "The bill uses the concept of open source software incorrectly, since it does not necessarily imply that the software is free or of zero cost, and so arrives at mistaken conclusions regarding State savings, with no cost-benefit analysis to validate its position."

    This observation is wrong; in principle, freedom and lack of cost are orthogonal concepts: there is software which is proprietary and charged for (for example, MS Office), software which is proprietary and free of charge (MS Internet Explorer), software which is free and charged for (Red Hat, SuSE etc GNU/Linux distributions), software which is free and not charged for (Apache, Open Office, Mozilla), and even software which can be licensed in a range of combinations (MySQL).

    Certainly free software is not necessarily free of charge. And the text of the bill does not state that it has to be so, as you will have noted after reading it. The definitions included in the Bill state clearly *what* should be considered free software, at no point referring to freedom from charges. Although the possibility of savings in payments for proprietary software licenses are mentioned, the foundations of the bill clearly refer to the fundamental guarantees to be preserved and to the stimulus to local technological development. Given that a democratic State must support these principles, it has no other choice than to use software with publicly available source code, and to exchange information only in standard formats.

    If the State does not use software with these characteristics, it will be weakening basic republican principles. Luckily, free software also implies lower total costs; however, even given the hypothesis (easily disproved) that it was more expensive than proprietary software, the simple existence of an effective free software tool for a particular IT function would oblige the State to use it; not by command of this Bill, but because of the basic principles we enumerated at the start, and which arise from the very essence of the lawful democratic State.

    You continue: "6. It is wrong to think that Open Source Software is free of charge. Research by the Gartner Group (an important investigator of the technological market recognized at world level) has shown that the cost of purchase of software (operating system and applications) is only 8% of the total cost which firms and institutions take on for a rational and truly beneficial use of the technology. The other 92% consists of: installation costs, enabling, support, maintenance, administration, and down-time."

    This argument repeats that already given in paragraph 5 and partly contradicts paragraph 3. For the sake of brevity we refer to the comments on those paragraphs. However, allow me to point out that your conclusion is logically false: even if according to Gartner Group the cost of software is on average only 8% of the total cost of use, this does not in any way deny the existence of software which is free of charge, that is, with a licensing cost of zero.

    In addition, in this paragraph you correctly point out that the service components and losses due to down-time make up the largest part of the total cost of software use, which, as you will note, contradicts your statement regarding the small value of services suggested in paragraph 3. Now the use of free software contributes significantly to reduce the remaining life-cycle costs. This reduction in the costs of installation, support etc. can be noted in several areas: in the first place, the competitive service model of free software, support and maintenance for which can be freely contracted out to a range of suppliers competing on the grounds of quality and low cost. This is true for installation, enabling, and support, and in large part for maintenance. In the second place, due to the reproductive characteristics of the model, maintenance carried out for an application is easily replicable, without incurring large costs (that is, without paying more than once for the same thing) since modifications, if one wishes, can be incorporated in the common fund of knowledge. Thirdly, the huge costs caused by non-functioning software ("blue screens of death", malicious code such as virus, worms, and trojans, exceptions, general protection faults and other well-known problems) are reduced considerably by using more stable software; and it is well known that one of the most notable virtues of free software is its stability.

    You further state that: "7. One of the arguments behind the bill is the supposed freedom from costs of open-source software, compared with the costs of commercial software, without taking into account the fact that there exist types of volume licensing which can be highly advantageous for the State, as has happened in other countries."

    I have already pointed out that what is in question is not the cost of the software but the principles of freedom of information, accessibility, and security. These arguments have been covered extensively in the preceding paragraphs to which I would refer you.

    On the other hand, there certainly exist types of volume licensing (although unfortunately proprietary software does not satisfy the basic principles). But as you correctly pointed out in the immediately preceding paragraph of your letter, they only manage to reduce the impact of a component which makes up no more than 8% of the total.

    You continue: "8. In addition, the alternative adopted by the bill (I) is clearly more expensive, due to the high costs of software migration, and (II) puts at risk compatibility and interoperability of the IT platforms within the State, and between the State and the private sector, given the hundreds of versions of open source software on the market."

    Let us analyze your statement in two parts. Your first argument, that migration implies high costs, is in reality an argument in favor of the Bill. Because the more time goes by, the more difficult migration to another technology will become; and at the same time, the security risks associated with proprietary software will continue to increase. In this way, the use of proprietary systems and formats will make the State ever more dependent on specific suppliers. Once a policy of using free software has been established (which certainly, does imply some cost) then on the contrary migration from one system to another becomes very simple, since all data is stored in open formats. On the other hand, migration to an open software context implies no more costs than migration between two different proprietary software contexts, which invalidates your argument completely.

    The second argument refers to "problems in interoperability of the IT platforms within the State, and between the State and the private sector" This statement implies a certain lack of knowledge of the way in which free software is built, which does not maximize the dependence of the user on a particular platform, as normally happens in the realm of proprietary software. Even when there are multiple free software distributions, and numerous programs which can be used for the same function, interoperability is guaranteed as much by the use of standard formats, as required by the bill, as by the possibility of creating interoperable software given the availability of the source code.

    You then say that: "9. The majority of open source code does not offer adequate levels of service nor the guarantee from recognized manufacturers of high productivity on the part of the users, which has led various public organizations to retract their decision to go with an open source software solution and to use commercial software in its place."

    This observation is without foundation. In respect of the guarantee, your argument was rebutted in the response to paragraph 4. In respect of support services, it is possible to use free software without them (just as also happens with proprietary software), but anyone who does need them can obtain support separately, whether from local firms or from international corporations, again just as in the case of proprietary software.

    On the other hand, it would contribute greatly to our analysis if you could inform us about free software projects *established* in public bodies which have already been abandoned in favor of proprietary software. We know of a good number of cases where the opposite has taken place, but not know of any where what you describe has taken place.

    You continue by observing that: "10. The bill discourages the creativity of the Peruvian software industry, which invoices 40 million US$/year, exports 4 million US$ (10th in ranking among non-traditional exports, more than handicrafts) and is a source of highly qualified employment. With a law that encourages the use of open source, software programmers lose their intellectual property rights and their main source of payment."

    It is clear enough that nobody is forced to commercialize their code as free software. The only thing to take into account is that if it is not free software, it cannot be sold to the public sector. This is not in any case the main market for the national software industry. We covered some questions referring to the influence of the Bill on the generation of employment which would be both highly technically qualified and in better conditions for competition above, so it seems unnecessary to insist on this point.

    What follows in your statement is incorrect. On the one hand, no author of free software loses his intellectual property rights, unless he expressly wishes to place his work in the public domain. The free software movement has always been very respectful of intellectual property, and has generated widespread public recognition of its authors. Names like those of Richard Stallman, Linus Torvalds, Guido van Rossum, Larry Wall, Miguel de Icaza, Andrew Tridgell, Theo de Raadt, Andrea Arcangeli, Bruce Perens, Darren Reed, Alan Cox, Eric Raymond, and many others, are recognized world-wide for their contributions to the development of software that is used today by millions of people throughout the world. On the other hand, to say that the rewards for authors rights make up the main source of payment of Peruvian programmers is in any case a guess, in particular since there is no proof to this effect, nor a demonstration of how the use of free software by the State would influence these payments.

    You go on to say that: "11. Open source software, since it can be distributed without charge, does not allow the generation of income for its developers through exports. In this way, the multiplier effect of the sale of software to other countries is weakened, and so in turn is the growth of the industry, while Government rules ought on the contrary to stimulate local industry."

    This statement shows once again complete ignorance of the mechanisms of and market for free software. It tries to claim that the market of sale of non- exclusive rights for use (sale of licenses) is the only possible one for the software industry, when you yourself pointed out several paragraphs above that it is not even the most important one. The incentives that the bill offers for the growth of a supply of better qualified professionals, together with the increase in experience that working on a large scale with free software within the State will bring for Peruvian technicians, will place them in a highly competitive position to offer their services abroad.

    You then state that: "12. In the Forum, the use of open source software in education was discussed, without mentioning the complete collapse of this initiative in a country like Mexico, where precisely the State employees who founded the project now state that open source software did not make it possible to offer a learning experience to pupils in the schools, did not take into account the capability at a national level to give adequate support to the platform, and that the software did not and does not allow for the levels of platform integration that now exist in schools."

    In fact Mexico has gone into reverse with the Red Escolar (Schools Network) project. This is due precisely to the fact that the driving forces behind the Mexican project used license costs as their main argument, instead of the other reasons specified in our project, which are far more essential. Because of this conceptual mistake, and as a result of the lack of effective support from the SEP (Secretary of State for Public Education), the assumption was made that to implant free software in schools it would be enough to drop their software budget and send them a CD ROM with Gnu/Linux instead. Of course this failed, and it couldn't have been otherwise, just as school laboratories fail when they use proprietary software and have no budget for implementation and maintenance. That's exactly why our bill is not limited to making the use of free software mandatory, but recognizes the need to create a viable migration plan, in which the State undertakes the technical transition in an orderly way in order to then enjoy the advantages of free software.

    You end with a rhetorical question: "13. If open source software satisfies all the requirements of State bodies, why do you need a law to adopt it? Shouldn't it be the market which decides freely which products give most benefits or value?"

    We agree that in the private sector of the economy, it must be the market that decides which products to use, and no state interference is permissible there. However, in the case of the public sector, the reasoning is not the same: as we have already established, the state archives, handles, and transmits information which does not belong to it, but which is entrusted to it by citizens, who have no alternative under the rule of law. As a counterpart to this legal requirement, the State must take extreme measures to safeguard the integrity, confidentiality, and accessibility of this information. The use of proprietary software raises serious doubts as to whether these requirements can be fulfilled, lacks conclusive evidence in this respect, and so is not suitable for use in the public sector.

    The need for a law is based, firstly, on the realization of the fundamental principles listed above in the specific area of software; secondly, on the fact that the State is not an ideal homogeneous entity, but made up of multiple bodies with varying degrees of autonomy in decision making. Given that it is inappropriate to use proprietary software, the fact of establishing these rules in law will prevent the personal discretion of any state employee from putting at risk the information which belongs to citizens. And above all, because it constitutes an up-to-date reaffirmation in relation to the means of management and communication of information used today, it is based on the republican principle of openness to the public.

    In conformance with this universally accepted principle, the citizen has the right to know all information held by the State and not covered by well- founded declarations of secrecy based on law. Now, software deals with information and is itself information. Information in a special form, capable of being interpreted by a machine in order to execute actions, but crucial information all the same because the citizen has a legitimate right to know, for example, how his vote is computed or his taxes calculated. And for that he must have free access to the source code and be able to prove to his satisfaction the programs used for electoral computations or calculation of his taxes.

    I wish you the greatest respect, and would like to repeat that my office will always be open for you to expound your point of view to whatever level of detail you consider suitable.

    Cordially,
    DR. EDGAR DAVID VILLANUEVA NUÑEZ
    Congressman of the Republic of Perú.

    Tags: digistan, english, standard.
    Officeshots still going strong
    25th December 2010

    Half a year ago I wrote a bit about OfficeShots, a web service to allow anyone to test how ODF documents are handled by the different programs reading and writing the ODF format.

    I just had a look at the service, and it seem to be going strong. Very interesting to see the results reported in the gallery, how different Office implementations handle different ODF features. Sad to see that KOffice was not doing it very well, and happy to see that LibreOffice has been tested already (but sadly not listed as a option for OfficeShots users yet). I am glad to see that the ODF community got such a great test tool available.

    Tags: english, standard.
    Best å ikke fortelle noen at streaming er nedlasting...
    30th October 2010

    I dag la jeg inn en kommentar på en sak hos NRKBeta om hvordan TV-serien Blindpassasjer ble laget i forbindelse med at filmene NRK la ut ikke var tilgjengelig i et fritt og åpent format. Dette var det jeg skrev publiserte der 07:39.

    "Vi fikk en kommentar rundt måten streamet innhold er beskyttet fra nedlasting. Mange av oss som kan mer enn gjennomsnittet om systemer som dette, vet at det stort sett er mulig å lure ut ting med den nødvendige forkunnskapen."

    Haha. Å streame innhold er det samme som å laste ned innhold, så å beskytte en stream mot nedlasting er ikke mulig. Å skrive noe slikt er å forlede leseren.

    Med den bakgrunn blir forklaringen om at noen rettighetshavere kun vil tillate streaming men ikke nedlasting meningsløs.

    Anbefaler forresten å lese http://blogs.computerworlduk.com/simon-says/2010/10/drm-is-toxic-to-culture/index.htm om hva som ville være konsekvensen hvis digitale avspillingssperrer (DRM) fungerte. Det gjør de naturligvis ikke teknisk - det er jo derfor de må ha totalitære juridiske beskyttelsesmekanismer på plass, men det er skremmende hva samfunnet tillater og NRK er med på å bygge opp under.

    Ca. 20 minutter senere får jeg følgende epost fra Anders Hofseth i NRKBeta:

    From: Anders Hofseth <XXX@gmail.com>
    To: "pere@hungry.com" <pere@hungry.com>
    Cc: Eirik Solheim <XXX@gmail.com>, Jon Ståle Carlsen <XXX@gmail.com>, Henrik Lied <XXX@gmail.com>
    Subject: Re: [NRKbeta] Kommentar: "Bakom Blindpassasjer: del 1"
    Date: Sat, 30 Oct 2010 07:58:44 +0200

    Hei Petter.
    Det du forsøker dra igang er egentlig en interessant diskusjon, men om vi skal kjøre den i kommentarfeltet her, vil vi kunne bli bedt om å fjerne blindpassasjer fra nett- tv og det vil heller ikke bli særlig lett å klarere ut noe annet arkivmateriale på lang tid.

    Dette er en situasjon NRKbeta ikke ønsker, så kommentaren er fjernet og den delen av diskusjonen er avsluttet på nrkbeta, vi antar konsekvensene vi beskriver ikke er noe du ønsker heller...

    Med hilsen,
    -anders

    Ring meg om noe er uklart: 95XXXXXXX

    Ble så fascinert over denne holdningen, at jeg forfattet og sendte over følgende svar. I og med at debatten er fjernet fra NRK Betas kommentarfelt, så velger jeg å publisere her på bloggen min i stedet. Har fjernet epostadresser og telefonnummer til de involverte, for å unngå at de tiltrekker seg uønskede direkte kontaktforsøk.

    From: Petter Reinholdtsen <pere@hungry.com>
    To: Anders Hofseth <XXX@gmail.com>
    Cc: Eirik Solheim <XXX@gmail.com>,
    Jon Ståle Carlsen <XXX@gmail.com>,
    Henrik Lied <XXX@gmail.com>
    Subject: Re: [NRKbeta] Kommentar: "Bakom Blindpassasjer: del 1"
    Date: Sat, 30 Oct 2010 08:24:34 +0200

    [Anders Hofseth]
    > Hei Petter.

    Hei.

    > Det du forsøker dra igang er egentlig en interessant diskusjon, men
    > om vi skal kjøre den i kommentarfeltet her, vil vi kunne bli bedt om
    > å fjerne blindpassasjer fra nett- tv og det vil heller ikke bli
    > særlig lett å klarere ut noe annet arkivmateriale på lang tid.

    Godt å se at du er enig i at dette er en interessant diskusjon. Den vil nok fortsette en stund til. :)

    Må innrømme at jeg synes det er merkelig å lese at dere i NRK med vitende og vilje ønsker å forlede rettighetshaverne for å kunne fortsette å legge ut arkivmateriale.

    Kommentarer og diskusjoner i bloggene til NRK Beta påvirker jo ikke faktum, som er at streaming er det samme som nedlasting, og at innhold som er lagt ut på nett kan lagres lokalt for avspilling når en ønsker det.

    Det du sier er jo at klarering av arkivmateriale for publisering på web krever at en holder faktum skjult fra debattfeltet på NRKBeta. Det er ikke et argument som holder vann. :)

    > Dette er en situasjon NRKbeta ikke ønsker, så kommentaren er fjernet
    > og den delen av diskusjonen er avsluttet på nrkbeta, vi antar
    > konsekvensene vi beskriver ikke er noe du ønsker heller...

    Personlig ønsker jeg at NRK skal slutte å stikke hodet i sanden og heller være åpne på hvordan virkeligheten fungerer, samt ta opp kampen mot de som vil låse kulturen inne. Jeg synes det er en skam at NRK godtar å forlede publikum. Ville heller at NRK krever at innhold som skal sendes skal være uten bruksbegresninger og kan publiseres i formater som heller ikke har bruksbegresninger (bruksbegresningene til H.264 burde få varselbjellene i NRK til å ringe).

    At NRK er med på DRM-tåkeleggingen og at det kommer feilaktive påstander om at "streaming beskytter mot nedlasting" som bare er egnet til å bygge opp om en myte som er skadelig for samfunnet som helhet.

    Anbefaler <URL:http://webmink.com/2010/09/03/h-264-and-foss/> og en titt på <URL: https://people.skolelinux.org/pere/blog/Terms_of_use_for_video_produced_by_a_Canon_IXUS_130_digital_camera.html >. for å se hva slags bruksbegresninger H.264 innebærer.

    Hvis dette innebærer at NRK må være åpne med at arkivmaterialet ikke kan brukes før rettighetshaverene også innser at de er med på å skade samfunnets kultur og kollektive hukommelse, så får en i hvert fall synliggjort konsekvensene og antagelig mer flammer på en debatt som er langt på overtid.

    > Ring meg om noe er uklart: XXX

    Intet uklart, men ikke imponert over måten dere håndterer debatten på. Hadde du i stedet kommet med et tilsvar i kommentarfeltet der en gjorde det klart at blindpassasjer-blogpostingen ikke var riktig sted for videre diskusjon hadde dere i mine øyne kommet fra det med ryggraden på plass.

    PS: Interessant å se at NRK-ansatte ikke bruker NRK-epostadresser.

    Som en liten avslutning, her er noen litt morsomme innslag om temaet. <URL: http://www.archive.org/details/CopyingIsNotTheft > og <URL: http://patentabsurdity.com/ > hadde vært noe å kringkaste på NRK1. :)

    Vennlig hilsen,
    --
    Petter Reinholdtsen

    Tags: digistan, h264, multimedia, norsk, opphavsrett, standard, video, web.
    Standardkrav inn i anbudstekster?
    17th October 2010

    Hvis det å følge standarder skal ha noen effekt overfor leverandører, så må slike krav og ønsker komme inn i anbudstekster når systemer kjøpes inn. Har ikke sett noen slike formuleringer i anbud så langt, men har tenkt litt på hva som bør inn. Her er noen ideer og forslag. Min drøm er at en kan sette krav til slik støtte i anbudstekster, men så langt er det nok mer sannsynlig at en må nøye seg med å skrive at det er en fordel om slik støtte er tilstede i leveranser.

    Som systemadministrator på Universitetet er det typisk to områder som er problematiske for meg. Det ene er admin-grensesnittene på tjenermaskiner, som vi ønsker å bruke via ssh. Det andre er nettsider som vi ønsker å bruke via en nettleser. For begge deler er det viktig at protokollene og formatene som brukes følger standarder våre verktøy støtter.

    De fleste har nå støtte for SSH som overføringsprotkoll for admin-grensesnittet, men det er ikke tilstrekkelig for å kunne stille inn f.eks BIOS og RAID-kontroller via ssh-forbindelsen. Det er flere aktuelle protokoller for fremvisning av BIOS-oppsett og oppstartmeldinger, og min anbefaling ville være å kreve VT100-kompatibel protokoll, for å sikre at flest mulig terminalemulatorer kan forstå hva som kommer fra admin-grensesnittet via ssh. Andre aktuelle alternativer er ANSI-terminalemulering og VT220. Kanskje en formulering ala dette i anbudsutlysninger vil fungere:

    BIOS og oppstartmeldinger i administrasjonsgrensesnittet til maskinen bør/skal være tilgjengelig via SSH-protokollen som definert av IETF (RFC 4251 mfl.) og følge terminalfremvisningprotokollen VT100 (ref?) når en kobler seg til oppstart via ssh.

    Har ikke lykkes med å finne en god referanse for VT100-spesifikasjonen.

    Når det gjelder nettsider, så er det det HTML, CSS og JavaScript-spesifikasjonen til W3C som gjelder.

    Alle systemets nettsider bør/skal være i henhold til statens standardkatalogs krav om nettsider og følge HTML-standarden som definert av W3C, og validere uten feil hos W3Cs HTML-validator (http://validator.w3.org). Hvis det brukes CSS så bør/skal denne validere uten feil hos W3Cs CSS-validator (http://jigsaw.w3.org/css-validator/). Eventuelle JavaScript skal være i henhold til EcmaScript-standarden. I tillegg til å følge de overnevnte standardene skal websidene fungere i nettleserne (fyll inn relevant liste for organisasjonen) Firefox 3.5, Internet Explorer 8, Opera 9, etc.

    Vil et slikt avsnitt være konkret nok til å få leverandørene til å lage nettsider som følger standardene og fungerer i flere nettlesere?

    Tar svært gjerne imot innspill på dette temaet til aktive (at) nuug.no, og er spesielt interessert i hva andre skriver i sine anbud for å oppmuntre leverandører til å følge standardene. Kanskje NUUG burde lage et dokument med forslag til standardformuleringer å ta med i anbudsutlysninger?

    Oppdatering 2010-12-03: I følge Wikipedias oppføring om ANSI escape code, så bruker VT100-terminaler ECMA-48-spesifikasjonen som basis for sin oppførsel. Det kan dermed være et alternativ når en skal spesifisere hvordan seriell-konsoll skal fungere.

    Tags: norsk, nuug, standard, web.
    Terms of use for video produced by a Canon IXUS 130 digital camera
    9th September 2010

    A few days ago I had the mixed pleasure of bying a new digital camera, a Canon IXUS 130. It was instructive and very disturbing to be able to verify that also this camera producer have the nerve to specify how I can or can not use the videos produced with the camera. Even thought I was aware of the issue, the options with new cameras are limited and I ended up bying the camera anyway. What is the problem, you might ask? It is software patents, MPEG-4, H.264 and the MPEG-LA that is the problem, and our right to record our experiences without asking for permissions that is at risk.

    On page 27 of the Danish instruction manual, this section is written:

    This product is licensed under AT&T patents for the MPEG-4 standard and may be used for encoding MPEG-4 compliant video and/or decoding MPEG-4 compliant video that was encoded only (1) for a personal and non-commercial purpose or (2) by a video provider licensed under the AT&T patents to provide MPEG-4 compliant video.

    No license is granted or implied for any other use for MPEG-4 standard.

    In short, the camera producer have chosen to use technology (MPEG-4/H.264) that is only provided if I used it for personal and non-commercial purposes, or ask for permission from the organisations holding the knowledge monopoly (patent) for technology used.

    This issue has been brewing for a while, and I recommend you to read "Why Our Civilization's Video Art and Culture is Threatened by the MPEG-LA" by Eugenia Loli-Queru and "H.264 Is Not The Sort Of Free That Matters" by Simon Phipps to learn more about the issue. The solution is to support the free and open standards for video, like Ogg Theora, and avoid MPEG-4 and H.264 if you can.

    Tags: digistan, english, fildeling, h264, multimedia, nuug, opphavsrett, personvern, standard, video, web.
    Officeshots taking shape
    13th June 2010

    For those of us caring about document exchange and interoperability, OfficeShots is a great service. It is to ODF documents what BrowserShots is for web pages.

    A while back, I was contacted by Knut Yrvin at the part of Nokia that used to be Trolltech, who wanted to help the OfficeShots project and wondered if the University of Oslo where I work would be interested in supporting the project. I helped him to navigate his request to the right people at work, and his request was answered with a spot in the machine room with power and network connected, and Knut arranged funding for a machine to fill the spot. The machine is administrated by the OfficeShots people, so I do not have daily contact with its progress, and thus from time to time check back to see how the project is doing.

    Today I had a look, and was happy to see that the Dell box in our machine room now is the host for several virtual machines running as OfficeShots factories, and the project is able to render ODF documents in 17 different document processing implementation on Linux and Windows. This is great.

    Tags: english, standard.
    A manual for standards wars...
    6th June 2010

    Via the blog of Rob Weir I came across the very interesting essay named The Art of Standards Wars (PDF 25 pages). I recommend it for everyone following the standards wars of today.

    Tags: debian, debian edu, english, standard.
    Danmark går for ODF?
    29th January 2010

    Ble nettopp gjort oppmerksom på en nyhet fra Version2 fra Danmark, der det hevdes at Folketinget har vedtatt at ODF skal brukes som dokumentutvekslingsformat i Staten.

    Hyggelig lesning, spesielt hvis det viser seg at de av vedtatt kravlisten for hva som skal aksepteres som referert i kommentarfeltet til artikkelen og en annen artikkel i samme nett-avis. Liker spesielt godt denne:

    Det skal demonstreres, at standarden i sin helhed kan implementeres af alle direkte i sin helhed på flere platforme.

    Noe slikt burde være et krav også i Norge.

    Tags: norsk, nuug, standard.
    Relative popularity of document formats (MS Office vs. ODF)
    12th August 2009

    Just for fun, I did a search right now on Google for a few file ODF and MS Office based formats (not to be mistaken for ISO or ECMA OOXML), to get an idea of their relative usage. I searched using 'filetype:odt' and equvalent terms, and got these results:

    TypeODFMS Office
    Tekst odt:282000 docx:308000
    Presentasjon odp:75600 pptx:183000
    Regneark ods:26500 xlsx:145000

    Next, I added a 'site:no' limit to get the numbers for Norway, and got these numbers:

    TypeODFMS Office
    Tekst odt:2480 docx:4460
    Presentasjon odp:299 pptx:741
    Regneark ods:187 xlsx:372

    I wonder how these numbers change over time.

    I am aware of Google returning different results and numbers based on where the search is done, so I guess these numbers will differ if they are conduced in another country. Because of this, I did the same search from a machine in California, USA, a few minutes after the search done from a machine here in Norway.

    TypeODFMS Office
    Tekst odt:129000 docx:308000
    Presentasjon odp:44200 pptx:93900
    Regneark ods:26500 xlsx:82400

    And with 'site:no':

    TypeODFMS Office
    Tekst odt:2480 docx:3410
    Presentasjon odp:175 pptx:604
    Regneark ods:186 xlsx:296

    Interesting difference, not sure what to conclude from these numbers.

    Tags: english, nuug, standard, web.
    ISO still hope to fix OOXML
    8th August 2009

    According to a blog post from Torsten Werner, the current defect report for ISO 29500 (ISO OOXML) is 809 pages. His interesting point is that the defect report is 71 pages more than the full ODF 1.1 specification. Personally I find it more interesting that ISO still believe ISO OOXML can be fixed in ISO. Personally, I believe it is broken beyon repair, and I completely lack any trust in ISO for being able to get anywhere close to solving the problems. I was part of the Norwegian committee involved in the OOXML fast track process, and was not impressed with Standard Norway and ISO in how they handled it.

    These days I focus on ODF instead, which seem like a specification with the future ahead of it. We are working in NUUG to organise a ODF seminar this autumn.

    Tags: english, nuug, standard.
    Regjerningens oppsummering av høringen om standardkatalogen versjon 2
    9th July 2009

    For å forstå mer om hvorfor standardkatalogens versjon 2 ble som den ble, har jeg bedt om kopi fra FAD av dokumentene som ble lagt frem for regjeringen da de tok sin avgjørelse. De er nå lagt ut på NUUGs wiki, direkte tilgjengelig via "Referansekatalogen v2.0 - Oppsummering av høring" og "Referansekatalog for IT-standarder i offentlig sektor Versjon 2.0, dd.mm.åååå - UTKAST".

    Det er tre ting jeg merker meg i oppsummeringen fra høringsuttalelsen da jeg skummet igjennom den. Det første er at forståelsen av hvordan programvarepatenter påvirker fri programvareutvikling også i Norge når en argumenterer med at royalty-betaling ikke er et relevant problem i Norge. Det andre er at FAD ikke har en prinsipiell forståelse av verdien av en enkelt standard innenfor hvert område. Det siste er at påstander i høringsuttalelsene ikke blir etterprøvd (f.eks. påstanden fra Microsoft om hvordan Ogg blir standardisert og påstanden fra politidirektoratet om patentproblemer i Theora).

    Tags: multimedia, norsk, nuug, standard, video.
    Regjerningen forlater prinsippet om ingen royalty-betaling i standardkatalogen versjon 2
    6th July 2009

    Jeg ble glad da regjeringen annonserte versjon 2 av statens referansekatalog over standarder, men trist da jeg leste hva som faktisk var vedtatt etter høringen. De fleste av de valgte åpne standardene er gode og vil bidra til at alle kan delta på like vilkår i å lage løsninger for staten, men noen av dem blokkerer for de som ikke har anledning til å benytte spesifikasjoner som krever betaling for bruk (såkalt royalty-betaling). Det gjelder spesifikt for H.264 for video og MP3 for lyd. Så lenge bruk av disse var valgfritt mens Ogg Theora og Ogg Vorbis var påkrevd, kunne alle som ønsket å spille av video og lyd fra statens websider gjøre dette uten å måtte bruke programmer der betaling for bruk var nødvendig. Når det nå er gjort valgfritt for de statlige etatene å bruke enten H.264 eller Theora (og MP3 eler Vorbis), så vil en bli tvunget til å forholde seg til royalty-belastede standarder for å få tilgang til videoen og lyden.

    Det gjør meg veldig trist at regjeringen har forlatt prinsippet om at alle standarder som ble valgt til å være påkrevd i katalogen skulle være uten royalty-betaling. Jeg håper det ikke betyr at en har mistet all forståelse for hvilke prinsipper som må følges for å oppnå likeverdig konkurranse mellom aktørene i IT-bransjen. NUUG advarte mot dette i sin høringsuttalelse, men ser ut til å ha blitt ignorert.

    Oppdatering 2012-06-29: Kom over en rapport til FAD fra da versjon 1 av katalogen ble vedtatt, og der er det tydelig at problemstillingen var kjent og forstått.

    Tags: h264, multimedia, norsk, nuug, standard, video.
    Microsofts misvisende argumentasjon rundt multimediaformater
    26th June 2009

    I Microsoft sin høringsuttalelse til forslag til versjon 2 av statens referansekatalog over standarder, lirer de av seg følgende FUD-perle:

    "Vorbis, OGG, Theora og FLAC er alle tekniske spesifikasjoner overordnet styrt av xiph.org, som er en ikke-kommersiell organisasjon. Etablerte og anerkjente standardiseringsorganisasjoner, som Oasis, W3C og Ecma, har en godt innarbeidet vedlikeholds- og forvaltningsprosess av en standard. Det er derimot helt opp til hver enkelt organisasjon å bestemme hvordan tekniske spesifikasjoner videreutvikles og endres, og disse spesifikasjonene bør derfor ikke defineres som åpne standarder."

    De vokter seg vel for å nevne den anerkjente standardiseringsorganisasjonen IETF, som er organisasjonen bak HTTP, IP og det meste av protokoller på Internet, og RFC-standardene som IETF står bak. Ogg er spesifisert i RFC 3533, og er uten tvil å anse som en åpen standard. Vorbis er RFC 5215. Theora er under standardisering via IETF, med siste utkast publisert 2006-07-21 (riktignok er dermed teksten ikke skrevet i stein ennå, men det blir neppe endringer som ikke er bakoverkompatibel). De kan være inne på noe når det gjelder FLAC da jeg ikke finner tegn til at spesifikasjonen tilgjengelig på web er på tur via noen standardiseringsorganisasjon, men i og med at folkene bak Ogg, Theora og Vorbis også har involvert seg i Flac siden 2003, så ser jeg ikke bort fra at også den organiseres via IETF. Jeg kjenner personlig lite til FLAC.

    Uredelig argumentasjon bør en holde seg for god til å komme med, spesielt når det er så enkelt i dagens Internet-hverdag å gå misvisende påstander etter i sømmene.

    Tags: multimedia, norsk, standard, video.
    Standarder fungerer best når en samler seg rundt dem
    19th May 2009

    En standard er noe man samler seg rundt, ut fra ideen om at en får fordeler når mange står sammen. Jo flere som står sammen, jo bedre. Når en vet dette, blir det litt merkelig å lese noen av uttalelsene som er kommet inn til høringen om versjon 2 av statens referansekatalog over standarder. Blant annet Abelia, NHO og Microsoft tror det er lurt med flere standarder innenfor samme område. Det blir som å si at det er fint om Norge standardiserte både på A4- og Letter-størrelser på arkene, ulik sporvidde på jernbaneskinnene, meter og fot som lengemål, eller høyre- og venstrekjøring - slik at en kan konkurrere på hvilken standard som er best. De fleste forstår heldigvis at dette ikke bidrar positivt.

    Tags: norsk, nuug, standard.
    Hvorfor jeg ikke bruker eFaktura
    23rd April 2009

    Telenors annonsering om å kreve 35 kroner i gebyr fra alle som ønsker papirfaktura har satt sinnene i kok, og pressedekningen så langt snakker om at eldre og folk som ikke behersker data vil få en urimelig ekstrakostnad. Jeg tror ikke jeg passer inn i noen av de kategoriene, men velger å holde meg unna eFaktura - som er det Telenor ønsker å få folk over på - pga. systemets egenskaper.

    Slik jeg har sett eFaktura til forbrukere så langt, så sender selger en elektronisk beskjed til kundens bank, som legger ut informasjon om fakturaen i nettbanken for godkjenning. Personlig ville jeg sett det som mer naturlig at det gikk en elektronisk beskjed fra selger til kunde, dvs meg, og at jeg så kunne bruke den videre mot banken eller andre hvis jeg ønsket dette. Mine innkjøp og regninger er jo en sak mellom meg og mine leverandører, ikke en sak mellom min bank og mine leverandører. Kun hvis jeg ønsker å betale fakturaen skal banken involveres. En faktura bør jo inn i regnskapet, og jeg ønsker mulighet til å legge det inn der. Når fakturaen sendes til banken i stedet for meg, blir det vanskeligere. Hele eFaktura-modellen virker på meg som en umyndiggjøring av meg som kunde.

    I tillegg har jeg ikke vært i stand til å finne eFaktura-formatets spesifikasjon, og det ser ut til at utsending av slike krever dyre avtaler med bankene for å få lov til å sende ut eFaktura til kunder. Jeg ser vel helst at fakturering på elektroniske formater kan gjøres f.eks. via epost eller HTTP uten å måtte betale mellommenn for retten til å lever ut en faktura, og liker rett og slett ikke dagens faktureringsmodeller.

    Tags: norsk, nuug, standard.
    Standardize on protocols and formats, not vendors and applications
    30th March 2009

    Where I work at the University of Oslo, one decision stand out as a very good one to form a long lived computer infrastructure. It is the simple one, lost by many in todays computer industry: Standardize on open network protocols and open exchange/storage formats, not applications. Applications come and go, while protocols and files tend to stay, and thus one want to make it easy to change application and vendor, while avoiding conversion costs and locking users to a specific platform or application.

    This approach make it possible to replace the client applications independently of the server applications. One can even allow users to use several different applications as long as they handle the selected protocol and format. In the normal case, only one client application is recommended and users only get help if they choose to use this application, but those that want to deviate from the easy path are not blocked from doing so.

    It also allow us to replace the server side without forcing the users to replace their applications, and thus allow us to select the best server implementation at any moment, when scale and resouce requirements change.

    I strongly recommend standardizing - on open network protocols and open formats, but I would never recommend standardizing on a single application that do not use open network protocol or open formats.

    Tags: debian, english, nuug, standard.
    Hva er egentlig en åpen standard?
    28th March 2009

    Jeg møter alle slags interessante mennesker på min vei, og et møte jeg lærte mye av var å treffe på en svært kompetent IT-fyr som benektet ting jeg anser som åpenbart og selvfølgelig når det gjelder standarder. Det var interessant, da det fikk meg til å tenke litt nøyere på hvilke mekanismer som ligger til grunn for at noe oppfattes som en standard. Det hele startet med arbeid rundt integrering av NSS LDAP mot Active Directory, og problemer som oppstår pga. at Active Directory ikke følger LDAP-spesifikasjonen som dokumentert i RFCer fra IETF (konkret, AD returnerer kun et subset av attributter hvis det er mer enn 1500 atributter av en gitt type i et LDAP-objekt, og en må be om resten i bolker av 1500). Jeg hevdet måten dette ble gjort på brøt med LDAP-spesifikasjonen, og henviste til hvor i LDAP-spesifikasjonen fra IETF det sto at oppførselen til AD ikke fulgte LDAP-spesifikasjonen. AD-spesialisten overrasket meg da ved å fortelle at IETF var ikke de som definerte LDAP-spesifikasjonen, og at Active Directory ikke brøt den virkelige LDAP-spesifikasjonen som han mente lå til grunn. Jeg ble spesielt overrasket over denne tilnærmingen til problemstillingen, da til og med Microsoft så vidt jeg kan se anerkjenner IETF som organisasjonen som definerer LDAP-spesifikasjonen. Jeg fikk aldri spurt hvem han mente sto bak den egentlige LDAP-spesifikasjonen, da det var irrelevant for problemet vi måtte løse (få Linux og AD til å fungere sammen). Dette møtet fortalte meg uansett at det ikke er gitt at alle aktører er enige om hva en standard er, og hva som er kilden til en gitt standard. Det er vanskelig å enes om felles standarder før en først enes om hvem som bestemmer hva en gitt standard innebærer.

    Hva er så en standard? I sin abstrakte form er det noe å samles om. På engelsk er en av betydningene fane brukt i krig, du vet, den type fane en samlet seg rundt på kamplassen i riddertiden. En standard definerer altså et felleskap, noen som har noe felles. Det er naturligvis mange måter å utgjøre et felleskap på. En kan f.eks. enes om å gjøre alt slik som Ole gjør det, og dermed si at Oles oppførsel er standard. Hver gang Ole endrer oppførsel endrer også standarden seg uten noe mer organisering og prosedyre. En variant av dette er å gjøre slik som Ole har gjort det i stedet for slik Ole til enhver til gjør noe. Dette er ofte litt enklere å forholde seg til, da en slipper å sjekke med Ole hver gang for å vite hvordan ting skal gjøres nå, men hvis det Ole gjorde noe dumt den gang en bestemte seg for å følge Ole, så er det vanskeligere å få endret oppførsel for å unngå dette dumme.

    En kan også ta det et skritt videre, og istedet for å basere seg på enkeltpersoners oppførsel sette seg ned og bli enige om hvordan en skal gjøre ting, dvs. lage et felleskap basert på konsensus. Dette tar naturligvis litt mer tid (en må diskutere ting i forkant før en kan sette igang), men det kan bidra til at den oppførselen en planlegger å benytte seg av er mer gjennomtenkt. Det ender også typisk opp med en beskrivelse av ønsket oppførsel som flere kan forstå - da flere har vært involvert i å utarbeide beskrivelsen.

    Dette er dessverre ikke alt som trengs for å forstå hva en åpen standard er for noe. Der alle kan se på hvordan folk oppfører seg, og dermed har valget om de vil oppføre seg likt eller ikke, så er det endel juridiske faktorer som gjør det hele mer komplisert - opphavsretten og patentlovgivningen for å være helt konkret. For å gi et eksempel. Hvis noen blir enige om å alltid plystre en bestemt melodi når de møtes, for å identifisere hverandre, så kan opphavsretten brukes til å styre hvem som får lov til å gjøre dette. De har standardisert hvordan de kjenner igjen alle som følger denne standarden, men ikke alle har nødvendigvis lov til å følge den. Musikk er opphavsrettsbeskyttet, og fremføring av musikk i offentligheten er opphavsmannens enerett (dvs. et monopol). Det vil i sin ytterste konsekvens si at alle som skal plystre en opphavsrettsbeskyttet melodi i det offentlige rom må ha godkjenning fra opphavsmannen. Har en ikke dette, så bryter en loven og kan straffes. Det er dermed mulig for opphavsmannen å kontrollere hvem som får lov til å benytte seg av denne standarden. En annen variant er hvis en standard er dokumentert, så er dokumentet som definerer standarden (spesifikasjonen) beskyttet av opphavsretten, og det er dermed mulig for rettighetsinnehaver å begrense tilgang til spesifikasjonen, og slik styre hvem som kan ta i bruk standarden på den måten.

    Der opphavsretten innvilger et monopol på kunstneriske uttrykk med verkshøyde, innvilger patentlovgivningen monopol på ideer. Hvis en slik patentert idé (fortrinnsvis uttrykt i en teknisk innretning, men det er kompliserende faktorer som gjør at det ikke er et krav) trengs for å ta i bruk en standard, så vil den som innehar patent kunne styre hvem som får ta i bruk standarden. Det er dermed ikke gitt at alle kan delta i et standard-felleskap, og hvis de kan delta, så er det ikke sikkert at det er på like vilkår. F.eks. kan rettighetsinnehaver sette vilkår som gjør at noen faller utenfor, det være seg av finansielle, avtalemessige eller prinsipielle årsaker. Vanlige slike vilkår er "må betale litt for hver kunde/bruker" som utelukker de som gir bort en løsning gratis og "må gi fra seg retten til å håndheve sine egne patentrettigheter ovenfor rettighetshaver" som utelukker alle som ønsker å beholde den muligheten.

    En åpen standard innebærer for meg at alle kan få innsikt i en komplett beskrivelse av oppførsel som standarden skal dekke, og at ingen kan nektes å benytte seg av standarden. Noen mener at det holder at alle med tilstrekkelig finansiering kan få tilgang til spesifikasjonen og at en kun har finansielle krav til bruk. Pga. denne konflikten har et nytt begrep spredt seg de siste årene, nemlig fri og åpen standard, der en har gjort det klart at alle må ha komplett og lik tilgang til spesifikasjoner og retten til å gjøre bruk av en standard for at en standard skal kunne kalles fri og åpen.

    Tags: norsk, nuug, standard.
    Fri og åpen standard, slik Digistan ser det
    31st January 2009

    Det er mange ulike definisjoner om hva en åpen standard er for noe, og NUUG hadde en pressemelding om dette sommeren 2005. Der ble definisjonen til DKUUG, EU-kommissionens European Interoperability Framework ( side 9) og teknologirådet omtalt.

    Siden den gang har regjeringens standardiseringsråd dukket opp, og de ser ut til å har tatt utgangspunkt i EU-kommisjonens definisjon i sin arbeidsmetodikk. Personlig synes jeg det er en god ide, da kravene som stilles der gjør at alle markedsaktører får like vilkår, noe som kommer kundene til gode ved hjelp av økt konkurranse.

    I sommer kom det en ny definisjon på banen. Digistan lanserte en definisjon på en fri og åpen standard. Jeg liker måten de bryter ut av diskusjonen om hva som kreves for å kalle noe en åpen standard ved å legge på et ord og poengtere at en standard som er både åpen og fri har noen spesielle krav. Her er den definisjonen etter rask oversettelse fra engelsk til norsk av meg:

    Definisjonen av en fri og åpen standard

    Den digitale standardorganisasjonen definierer fri og åpen standard som følger:

    • En fri og åpen standard er immun for leverandørinnlåsing i alle stadier av dens livssyklus. Immuniteten fra leverandørinnlåsing gjør det mulig å fritt bruke, forbedre, stole på og utvide en standard over tid.
    • Standarden er adoptert og vil bli vedlikeholdt av en ikke-kommersiell organisasjon, og dens pågående utvikling gjøres med en åpen beslutningsprosedyre som er tilgjengelig for alle som er interessert i å delta.
    • Standarden er publisert og spesifikasjonsdokumentet er fritt tilgjengelig. Det må være tillatt for alle å kopiere, distribuere og bruke den uten begresninger.
    • Patentene som muligens gjelder (deler av) standarden er gjort ugjenkallelig tilgjengelig uten krav om betaling.
    • Det er ingen begresninger i gjenbruk av standarden.

    Det økonomiske resultatet av en fri og åpen standard, som kan måles, er at det muliggjør perfekt konkurranse mellom leverandører av produkter basert på standarden.

    (Tar gjerne imot forbedringer av oversettelsen.)

    Tags: digistan, norsk, nuug, standard.
    ODF-bruk i staten, ikke helt på plass
    22nd January 2009

    I går publiserte Universitas, Dagens-IT og Computerworld Norge en sak om at de ansatte ved Universitetet i Oslo ikke følger regjeringens pålegg om å publisere i HTML, PDF eller ODF. Det er bra at det kommer litt fokus på dette, og jeg håper noen journalister tar en titt på de andre statlige instansene også.

    Skulle ønske det var en enkel måte å sjekke om ODF-dokumenter er i henholdt til ODF-spesifikasjonen, og en måte å teste om programmer som hevder å støtte ODF forstår alle delene av ODF-spesifikasjonen. Kjenner kun til ufullstendige løsninger for slikt.

    Tags: norsk, nuug, standard.

    RSS Feed

    Created by Chronicle v4.6