Petter Reinholdtsen

Entries tagged "nuug".

Frokostseminar om Noark 5 i Oslo tirsdag 2024-03-12
27th February 2024

Nikita-prosjektet, der jeg er involvert, inviterer i samarbeid med Oslo Byarkiv, forskningsgruppen METAINFO og foreningen NUUG, til et frokostseminar om Noark 5 og Noark 5 Tjenestegrensesnitt tirsdag 2024-03-12. Seminaret finner sted ved Oslo byarkiv. Vi håper å få til videostrømming via Internett av presentasjoner og paneldiskusjon. Oppdatert program og lenker til påmeldingsskjema er tilgjengelig fra Nikita-prosjektet. Arrangementet er gratis.

Som vanlig, hvis du bruker Bitcoin og ønsker å vise din støtte til det jeg driver med, setter jeg pris på om du sender Bitcoin-donasjoner til min adresse 15oWEoG9dUPovwmUL9KWAnYRtNJEkP1u1b. Merk, betaling med bitcoin er ikke anonymt. :)

Tags: noark5, norsk, nuug, offentlig innsyn, standard.
Nikita version 0.6 released - free software archive API server
10th June 2021

I am very pleased to be able to share with you the announcement of a new version of the archiving system Nikita published by its lead developer Thomas Sødring:

It is with great pleasure that we can announce a new release of nikita. Version 0.6 (https://gitlab.com/OsloMet-ABI/nikita-noark5-core). This release makes new record keeping functionality available. This really is a maturity release. Both in terms of functionality but also code. Considerable effort has gone into refactoring the codebase and simplifying the code. Notable changes for this release include:

  • Significantly improved OData parsing
  • Support for business specific metadata and national identifiers
  • Continued implementation of domain model and endpoints
  • Improved testing
  • Ability to export and import from arkivstruktur.xml

We are currently in the process of reaching an agreement with an archive institution to publish their picture archive using nikita with business specific metadata and we hope that we can share this with you soon. This is an interesting project as it allows the organisation to bring an older picture archive back to life while using the original metadata values stored as business specific metadata. Combined with OData means the scope and use of the archive is significantly increased and will showcase both the flexibility and power of Noark.

I really think we are approaching a version 1.0 of nikita, even though there is still a lot of work to be done. The notable work at the moment is to implement access-control and full text indexing of documents.

My sincere thanks to everyone who has contributed to this release!

- Thomas

Release 0.6 2021-06-10 (d1ba5fc7e8bad0cfdce45ac20354b19d10ebbc7b)

  • Refactor metadata entity search
  • Remove redundant security configuration
  • Make OpenAPI documentation work
  • Change database structure / inheritance model to a more sensible approach
  • Make it possible to move entities around the fonds structure
  • Implemented a number of missing endpoints
  • Make sure yml files are in sync
  • Implemented/finalised storing and use of
         
    • Business Specific Metadata
    •    
    • Norwegian National Identifiers
    •    
    • Cross Reference
    •    
    • Keyword
    •    
    • StorageLocation
    •    
    • Author
    •    
    • Screening for relevant objects
    •    
    • ChangeLog
    •    
    • EventLog
  • Make generation of updated docker image part of successful CI pipeline
  • Implement pagination for all list requests
         
    • Refactor code to support lists
    •    
    • Refactor code for readability
    •    
    • Standardise the controller/service code
  • Finalise File->CaseFile expansion and Record->registryEntry/recordNote expansion
  • Improved Continuous Integration (CI) approach via gitlab
  • Changed conversion approach to generate tagged PDF documents
  • Updated dependencies
         
    • For security reasons
    •    
    • Brought codebase to spring-boot version 2.5.0
    •    
    • Remove import of necessary dependencies
    •    
    • Remove non-used metrics classes
  • Added new analysis to CI including
  • Implemented storing of Keyword
  • Implemented storing of Screening and ScreeningMetadata
  • Improved OData support
         
    • Better support for inheritance in queries where applicable
    •    
    • Brought in more OData tests
    •    
    • Improved OData/hibernate understanding of queries
    •    
    • Implement $count, $orderby
    •    
    • Finalise $top and $skip
    •    
    • Make sure & is used between query parameters
  • Improved Testing in codebase
         
    • A new approach for integration tests to make test more readable
    •    
    • Introduce tests in parallel with code development for TDD approach
    •    
    • Remove test that required particular access to storage
  • Implement case-handling process from received email to case-handler
         
    • Develop required GUI elements (digital postroom from email)
    •    
    • Introduced leader, quality control and postroom roles
  • Make PUT requests return 200 OK not 201 CREATED
  • Make DELETE requests return 204 NO CONTENT not 200 OK
  • Replaced 'oppdatert*' with 'endret*' everywhere to match latest spec
  • Upgrade Gitlab CI to use python > 3 for CI scripts
  • Bug fixes
         
    • Fix missing ALLOW
    •    
    • Fix reading of objects from jar file during start-up
    •    
    • Reduce the number of warnings in the codebase
    •    
    • Fix delete problems
    •    
    • Make better use of cascade for "leaf" objects
    •    
    • Add missing annotations where relevant
    •    
    • Remove the use of ETAG for delete
    •    
    • Fix missing/wrong/broken rels discovered by runtest
    •    
    • Drop unofficial convertFil (konverterFil) end point
    •    
    • Fix regex problem for dateTime
    •    
    • Fix multiple static analysis issues discovered by coverity
    •    
    • Fix proxy problem when looking for object class names
    •    
    • Add many missing translated Norwegian to English (internal) attribute/entity names
    •    
    • Change UUID generation approach to allow code also set a value
    •    
    • Fix problem with Part/PartParson
    •    
    • Fix problem with empty OData search results
    •    
    • Fix metadata entity domain problem
  • General Improvements
         
    • Makes future refactoring easier as coupling is reduced
    •    
    • Allow some constant variables to be set from property file
    •    
    • Refactor code to make reflection work better across codebase
    •    
    • Reduce the number of @Service layer classes used in @Controller classes
    •    
    • Be more consistent on naming of similar variable types
    •    
    • Start printing rels/href if they are applicable
    •    
    • Cleaner / standardised approach to deleting objects
    •    
    • Avoid concatenation when using StringBuilder
    •    
    • Consolidate code to avoid duplication
    •    
    • Tidy formatting for a more consistent reading style across similar class files
    •    
    • Make throw a log.error message not an log.info message
    •    
    • Make throw print the log value rather than printing in multiple places
    •    
    • Add some missing pronom codes
    •    
    • Fix time formatting issue in Gitlab CI
    •    
    • Remove stale / unused code
    •    
    • Use only UUID datatype rather than combination String/UUID for systemID
    •    
    • Mark variables final and @NotNull where relevant to indicate intention
  • Change Date values to DateTime to maintain compliance with Noark 5 standard
  • Domain model improvements using Hypersistence Optimizer
         
    • Move @Transactional from class to methods to avoid borrowing the JDBC Connection unnecessarily
    •    
    • Fix OneToOne performance issues
    •    
    • Fix ManyToMany performance issues
    •    
    • Add missing bidirectional synchronization support
    •    
    • Fix ManyToMany performance issue
  • Make List<> and Set<> use final-keyword to avoid potential problems during update operations
  • Changed internal URLs, replaced "hateoas-api" with "api".
  • Implemented storing of Precedence.
  • Corrected handling of screening.
  • Corrected _links collection returned for list of mixed entity types to match the specific entity.
  • Improved several internal structures.

If free and open standardized archiving API sound interesting to you, please contact us on IRC (#nikita on irc.oftc.net) or email (nikita-noark mailing list).

As usual, if you use Bitcoin and want to show your support of my activities, please send Bitcoin donations to my address 15oWEoG9dUPovwmUL9KWAnYRtNJEkP1u1b.

Tags: english, noark5, nuug, offentlig innsyn, standard.
Nikita version 0.5 released - updated free software archive API server
2nd March 2020

Today, after many months of development, a new release of Nikita Noark 5 core project was finally announced on the project mailing list. The Nikita free software solution is an implementation of the Norwegian archive standard Noark 5 used by government offices in Norway. These were the changes in version 0.5 since version 0.4, see the email link above for links to a demo site:

If free and open standardized archiving API sound interesting to you, please contact us on IRC (#nikita on irc.freenode.net) or email (nikita-noark mailing list).

As usual, if you use Bitcoin and want to show your support of my activities, please send Bitcoin donations to my address 15oWEoG9dUPovwmUL9KWAnYRtNJEkP1u1b.

Tags: english, noark5, nuug, offentlig innsyn, standard.
Teach kids to protect their privacy - the EDRi way
4th July 2019

Childs need to learn how to guard their privacy too. To help them, European Digital Rights (EDRi) created a colorful booklet providing information on several privacy related topics, and tips on how to protect ones privacy in the digital age.

The 24 page booklet titled Digital Defenders is available in several languages. Thanks to the valuable contributions from members of the Electronic Foundation Norway (EFN) and others, it is also available in Norwegian Bokmål. If you would like to have it available in your language too, contribute via Weblate and get in touch.

But a funny, well written and good looking PDF do not have much impact, unless it is read by the right audience. To increase the chance of kids reading it, I am currently assisting EFN in getting copies printed on paper to distribute on the street and in class rooms. Print the booklet was made possible thanks to a small et of great sponsors. Thank you very much to each and every one of them! I hope to have the printed booklet ready to hand out on Tuesday, when the Norwegian Unix Users Group is organizing its yearly barbecue for geeks and free software zealots in the Oslo area. If you are nearby, feel free to come by and check out the party and the booklet.

If the booklet prove to be a success, it would be great to get more sponsoring and distribute it to every kid in the country. :)

As usual, if you use Bitcoin and want to show your support of my activities, please send Bitcoin donations to my address 15oWEoG9dUPovwmUL9KWAnYRtNJEkP1u1b.

Tags: english, nuug, personvern.
Nikita version 0.4 released - free software archive API server
22nd May 2019

This morning, a new release of Nikita Noark 5 core project was announced on the project mailing list. The Nikita free software solution is an implementation of the Norwegian archive standard Noark 5 used by government offices in Norway. These were the changes in version 0.4 since version 0.3, see the email link above for links to a demo site:

If free and open standardized archiving API sound interesting to you, please contact us on IRC (#nikita on irc.freenode.net) or email (nikita-noark mailing list).

As usual, if you use Bitcoin and want to show your support of my activities, please send Bitcoin donations to my address 15oWEoG9dUPovwmUL9KWAnYRtNJEkP1u1b.

Tags: english, noark5, nuug, offentlig innsyn, standard.
PlantUML for text based UML diagram modelling - nice free software
25th March 2019

As part of my involvement with the Nikita Noark 5 core project, I have been proposing improvements to the API specification created by The National Archives of Norway and helped migrating the text from a version control system unfriendly binary format (docx) to Markdown in git. Combined with the migration to a public git repository (on github), this has made it possible for anyone to suggest improvement to the text.

The specification is filled with UML diagrams. I believe the original diagrams were modelled using Sparx Systems Enterprise Architect, and exported as EMF files for import into docx. This approach make it very hard to track changes using a version control system. To improve the situation I have been looking for a good text based UML format with associated command line free software tools on Linux and Windows, to allow anyone to send in corrections to the UML diagrams in the specification. The tool must be text based to work with git, and command line to be able to run it automatically to generate the diagram images. Finally, it must be free software to allow anyone, even those that can not accept a non-free software license, to contribute.

I did not know much about free software UML modelling tools when I started. I have used dia and inkscape for simple modelling in the past, but neither are available on Windows, as far as I could tell. I came across a nice list of text mode uml tools, and tested out a few of the tools listed there. The PlantUML tool seemed most promising. After verifying that the packages is available in Debian and found its Java source under a GPL license on github, I set out to test if it could represent the diagrams we needed, ie the ones currently in the Noark 5 Tjenestegrensesnitt specification. I am happy to report that it could represent them, even thought it have a few warts here and there.

After a few days of modelling I completed the task this weekend. A temporary link to the complete set of diagrams (original and from PlantUML) is available in the github issue discussing the need for a text based UML format, but please note I lack a sensible tool to convert EMF files to PNGs, so the "original" rendering is not as good as the original was in the publised PDF.

Here is an example UML diagram, showing the core classes for keeping metadata about archived documents:

@startuml
skinparam classAttributeIconSize 0

!include media/uml-class-arkivskaper.iuml
!include media/uml-class-arkiv.iuml
!include media/uml-class-klassifikasjonssystem.iuml
!include media/uml-class-klasse.iuml
!include media/uml-class-arkivdel.iuml
!include media/uml-class-mappe.iuml
!include media/uml-class-merknad.iuml
!include media/uml-class-registrering.iuml
!include media/uml-class-basisregistrering.iuml
!include media/uml-class-dokumentbeskrivelse.iuml
!include media/uml-class-dokumentobjekt.iuml
!include media/uml-class-konvertering.iuml
!include media/uml-datatype-elektronisksignatur.iuml

Arkivstruktur.Arkivskaper "+arkivskaper 1..*" <-o "+arkiv 0..*" Arkivstruktur.Arkiv
Arkivstruktur.Arkiv o--> "+underarkiv 0..*" Arkivstruktur.Arkiv
Arkivstruktur.Arkiv "+arkiv 1" o--> "+arkivdel 0..*" Arkivstruktur.Arkivdel
Arkivstruktur.Klassifikasjonssystem "+klassifikasjonssystem [0..1]" <--o "+arkivdel 1..*" Arkivstruktur.Arkivdel
Arkivstruktur.Klassifikasjonssystem "+klassifikasjonssystem [0..1]" o--> "+klasse 0..*" Arkivstruktur.Klasse
Arkivstruktur.Arkivdel "+arkivdel 0..1" o--> "+mappe 0..*" Arkivstruktur.Mappe
Arkivstruktur.Arkivdel "+arkivdel 0..1" o--> "+registrering 0..*" Arkivstruktur.Registrering
Arkivstruktur.Klasse "+klasse 0..1" o--> "+mappe 0..*" Arkivstruktur.Mappe
Arkivstruktur.Klasse "+klasse 0..1" o--> "+registrering 0..*" Arkivstruktur.Registrering
Arkivstruktur.Mappe --> "+undermappe 0..*" Arkivstruktur.Mappe
Arkivstruktur.Mappe "+mappe 0..1" o--> "+registrering 0..*" Arkivstruktur.Registrering
Arkivstruktur.Merknad "+merknad 0..*" <--* Arkivstruktur.Mappe
Arkivstruktur.Merknad "+merknad 0..*" <--* Arkivstruktur.Dokumentbeskrivelse
Arkivstruktur.Basisregistrering -|> Arkivstruktur.Registrering
Arkivstruktur.Merknad "+merknad 0..*" <--* Arkivstruktur.Basisregistrering
Arkivstruktur.Registrering "+registrering 1..*" o--> "+dokumentbeskrivelse 0..*" Arkivstruktur.Dokumentbeskrivelse
Arkivstruktur.Dokumentbeskrivelse "+dokumentbeskrivelse 1" o-> "+dokumentobjekt 0..*" Arkivstruktur.Dokumentobjekt
Arkivstruktur.Dokumentobjekt *-> "+konvertering 0..*" Arkivstruktur.Konvertering
Arkivstruktur.ElektroniskSignatur -[hidden]-> Arkivstruktur.Dokumentobjekt
@enduml

The format is quite compact, with little redundant information. The text expresses entities and relations, and there is little layout related fluff. One can reuse content by using include files, allowing for consistent naming across several diagrams. The include files can be standalone PlantUML too. Here is the content of media/uml-class-arkivskaper.iuml:

@startuml
class Arkivstruktur.Arkivskaper  {
  +arkivskaperID : string
  +arkivskaperNavn : string
  +beskrivelse : string [0..1]
}
@enduml

This is what the complete diagram for the PlantUML notation above look like:

A cool feature of PlantUML is that the generated PNG files include the entire original source diagram as text. The source (with include statements expanded) can be extracted using for example exiftool. Another cool feature is that parts of the entities can be hidden after inclusion. This allow to use include files with all attributes listed, even for UML diagrams that should not list any attributes.

The diagram also show some of the warts. Some times the layout engine place text labels on top of each other, and some times it place the class boxes too close to each other, not leaving room for the labels on the relationship arrows. The former can be worked around by placing extra newlines in the labes (ie "\n"). I did not do it here to be able to demonstrate the issue. I have not found a good way around the latter, so I normally try to reduce the problem by changing from vertical to horizontal links to improve the layout.

All in all, I am quite happy with PlantUML, and very impressed with how quickly its lead developer responds to questions. So far I got an answer to my questions in a few hours when I send an email. I definitely recommend looking at PlantUML if you need to make UML diagrams. Note, PlantUML can draw a lot more than class relations. Check out the documention for a complete list. :)

As usual, if you use Bitcoin and want to show your support of my activities, please send Bitcoin donations to my address 15oWEoG9dUPovwmUL9KWAnYRtNJEkP1u1b.

Tags: english, nice free software, noark5, nuug, standard.
Release 0.3 of free software archive API system Nikita announced
24th March 2019

Yesterday, a new release of Nikita Noark 5 core project was announced on the project mailing list. The free software solution is an implementation of the Norwegian archive standard Noark 5 used by government offices in Norway. These were the changes in version 0.3 since version 0.2.1 (from NEWS.md):

If free and open standardized archiving API sound interesting to you, please contact us on IRC (#nikita on irc.freenode.net) or email (nikita-noark mailing list).

As usual, if you use Bitcoin and want to show your support of my activities, please send Bitcoin donations to my address 15oWEoG9dUPovwmUL9KWAnYRtNJEkP1u1b.

Tags: english, noark5, nuug, offentlig innsyn, standard.
Oppdaterte kommentarer til «Evaluation of (il)legality» for Popcorn Time
16th January 2019

I forrige uke var jeg i Borgarting lagmannsrett som partshjelper og sakkyndig vitne og presenterte mine oppdaterte undersøkelser rundt telling av filmverk i det fri, relatert til foreningen NUUGs involvering i saken om Økokrims beslag og senere inndragning av DNS-domenet popcorn-time.no. I forkant hadde jeg oppdatert mitt notat med kommentarer til et av aktors bevis, som forsøkte å måle hvor stor andel ulovligheter som var tilgjengelig via Popcorn Time-avspillere. Jeg mistenker flere kan ha glede av å lese dette notatet, som jeg publiserte en tidligere versjon av i fjor, så her er det. Legger også ved avskrift av dokument 09,13, som er det sentrale dokumentet jeg kommenterer.

Oppdaterte kommentarer til «Evaluation of (il)legality» for Popcorn Time

Oppsummering

Målemetoden som Økokrim har lagt til grunn når de påstår at 99% av filmene tilgjengelig fra Popcorn Time deles ulovlig har svakheter som gjør resultatet upålitelig.

De eller den som har vurdert hvorvidt filmer kan lovlig deles er ikke i stand til å identifisere filmer som kan deles lovlig eller er falt i det fri og har tilsynelatende antatt at kun veldig gamle filmer kan deles lovlig. Økokrim legger til grunn at det bare finnes èn film, Charlie Chaplin-filmen «The Circus» fra 1928, som kan deles fritt blant de som ble observert tilgjengelig via ulike Popcorn Time-varianter. Med min begrensede og ufullstendige oversikt finner jeg tre flere blant de observerte filmene: «The Brain That Wouldn't Die» fra 1962, «God’s Little Acre» fra 1958 og «She Wore a Yellow Ribbon» fra 1949. Det er godt mulig det finnes flere. Det finnes dermed minst fire ganger så mange filmer som lovlig kan deles på Internett i datasettet Økokrim har lagt til grunn når det påstås at mindre enn 1 % kan deles lovlig.

Dernest, utplukket som gjøres ved søk på tilfeldige ord hentet fra ordlisten til Dale-Chall avviker fra årsfordelingen til de brukte filmkatalogene som helhet, hvilket påvirker fordelingen mellom filmer som kan lovlig deles og filmer som ikke kan lovlig deles. I tillegg gir valg av øvre del (de fem første) av søkeresultatene et avvik fra riktig årsfordeling, hvilket påvirker fordelingen av verk i det fri i søkeresultatet.

Til sist er det viktig å merke seg at det som måles er ikke (u)lovligheten knyttet til bruken av Popcorn Time, men (u)lovligheten til innholdet i ulike bittorrent-filmkataloger som vedlikeholdes av ulike miljøer uavhengig av Popcorn Time, og som ulike Popcorn Time-varianter har benyttet seg av.

Omtalte dokumenter: 09,12, 09,13, 09,14, 09,18, 09,19, 09,20.

Utfyllende kommentarer

Økokrim har forklart domstolene at minst 99% av alt som er tilgjengelig fra ulike Popcorn Time-varianter deles ulovlig på Internet. Jeg ble nysgjerrig på hvordan de er kommet frem til dette tallet, og dette notatet er en samling kommentarer rundt målingen Økokrim henviser til. Litt av bakgrunnen for at jeg valgte å se på saken er at jeg er interessert i å identifisere og telle hvor mange kunstneriske verk som er falt i det fri eller av andre grunner kan lovlig deles på Internett, og dermed var interessert i hvordan en hadde funnet den ene prosenten som kanskje deles lovlig.

Andelen på 99% kommer fra et ukreditert og udatert notatet som tar mål av seg å dokumentere en metode for å måle hvor (u)lovlig ulike Popcorn Time-varianter er.

Raskt oppsummert, så forteller metodedokumentet at fordi det ikke er mulig å få tak i komplett liste over alle filmtitler tilgjengelig via Popcorn Time, så lages noe som skal være et representativt utvalg ved å velge 50 tilfeldige søkeord større enn tre tegn fra en ordliste kjent som Dale-Chall. For hvert søkeord gjøres et søk og de første fem filmene i søkeresultatet samles inn inntil 100 unike filmtitler er funnet. Hvis 50 søkeord ikke var tilstrekkelig for å nå 100 unike filmtitler ble flere filmer fra hvert søkeresultat lagt til. Hvis dette heller ikke var tilstrekkelig, så ble det hentet ut og søkt på flere tilfeldig valgte søkeord inntil 100 unike filmtitler var identifisert.

Deretter ble for hver av filmtitlene «vurdert hvorvidt det var rimelig å forvente om at verket var vernet av copyright, ved å se på om filmen var tilgjengelig i IMDB, samt se på regissør, utgivelsesår, når det var utgitt for bestemte markedsområder samt hvilke produksjons- og distribusjonsselskap som var registrert» (min oversettelse).

Metoden er gjengitt både i de ukrediterte dokumentene 09,13 og 09,19, samt beskrevet fra side 47 i dokument 09,20, lysark datert 2017-02-01. Sistnevnte er kreditert Geerart Bourlon fra Motion Picture Association EMEA.

Metoden virker å ha flere svakheter som gir resultatene en slagside. Den starter med å slå fast at det ikke er mulig å hente ut en komplett liste over alle filmtitler som er tilgjengelig, og at dette er bakgrunnen for metodevalget. Denne forutsetningen er ikke i tråd med det som står i dokument 09,12, som ikke heller har oppgitt forfatter og dato. Dokument 09,12 forteller hvordan hele kataloginnholdet i en bittorrent-katalog ble lasted ned og talt opp. Dokument 09,12 er muligens samme rapport som det ble referert til i dom fra Oslo Tingrett 2017-11-03 (sak 17-093347TVI-OTIR/05) under navnet rapport av 1. juni 2017 av Alexander Kind Petersen. De ligner, men jeg har ikke sammenlignet dokumentene ord for ord for å kontrollere om de er identiske.

Det finnes flere kilder som kan brukes til å finne filmer som er allemannseie (public domain) eller har bruksvilkår som gjør det lovlig for alle å dele dem på Internett. Jeg har det siste året forsøkt å samle og krysskoble disse listene ved hjelp av tittel-ID i IMDB for å forsøke å telle antall filmer i det fri. Ved å ta utgangspunkt i slike lister (og publiserte filmer for Internett-arkivets del), har jeg så langt klart å identifisere over 14 000 filmer, hovedsaklig spillefilmer. Noen filmer er gått tapt ved at de eneste kjente eksemplarene er blitt ødelagt. Jeg har ikke forsøkt å finne ut hvilke filmer som er gått tapt, ut over å se hvilke filmer som er tilgjengelig på filmdelings-nettsteder.

IMDB er en forkortelse for The Internet Movie Database, en anerkjent kommersiell nettjeneste som brukes aktivt av både filmbransjen og andre til å holde rede på hvilke spillefilmer (og endel andre filmer) som finnes eller er under produksjon, samt informasjon om disse filmene. Datakvaliteten er høy, med få feil og få filmer som mangler. IMDB viser ikke informasjon om opphavsrettslig status for filmene på infosiden for hver film, men frivillige har lagt ut på IMDB-tjenesten lister med filmer som antas å være verk i det fri. Disse listene er en liten del av kildene for min telling av verk som kan lovlig deles på Internett.

De aller fleste oppføringene over verk i det fri er hentet fra IMDB selv, basert på det faktum at alle filmer laget i USA før 1923 er falt i det fri. Tilsvarende tidsgrense for Storbritannia er 1912-07-01, men dette utgjør bare veldig liten del av spillefilmene i IMDB (19 totalt). En annen stor andel kommer fra Internett-arkivet, der jeg har identifisert filmer som har referanse til IMDB. Internett-arkivet, som holder til i USA, har som policy å kun publisere filmer som det er lovlig å distribuere. Jeg har under arbeidet kommet over flere filmer som har blitt fjernet fra Internett-arkivet, hvilket gjør at jeg konkluderer med at folkene som kontrollerer Internett-arkivet har et aktivt forhold til kun å ha lovlig innhold der, selv om det i stor grad er drevet av frivillige. Internett-arkivet har publisert 4.6 millioner videofilmer som samtlige er tilgjengelig også med Bittorrent-protokollen. En annen stor liste med filmer kommer fra det kommersielle selskapet Retro Film Vault, som selger allemannseide filmer til TV- og filmbransjen, Jeg har også benyttet meg av lister over filmer som hevdes å være allemannseie, det være seg Public Domain Review, Public Domain Torrents og Public Domain Movies (to ulike tjenester med samme navn, på .net og .info), samt lister over filmer med Creative Commons-lisensiering fra Wikipedia, VODO og The Hill Productions. Jeg har gjort endel stikkontroll ved å vurdere filmer som kun omtales på en liste. Der jeg har funnet feil som har gjort meg i tvil om vurderingen til de som har laget listen har jeg forkastet listen fullstendig (gjelder for eksemel en av listene fra IMDB).

Ved å ta utgangspunkt i verk som kan antas å være lovlig delt på Internett (fra blant annet Internett-arkivet, Public Domain Torrents, Public Domain Review og Public Domain Movies), og knytte dem til oppføringer i IMDB, så har jeg så langt klart å identifisere over 14 000 filmer (hovedsaklig spillefilmer) det er grunn til å tro kan lovlig distribueres av alle på Internett. Som ekstra kilder er det brukt lister over filmer som antas/påstås å være allemannseie. Disse kildene kommer fra miljøer som jobber for å gjøre tilgjengelig for almennheten alle verk som er falt i det fri eller har bruksvilkår som tillater deling.

I tillegg til de over 14 000 filmene der tittel-ID i IMDB er identifisert, har jeg funnet mer enn 26 000 oppføringer der jeg ennå ikke har hatt kapasitet til å spore opp tittel-ID i IMDB. Jeg har sett at noen av disse er duplikater av de IMDB-oppføringene som er identifisert så langt, men de fleste jeg har hatt tid til å undersøke så langt har vist seg å ikke være duplikater. Retro Film Vault hevder å ha 44 000 filmverk i det fri i sin katalog, så det er mulig at det reelle tallet er betydelig høyere enn de jeg har klart å identifisere så langt. Konklusjonen en kan trekke fra dette er at tallet 14 000 er nedre grense for hvor mange filmer i IMDB som kan lovlig deles på Internett. I følge statistikk fra IMDB er det 4.6 millioner titler registrert, hvorav 3 millioner er TV-serieepisoder.

Hvis en fordeler på år alle tittel-IDene i IMDB som hevdes å deles lovlig på Internett, får en følgende histogram:

histogram over frie filmer per år

En kan i histogrammet se at effekten av manglende registrering eller fornying av registrering er at mange filmer gitt ut i USA før 1978 er allemannseie i dag. I tillegg kan en se at det finnes flere filmer gitt ut de siste årene med bruksvilkår som tillater deling, muligens på grunn av fremveksten av Creative Commons-bevegelsen.

IMDB har lagt ut en maskinlesbare liste over alle registreringene i sin database, og ved hjelp av denne har jeg oppsummert antall titler per år i kategoriene «movies» og «short», som er det jeg fokuserer på i min telling. Inn i oversikten er det tegnet hvor stor prosentandel antallet filmer som hevdes å kunne deles lovlig på Internett utgjør av IMDB-totalen. Ut fra oversikten får man en ide om hvor stor andel av totalen som kan mangle i min telling, for eksempel ved å merke seg at få prosenter av filmene utgitt tidlig på 1900-tallet er med i min telling.

histogram over filmer og frie filmer per år

For maskinell analyse av katalogene laget jeg et lite program som kobler seg til bittorrent-katalogene som brukes av ulike Popcorn Time-varianter og laster ned komplett liste over filmer i katalogene. Dette bekrefter at det er mulig å hente ut komplett liste med alle filmtitler som er tilgjengelig i katalogene, i strid med påstanden i dokumentene 09,13, 09,19 og 09,20. Jeg har sett på fire bittorrent-kataloger. Den ene ble brukt av klienten tilgjengelig fra www.popcorntime.sh 2017-12-18 og er navngitt «sh» i dette dokumentet. Den andre brukes i følge dokument 09,12 av klienten tilgjengelig fra popcorntime.ag og popcorntime.sh på ukjent tidspunkt og er navngitt «yts» i dette dokumentet. Den tredje ble brukt av websidene tilgjengelig fra popcorntime-online.tv 2017-12-18 og er navngitt «apidomain» i dette dokumentet. Den fjerde ble brukt av klienten tilgjengelig fra popcorn-time.to i følge dokument 09,12 på ukjent tidspunkt, og er navngitt «ukrfnlge» i dette dokumentet. Hvilke kataloger som brukes av ulike Popcorn Time-klienter endrer seg over tid, da Popcorn Time-klientene i praksis er nettlesere som viser frem ulike nettsider og disse nettsidene bytter datakilder når nettsidens eier ønsker det.

Metoden som Økokrim legger til grunn, skriver i sitt punkt fire at skjønn er en egnet metode for å finne ut om en film kan lovlig deles på Internett eller ikke, og sier at det ble «vurdert hvorvidt det var rimelig å forvente om at verket var vernet av copyright». For det første er det ikke nok å slå fast om en film er «vernet av copyright» for å vite om det er lovlig å dele den på Internett eller ikke, da det finnes flere filmer med opphavsrettslige bruksvilkår som tillater deling på Internett. Eksempler på dette er Creative Commons-lisensierte filmer som Citizenfour fra 2014 og Sintel fra 2010. I tillegg til slike finnes det flere filmer som nå er allemannseie (public domain) på grunn av manglende registrering eller fornying av registrering selv om både regisør, produksjonsselskap og distributør ønsker seg vern. Eksempler på dette er Plan 9 from Outer Space fra 1959 og Night of the Living Dead fra 1968. Alle filmer fra USA som var allemannseie før 1989-03-01 forble i det fri da Bern-konvensjonen, som tok effekt i USA på det tidspunktet, ikke ble gitt tilbakevirkende kraft. Historien om sangen «Happy birthday», der betaling for bruk har vært krevd inn i flere tiår selv om sangen ikke var vernet av åndsverksloven, forteller oss at hvert enkelt verk må vurderes nøye og i detalj før en kan slå fast om verket er allemannseie eller ikke, det holder ikke å tro på selverklærte rettighetshavere. Flere eksempel på verk i det fri som feilklassifiseres som vernet er fra dokument 09,18, som lister opp søkeresultater for pklienten omtalt som popcorntime.sh og i følge notatet kun inneholder en film (The Circus fra 1928) som under tvil kan antas å være allemannseie.

Ved rask gjennomlesning av dokument 09,18, som inneholder skjermbilder fra bruk av en Popcorn Time-variant, fant jeg omtalt både filmen «The Brain That Wouldn't Die» fra 1962 som er tilgjengelig fra Internett-arkivet og som i følge Wikipedia er allemannseie i USA da den ble gitt ut i 1962 uten «copyright»-merking, og filmen «God’s Little Acre» fra 1958 som er lagt ut på Wikipedia, der det fortelles at sort/hvit-utgaven er allemannseie. Det fremgår ikke fra dokument 09,18 om filmen omtalt der er sort/hvit-utgaven. Av kapasitetsårsaker og på grunn av at filmoversikten i dokument 09,18 ikke er maskinlesbart har jeg ikke forsøkt å sjekke alle filmene som listes opp der om mot liste med filmer som er antatt lovlig kan distribueres på Internet.

Ved maskinell gjennomgang av listen med IMDB-referanser under regnearkfanen «Unique titles» i dokument 09.14, fant jeg i tillegg filmen «She Wore a Yellow Ribbon» fra 1949) som nok også er feilklassifisert. Filmen «She Wore a Yellow Ribbon» er tilgjengelig fra Internett-arkivet og markert som allemannseie der. Det virker dermed å være minst fire ganger så mange filmer som kan lovlig deles på Internett enn det som er lagt til grunn når en påstår at minst 99% av innholdet er ulovlig. Jeg ser ikke bort fra at nærmere undersøkelser kan avdekke flere. Poenget er uansett ikke hvor mange filmer i listen som er lovlig å dele på Internet, men at metodens punkt med vurdering av «rimelig å forvente om at verket var vernet av copyright» gjør metoden upålitelig.

Den omtalte målemetoden velger ut tilfeldige søketermer fra ordlisten Dale-Chall. Den ordlisten inneholder 3000 enkle engelske ord som fjerdeklassinger i USA er forventet å forstå. Det fremgår ikke hvorfor akkurat denne ordlisten er valgt, og det er uklart for meg om den er egnet til å få et representativt utvalg av filmer. Mange av ordene gir tomt søkeresultat. Ved å simulerte tilsvarende søk ser jeg store avvik fra fordelingen i katalogen for enkeltmålinger. Dette antyder at enkeltmålinger av 100 filmer slik målemetoden beskriver er gjort, ikke er velegnet til å finne andel ulovlig innhold i bittorrent-katalogene.

En kan motvirke dette store avviket for enkeltmålinger ved å gjøre mange søk og slå sammen resultatet. Jeg har testet ved å gjennomføre 100 enkeltmålinger (dvs. måling av (100x100=) 10 000 tilfeldig valgte filmer) som gir mindre, men fortsatt betydelig avvik, i forhold til telling av filmer pr år i hele katalogen.

Målemetoden henter ut de fem øverste i søkeresultatet. Søkeresultatene er sortert på antall bittorrent-klienter registrert som delere i katalogene, hvilket kan gi en slagside mot hvilke filmer som er populære blant de som bruker bittorrent-katalogene, uten at det forteller noe om hvilket innhold som er tilgjengelig eller hvilket innhold som deles med Popcorn Time-klienter. Jeg har forsøkt å måle hvor stor en slik slagside eventuelt er ved å sammenligne fordelingen hvis en tar de 5 nederste i søkeresultatet i stedet. Avviket for disse to metodene for flere av katalogene er godt synlig på histogramet. Her er histogram over filmer funnet i den komplette katalogen (grønn strek), og filmer funnet ved søk etter ord i Dale-Chall. Grafer merket «top» henter fra de 5 første i søkeresultatet, mens de merket «bottom» henter fra de 5 siste. En kan her se at resultatene påvirkes betydelig av hvorvidt en ser på de første eller de siste filmene i et søketreff.




Det er viktig å merke seg at de omtalte bittorrent-katalogene ikke er laget for bruk med Popcorn Time, men for ulike miljøer av bittorrent-brukere. Eksempelvis tilhører katalogen YTS, som brukes av klientet som ble lastes ned fra popcorntime.sh, et selvstendig fildelings-relatert nettsted YTS.AG med et separat brukermiljø. Målemetoden foreslått av Økokrim måler dermed ikke (u)lovligheten rundt bruken av Popcorn Time, men (u)lovligheten til innholdet i disse katalogene.


Metoden fra Økokrims dokument 09,13 i straffesaken om DNS-beslag.

1. Evaluation of (il)legality

1.1. Methodology

Due to its technical configuration, Popcorn Time applications don't allow to make a full list of all titles made available. In order to evaluate the level of illegal operation of PCT, the following methodology was applied:

  1. A random selection of 50 keywords, greater than 3 letters, was made from the Dale-Chall list that contains 3000 simple English words1. The selection was made by using a Random Number Generator2.
  2. For each keyword, starting with the first randomly selected keyword, a search query was conducted in the movie section of the respective Popcorn Time application. For each keyword, the first five results were added to the title list until the number of 100 unique titles was reached (duplicates were removed).
  3. For one fork, .CH, insufficient titles were generated via this approach to reach 100 titles. This was solved by adding any additional query results above five for each of the 50 keywords. Since this still was not enough, another 42 random keywords were selected to finally reach 100 titles.
  4. It was verified whether or not there is a reasonable expectation that the work is copyrighted by checking if they are available on IMDb, also verifying the director, the year when the title was released, the release date for a certain market, the production company/ies of the title and the distribution company/ies.

1.2. Results

Between 6 and 9 June 2016, four forks of Popcorn Time were investigated: popcorn-time.to, popcorntime.ag, popcorntime.sh and popcorntime.ch. An excel sheet with the results is included in Appendix 1. Screenshots were secured in separate Appendixes for each respective fork, see Appendix 2-5.

For each fork, out of 100, de-duplicated titles it was possible to retrieve data according to the parameters set out above that indicate that the title is commercially available. Per fork, there was 1 title that presumably falls within the public domain, i.e. the 1928 movie "The Circus" by and with Charles Chaplin.

Based on the above it is reasonable to assume that 99% of the movie content of each fork is copyright protected and is made available illegally.

This exercise was not repeated for TV series, but considering that besides production companies and distribution companies also broadcasters may have relevant rights, it is reasonable to assume that at least a similar level of infringement will be established.

Based on the above it is reasonable to assume that 99% of all the content of each fork is copyright protected and are made available illegally.

Som vanlig, hvis du bruker Bitcoin og ønsker å vise din støtte til det jeg driver med, setter jeg pris på om du sender Bitcoin-donasjoner til min adresse 15oWEoG9dUPovwmUL9KWAnYRtNJEkP1u1b. Merk, betaling med bitcoin er ikke anonymt. :)

Tags: fildeling, freeculture, norsk, nuug, opphavsrett, verkidetfri, video.
Release 0.2 of free software archive system Nikita announced
18th October 2018

This morning, the new release of the Nikita Noark 5 core project was announced on the project mailing list. The free software solution is an implementation of the Norwegian archive standard Noark 5 used by government offices in Norway. These were the changes in version 0.2 since version 0.1.1 (from NEWS.md):

The changes and improvements are extensive. Running diffstat on the changes between git tab 0.1.1 and 0.2 show 1098 files changed, 108666 insertions(+), 54066 deletions(-).

If free and open standardized archiving API sound interesting to you, please contact us on IRC (#nikita on irc.freenode.net) or email (nikita-noark mailing list).

As usual, if you use Bitcoin and want to show your support of my activities, please send Bitcoin donations to my address 15oWEoG9dUPovwmUL9KWAnYRtNJEkP1u1b.

Tags: english, noark5, nuug, offentlig innsyn, standard.
Kommentarer til «Evaluation of (il)legality» for Popcorn Time
20th December 2017

I går var jeg i Follo tingrett som sakkyndig vitne og presenterte mine undersøkelser rundt telling av filmverk i det fri, relatert til foreningen NUUGs involvering i saken om Økokrims beslag og senere inndragning av DNS-domenet popcorn-time.no. Jeg snakket om flere ting, men mest om min vurdering av hvordan filmbransjen har målt hvor ulovlig Popcorn Time er. Filmbransjens måling er så vidt jeg kan se videreformidlet uten endringer av norsk politi, og domstolene har lagt målingen til grunn når de har vurdert Popcorn Time både i Norge og i utlandet (tallet 99% er referert også i utenlandske domsavgjørelser).

I forkant av mitt vitnemål skrev jeg et notat, mest til meg selv, med de punktene jeg ønsket å få frem. Her er en kopi av notatet jeg skrev og ga til aktoratet. Merkelig nok ville ikke dommerene ha notatet, så hvis jeg forsto rettsprosessen riktig ble kun histogram-grafen lagt inn i dokumentasjonen i saken. Dommerne var visst bare interessert i å forholde seg til det jeg sa i retten, ikke det jeg hadde skrevet i forkant. Uansett så antar jeg at flere enn meg kan ha glede av teksten, og publiserer den derfor her. Legger ved avskrift av dokument 09,13, som er det sentrale dokumentet jeg kommenterer.

Kommentarer til «Evaluation of (il)legality» for Popcorn Time

Oppsummering

Målemetoden som Økokrim har lagt til grunn når de påstår at 99% av filmene tilgjengelig fra Popcorn Time deles ulovlig har svakheter.

De eller den som har vurdert hvorvidt filmer kan lovlig deles har ikke lyktes med å identifisere filmer som kan deles lovlig og har tilsynelatende antatt at kun veldig gamle filmer kan deles lovlig. Økokrim legger til grunn at det bare finnes èn film, Charlie Chaplin-filmen «The Circus» fra 1928, som kan deles fritt blant de som ble observert tilgjengelig via ulike Popcorn Time-varianter. Jeg finner tre flere blant de observerte filmene: «The Brain That Wouldn't Die» fra 1962, «God’s Little Acre» fra 1958 og «She Wore a Yellow Ribbon» fra 1949. Det er godt mulig det finnes flere. Det finnes dermed minst fire ganger så mange filmer som lovlig kan deles på Internett i datasettet Økokrim har lagt til grunn når det påstås at mindre enn 1 % kan deles lovlig.

Dernest, utplukket som gjøres ved søk på tilfeldige ord hentet fra ordlisten til Dale-Chall avviker fra årsfordelingen til de brukte filmkatalogene som helhet, hvilket påvirker fordelingen mellom filmer som kan lovlig deles og filmer som ikke kan lovlig deles. I tillegg gir valg av øvre del (de fem første) av søkeresultatene et avvik fra riktig årsfordeling, hvilket påvirker fordelingen av verk i det fri i søkeresultatet.

Det som måles er ikke (u)lovligheten knyttet til bruken av Popcorn Time, men (u)lovligheten til innholdet i bittorrent-filmkataloger som vedlikeholdes uavhengig av Popcorn Time.

Omtalte dokumenter: 09,12, 09,13, 09,14, 09,18, 09,19, 09,20.

Utfyllende kommentarer

Økokrim har forklart domstolene at minst 99% av alt som er tilgjengelig fra ulike Popcorn Time-varianter deles ulovlig på Internet. Jeg ble nysgjerrig på hvordan de er kommet frem til dette tallet, og dette notatet er en samling kommentarer rundt målingen Økokrim henviser til. Litt av bakgrunnen for at jeg valgte å se på saken er at jeg er interessert i å identifisere og telle hvor mange kunstneriske verk som er falt i det fri eller av andre grunner kan lovlig deles på Internett, og dermed var interessert i hvordan en hadde funnet den ene prosenten som kanskje deles lovlig.

Andelen på 99% kommer fra et ukreditert og udatert notatet som tar mål av seg å dokumentere en metode for å måle hvor (u)lovlig ulike Popcorn Time-varianter er.

Raskt oppsummert, så forteller metodedokumentet at på grunn av at det ikke er mulig å få tak i komplett liste over alle filmtitler tilgjengelig via Popcorn Time, så lages noe som skal være et representativt utvalg ved å velge 50 søkeord større enn tre tegn fra ordlisten kjent som Dale-Chall. For hvert søkeord gjøres et søk og de første fem filmene i søkeresultatet samles inn inntil 100 unike filmtitler er funnet. Hvis 50 søkeord ikke var tilstrekkelig for å nå 100 unike filmtitler ble flere filmer fra hvert søkeresultat lagt til. Hvis dette heller ikke var tilstrekkelig, så ble det hentet ut og søkt på flere tilfeldig valgte søkeord inntil 100 unike filmtitler var identifisert.

Deretter ble for hver av filmtitlene «vurdert hvorvidt det var rimelig å forvente om at verket var vernet av copyright, ved å se på om filmen var tilgjengelig i IMDB, samt se på regissør, utgivelsesår, når det var utgitt for bestemte markedsområder samt hvilke produksjons- og distribusjonsselskap som var registrert» (min oversettelse).

Metoden er gjengitt både i de ukrediterte dokumentene 09,13 og 09,19, samt beskrevet fra side 47 i dokument 09,20, lysark datert 2017-02-01. Sistnevnte er kreditert Geerart Bourlon fra Motion Picture Association EMEA. Metoden virker å ha flere svakheter som gir resultatene en slagside. Den starter med å slå fast at det ikke er mulig å hente ut en komplett liste over alle filmtitler som er tilgjengelig, og at dette er bakgrunnen for metodevalget. Denne forutsetningen er ikke i tråd med det som står i dokument 09,12, som ikke heller har oppgitt forfatter og dato. Dokument 09,12 forteller hvordan hele kataloginnholdet ble lasted ned og talt opp. Dokument 09,12 er muligens samme rapport som ble referert til i dom fra Oslo Tingrett 2017-11-03 (sak 17-093347TVI-OTIR/05) som rapport av 1. juni 2017 av Alexander Kind Petersen, men jeg har ikke sammenlignet dokumentene ord for ord for å kontrollere dette.

IMDB er en forkortelse for The Internet Movie Database, en anerkjent kommersiell nettjeneste som brukes aktivt av både filmbransjen og andre til å holde rede på hvilke spillefilmer (og endel andre filmer) som finnes eller er under produksjon, og informasjon om disse filmene. Datakvaliteten er høy, med få feil og få filmer som mangler. IMDB viser ikke informasjon om opphavsrettslig status for filmene på infosiden for hver film. Som del av IMDB-tjenesten finnes det lister med filmer laget av frivillige som lister opp det som antas å være verk i det fri.

Det finnes flere kilder som kan brukes til å finne filmer som er allemannseie (public domain) eller har bruksvilkår som gjør det lovlig for alleå dele dem på Internett. Jeg har de siste ukene forsøkt å samle og krysskoble disse listene for å forsøke å telle antall filmer i det fri. Ved å ta utgangspunkt i slike lister (og publiserte filmer for Internett-arkivets del), har jeg så langt klart å identifisere over 11 000 filmer, hovedsaklig spillefilmer.

De aller fleste oppføringene er hentet fra IMDB selv, basert på det faktum at alle filmer laget i USA før 1923 er falt i det fri. Tilsvarende tidsgrense for Storbritannia er 1912-07-01, men dette utgjør bare veldig liten del av spillefilmene i IMDB (19 totalt). En annen stor andel kommer fra Internett-arkivet, der jeg har identifisert filmer med referanse til IMDB. Internett-arkivet, som holder til i USA, har som policy å kun publisere filmer som det er lovlig å distribuere. Jeg har under arbeidet kommet over flere filmer som har blitt fjernet fra Internett-arkivet, hvilket gjør at jeg konkluderer med at folkene som kontrollerer Internett-arkivet har et aktivt forhold til å kun ha lovlig innhold der, selv om det i stor grad er drevet av frivillige. En annen stor liste med filmer kommer fra det kommersielle selskapet Retro Film Vault, som selger allemannseide filmer til TV- og filmbransjen, Jeg har også benyttet meg av lister over filmer som hevdes å være allemannseie, det være seg Public Domain Review, Public Domain Torrents og Public Domain Movies (.net og .info), samt lister over filmer med Creative Commons-lisensiering fra Wikipedia, VODO og The Hill Productions. Jeg har gjort endel stikkontroll ved å vurdere filmer som kun omtales på en liste. Der jeg har funnet feil som har gjort meg i tvil om vurderingen til de som har laget listen har jeg forkastet listen fullstendig (gjelder en liste fra IMDB).

Ved å ta utgangspunkt i verk som kan antas å være lovlig delt på Internett (fra blant annet Internett-arkivet, Public Domain Torrents, Public Domain Reivew og Public Domain Movies), og knytte dem til oppføringer i IMDB, så har jeg så langt klart å identifisere over 11 000 filmer (hovedsaklig spillefilmer) det er grunn til å tro kan lovlig distribueres av alle på Internett. Som ekstra kilder er det brukt lister over filmer som antas/påstås å være allemannseie. Disse kildene kommer fra miljøer som jobber for å gjøre tilgjengelig for almennheten alle verk som er falt i det fri eller har bruksvilkår som tillater deling.

I tillegg til de over 11 000 filmene der tittel-ID i IMDB er identifisert, har jeg funnet mer enn 20 000 oppføringer der jeg ennå ikke har hatt kapasitet til å spore opp tittel-ID i IMDB. Noen av disse er nok duplikater av de IMDB-oppføringene som er identifisert så langt, men neppe alle. Retro Film Vault hevder å ha 44 000 filmverk i det fri i sin katalog, så det er mulig at det reelle tallet er betydelig høyere enn de jeg har klart å identifisere så langt. Konklusjonen er at tallet 11 000 er nedre grense for hvor mange filmer i IMDB som kan lovlig deles på Internett. I følge statistikk fra IMDB er det 4.6 millioner titler registrert, hvorav 3 millioner er TV-serieepisoder. Jeg har ikke funnet ut hvordan de fordeler seg per år.

Hvis en fordeler på år alle tittel-IDene i IMDB som hevdes å lovlig kunne deles på Internett, får en følgende histogram:

En kan i histogrammet se at effekten av manglende registrering eller fornying av registrering er at mange filmer gitt ut i USA før 1978 er allemannseie i dag. I tillegg kan en se at det finnes flere filmer gitt ut de siste årene med bruksvilkår som tillater deling, muligens på grunn av fremveksten av Creative Commons-bevegelsen..

For maskinell analyse av katalogene har jeg laget et lite program som kobler seg til bittorrent-katalogene som brukes av ulike Popcorn Time-varianter og laster ned komplett liste over filmer i katalogene, noe som bekrefter at det er mulig å hente ned komplett liste med alle filmtitler som er tilgjengelig. Jeg har sett på fire bittorrent-kataloger. Den ene brukes av klienten tilgjengelig fra www.popcorntime.sh og er navngitt 'sh' i dette dokumentet. Den andre brukes i følge dokument 09,12 av klienten tilgjengelig fra popcorntime.ag og popcorntime.sh og er navngitt 'yts' i dette dokumentet. Den tredje brukes av websidene tilgjengelig fra popcorntime-online.tv og er navngitt 'apidomain' i dette dokumentet. Den fjerde brukes av klienten tilgjenglig fra popcorn-time.to i følge dokument 09,12, og er navngitt 'ukrfnlge' i dette dokumentet.

Metoden Økokrim legger til grunn skriver i sitt punkt fire at skjønn er en egnet metode for å finne ut om en film kan lovlig deles på Internett eller ikke, og sier at det ble «vurdert hvorvidt det var rimelig å forvente om at verket var vernet av copyright». For det første er det ikke nok å slå fast om en film er «vernet av copyright» for å vite om det er lovlig å dele den på Internett eller ikke, da det finnes flere filmer med opphavsrettslige bruksvilkår som tillater deling på Internett. Eksempler på dette er Creative Commons-lisensierte filmer som Citizenfour fra 2014 og Sintel fra 2010. I tillegg til slike finnes det flere filmer som nå er allemannseie (public domain) på grunn av manglende registrering eller fornying av registrering selv om både regisør, produksjonsselskap og distributør ønsker seg vern. Eksempler på dette er Plan 9 from Outer Space fra 1959 og Night of the Living Dead fra 1968. Alle filmer fra USA som var allemannseie før 1989-03-01 forble i det fri da Bern-konvensjonen, som tok effekt i USA på det tidspunktet, ikke ble gitt tilbakevirkende kraft. Hvis det er noe historien om sangen «Happy birthday» forteller oss, der betaling for bruk har vært krevd inn i flere tiår selv om sangen ikke egentlig var vernet av åndsverksloven, så er det at hvert enkelt verk må vurderes nøye og i detalj før en kan slå fast om verket er allemannseie eller ikke, det holder ikke å tro på selverklærte rettighetshavere. Flere eksempel på verk i det fri som feilklassifiseres som vernet er fra dokument 09,18, som lister opp søkeresultater for klienten omtalt som popcorntime.sh og i følge notatet kun inneholder en film (The Circus fra 1928) som under tvil kan antas å være allemannseie.

Ved rask gjennomlesning av dokument 09,18, som inneholder skjermbilder fra bruk av en Popcorn Time-variant, fant jeg omtalt både filmen «The Brain That Wouldn't Die» fra 1962 som er tilgjengelig fra Internett-arkivet og som i følge Wikipedia er allemannseie i USA da den ble gitt ut i 1962 uten 'copyright'-merking, og filmen «God’s Little Acre» fra 1958 som er lagt ut på Wikipedia, der det fortelles at sort/hvit-utgaven er allemannseie. Det fremgår ikke fra dokument 09,18 om filmen omtalt der er sort/hvit-utgaven. Av kapasitetsårsaker og på grunn av at filmoversikten i dokument 09,18 ikke er maskinlesbart har jeg ikke forsøkt å sjekke alle filmene som listes opp der om mot liste med filmer som er antatt lovlig kan distribueres på Internet.

Ved maskinell gjennomgang av listen med IMDB-referanser under regnearkfanen 'Unique titles' i dokument 09.14, fant jeg i tillegg filmen «She Wore a Yellow Ribbon» fra 1949) som nok også er feilklassifisert. Filmen «She Wore a Yellow Ribbon» er tilgjengelig fra Internett-arkivet og markert som allemannseie der. Det virker dermed å være minst fire ganger så mange filmer som kan lovlig deles på Internett enn det som er lagt til grunn når en påstår at minst 99% av innholdet er ulovlig. Jeg ser ikke bort fra at nærmere undersøkelser kan avdekke flere. Poenget er uansett at metodens punkt om «rimelig å forvente om at verket var vernet av copyright» gjør metoden upålitelig.

Den omtalte målemetoden velger ut tilfeldige søketermer fra ordlisten Dale-Chall. Den ordlisten inneholder 3000 enkle engelske som fjerdeklassinger i USA er forventet å forstå. Det fremgår ikke hvorfor akkurat denne ordlisten er valgt, og det er uklart for meg om den er egnet til å få et representativt utvalg av filmer. Mange av ordene gir tomt søkeresultat. Ved å simulerte tilsvarende søk ser jeg store avvik fra fordelingen i katalogen for enkeltmålinger. Dette antyder at enkeltmålinger av 100 filmer slik målemetoden beskriver er gjort, ikke er velegnet til å finne andel ulovlig innhold i bittorrent-katalogene.

En kan motvirke dette store avviket for enkeltmålinger ved å gjøre mange søk og slå sammen resultatet. Jeg har testet ved å gjennomføre 100 enkeltmålinger (dvs. måling av (100x100=) 10 000 tilfeldig valgte filmer) som gir mindre, men fortsatt betydelig avvik, i forhold til telling av filmer pr år i hele katalogen.

Målemetoden henter ut de fem øverste i søkeresultatet. Søkeresultatene er sortert på antall bittorrent-klienter registrert som delere i katalogene, hvilket kan gi en slagside mot hvilke filmer som er populære blant de som bruker bittorrent-katalogene, uten at det forteller noe om hvilket innhold som er tilgjengelig eller hvilket innhold som deles med Popcorn Time-klienter. Jeg har forsøkt å måle hvor stor en slik slagside eventuelt er ved å sammenligne fordelingen hvis en tar de 5 nederste i søkeresultatet i stedet. Avviket for disse to metodene for endel kataloger er godt synlig på histogramet. Her er histogram over filmer funnet i den komplette katalogen (grønn strek), og filmer funnet ved søk etter ord i Dale-Chall. Grafer merket 'top' henter fra de 5 første i søkeresultatet, mens de merket 'bottom' henter fra de 5 siste. En kan her se at resultatene påvirkes betydelig av hvorvidt en ser på de første eller de siste filmene i et søketreff.




Det er verdt å bemerke at de omtalte bittorrent-katalogene ikke er laget for bruk med Popcorn Time. Eksempelvis tilhører katalogen YTS, som brukes av klientet som ble lastes ned fra popcorntime.sh, et selvstendig fildelings-relatert nettsted YTS.AG med et separat brukermiljø. Målemetoden foreslått av Økokrim måler dermed ikke (u)lovligheten rundt bruken av Popcorn Time, men (u)lovligheten til innholdet i disse katalogene.


Metoden fra Økokrims dokument 09,13 i straffesaken om DNS-beslag.

1. Evaluation of (il)legality

1.1. Methodology

Due to its technical configuration, Popcorn Time applications don't allow to make a full list of all titles made available. In order to evaluate the level of illegal operation of PCT, the following methodology was applied:

  1. A random selection of 50 keywords, greater than 3 letters, was made from the Dale-Chall list that contains 3000 simple English words1. The selection was made by using a Random Number Generator2.
  2. For each keyword, starting with the first randomly selected keyword, a search query was conducted in the movie section of the respective Popcorn Time application. For each keyword, the first five results were added to the title list until the number of 100 unique titles was reached (duplicates were removed).
  3. For one fork, .CH, insufficient titles were generated via this approach to reach 100 titles. This was solved by adding any additional query results above five for each of the 50 keywords. Since this still was not enough, another 42 random keywords were selected to finally reach 100 titles.
  4. It was verified whether or not there is a reasonable expectation that the work is copyrighted by checking if they are available on IMDb, also verifying the director, the year when the title was released, the release date for a certain market, the production company/ies of the title and the distribution company/ies.

1.2. Results

Between 6 and 9 June 2016, four forks of Popcorn Time were investigated: popcorn-time.to, popcorntime.ag, popcorntime.sh and popcorntime.ch. An excel sheet with the results is included in Appendix 1. Screenshots were secured in separate Appendixes for each respective fork, see Appendix 2-5.

For each fork, out of 100, de-duplicated titles it was possible to retrieve data according to the parameters set out above that indicate that the title is commercially available. Per fork, there was 1 title that presumably falls within the public domain, i.e. the 1928 movie "The Circus" by and with Charles Chaplin.

Based on the above it is reasonable to assume that 99% of the movie content of each fork is copyright protected and is made available illegally.

This exercise was not repeated for TV series, but considering that besides production companies and distribution companies also broadcasters may have relevant rights, it is reasonable to assume that at least a similar level of infringement will be established.

Based on the above it is reasonable to assume that 99% of all the content of each fork is copyright protected and are made available illegally.

Tags: fildeling, freeculture, norsk, nuug, opphavsrett, verkidetfri, video.
Release 0.1.1 of free software archive system Nikita announced
10th June 2017

I am very happy to report that the Nikita Noark 5 core project tagged its second release today. The free software solution is an implementation of the Norwegian archive standard Noark 5 used by government offices in Norway. These were the changes in version 0.1.1 since version 0.1.0 (from NEWS.md):

If this sound interesting to you, please contact us on IRC (#nikita on irc.freenode.net) or email (nikita-noark mailing list).

Tags: english, noark5, nuug, offentlig innsyn, standard.
Free software archive system Nikita now able to store documents
19th March 2017

The Nikita Noark 5 core project is implementing the Norwegian standard for keeping an electronic archive of government documents. The Noark 5 standard document the requirement for data systems used by the archives in the Norwegian government, and the Noark 5 web interface specification document a REST web service for storing, searching and retrieving documents and metadata in such archive. I've been involved in the project since a few weeks before Christmas, when the Norwegian Unix User Group announced it supported the project. I believe this is an important project, and hope it can make it possible for the government archives in the future to use free software to keep the archives we citizens depend on. But as I do not hold such archive myself, personally my first use case is to store and analyse public mail journal metadata published from the government. I find it useful to have a clear use case in mind when developing, to make sure the system scratches one of my itches.

If you would like to help make sure there is a free software alternatives for the archives, please join our IRC channel (#nikita on irc.freenode.net) and the project mailing list.

When I got involved, the web service could store metadata about documents. But a few weeks ago, a new milestone was reached when it became possible to store full text documents too. Yesterday, I completed an implementation of a command line tool archive-pdf to upload a PDF file to the archive using this API. The tool is very simple at the moment, and find existing fonds, series and files while asking the user to select which one to use if more than one exist. Once a file is identified, the PDF is associated with the file and uploaded, using the title extracted from the PDF itself. The process is fairly similar to visiting the archive, opening a cabinet, locating a file and storing a piece of paper in the archive. Here is a test run directly after populating the database with test data using our API tester:

~/src//noark5-tester$ ./archive-pdf mangelmelding/mangler.pdf
using arkiv: Title of the test fonds created 2017-03-18T23:49:32.103446
using arkivdel: Title of the test series created 2017-03-18T23:49:32.103446

 0 - Title of the test case file created 2017-03-18T23:49:32.103446
 1 - Title of the test file created 2017-03-18T23:49:32.103446
Select which mappe you want (or search term): 0
Uploading mangelmelding/mangler.pdf
  PDF title: Mangler i spesifikasjonsdokumentet for NOARK 5 Tjenestegrensesnitt
  File 2017/1: Title of the test case file created 2017-03-18T23:49:32.103446
~/src//noark5-tester$

You can see here how the fonds (arkiv) and serie (arkivdel) only had one option, while the user need to choose which file (mappe) to use among the two created by the API tester. The archive-pdf tool can be found in the git repository for the API tester.

In the project, I have been mostly working on the API tester so far, while getting to know the code base. The API tester currently use the HATEOAS links to traverse the entire exposed service API and verify that the exposed operations and objects match the specification, as well as trying to create objects holding metadata and uploading a simple XML file to store. The tester has proved very useful for finding flaws in our implementation, as well as flaws in the reference site and the specification.

The test document I uploaded is a summary of all the specification defects we have collected so far while implementing the web service. There are several unclear and conflicting parts of the specification, and we have started writing down the questions we get from implementing it. We use a format inspired by how The Austin Group collect defect reports for the POSIX standard with their instructions for the MANTIS defect tracker system, in lack of an official way to structure defect reports for Noark 5 (our first submitted defect report was a request for a procedure for submitting defect reports :).

The Nikita project is implemented using Java and Spring, and is fairly easy to get up and running using Docker containers for those that want to test the current code base. The API tester is implemented in Python.

Tags: english, noark5, nuug, offentlig innsyn, standard.
Detect OOXML files with undefined behaviour?
21st February 2017

I just noticed the new Norwegian proposal for archiving rules in the goverment list ECMA-376 / ISO/IEC 29500 (aka OOXML) as valid formats to put in long term storage. Luckily such files will only be accepted based on pre-approval from the National Archive. Allowing OOXML files to be used for long term storage might seem like a good idea as long as we forget that there are plenty of ways for a "valid" OOXML document to have content with no defined interpretation in the standard, which lead to a question and an idea.

Is there any tool to detect if a OOXML document depend on such undefined behaviour? It would be useful for the National Archive (and anyone else interested in verifying that a document is well defined) to have such tool available when considering to approve the use of OOXML. I'm aware of the officeotron OOXML validator, but do not know how complete it is nor if it will report use of undefined behaviour. Are there other similar tools available? Please send me an email if you know of any such tool.

Tags: english, nuug, standard.
Ruling ignored our objections to the seizure of popcorn-time.no (#domstolkontroll)
13th February 2017

A few days ago, we received the ruling from my day in court. The case in question is a challenge of the seizure of the DNS domain popcorn-time.no. The ruling simply did not mention most of our arguments, and seemed to take everything ØKOKRIM said at face value, ignoring our demonstration and explanations. But it is hard to tell for sure, as we still have not seen most of the documents in the case and thus were unprepared and unable to contradict several of the claims made in court by the opposition. We are considering an appeal, but it is partly a question of funding, as it is costing us quite a bit to pay for our lawyer. If you want to help, please donate to the NUUG defense fund.

The details of the case, as far as we know it, is available in Norwegian from the NUUG blog. This also include the ruling itself.

Tags: english, nuug, offentlig innsyn, opphavsrett.
A day in court challenging seizure of popcorn-time.no for #domstolkontroll
3rd February 2017

On Wednesday, I spent the entire day in court in Follo Tingrett representing the member association NUUG, alongside the member association EFN and the DNS registrar IMC, challenging the seizure of the DNS name popcorn-time.no. It was interesting to sit in a court of law for the first time in my life. Our team can be seen in the picture above: attorney Ola Tellesbø, EFN board member Tom Fredrik Blenning, IMC CEO Morten Emil Eriksen and NUUG board member Petter Reinholdtsen.

The case at hand is that the Norwegian National Authority for Investigation and Prosecution of Economic and Environmental Crime (aka Økokrim) decided on their own, to seize a DNS domain early last year, without following the official policy of the Norwegian DNS authority which require a court decision. The web site in question was a site covering Popcorn Time. And Popcorn Time is the name of a technology with both legal and illegal applications. Popcorn Time is a client combining searching a Bittorrent directory available on the Internet with downloading/distribute content via Bittorrent and playing the downloaded content on screen. It can be used illegally if it is used to distribute content against the will of the right holder, but it can also be used legally to play a lot of content, for example the millions of movies available from the Internet Archive or the collection available from Vodo. We created a video demonstrating legally use of Popcorn Time and played it in Court. It can of course be downloaded using Bittorrent.

I did not quite know what to expect from a day in court. The government held on to their version of the story and we held on to ours, and I hope the judge is able to make sense of it all. We will know in two weeks time. Unfortunately I do not have high hopes, as the Government have the upper hand here with more knowledge about the case, better training in handling criminal law and in general higher standing in the courts than fairly unknown DNS registrar and member associations. It is expensive to be right also in Norway. So far the case have cost more than NOK 70 000,-. To help fund the case, NUUG and EFN have asked for donations, and managed to collect around NOK 25 000,- so far. Given the presentation from the Government, I expect the government to appeal if the case go our way. And if the case do not go our way, I hope we have enough funding to appeal.

From the other side came two people from Økokrim. On the benches, appearing to be part of the group from the government were two people from the Simonsen Vogt Wiik lawyer office, and three others I am not quite sure who was. Økokrim had proposed to present two witnesses from The Motion Picture Association, but this was rejected because they did not speak Norwegian and it was a bit late to bring in a translator, but perhaps the two from MPA were present anyway. All seven appeared to know each other. Good to see the case is take seriously.

If you, like me, believe the courts should be involved before a DNS domain is hijacked by the government, or you believe the Popcorn Time technology have a lot of useful and legal applications, I suggest you too donate to the NUUG defense fund. Both Bitcoin and bank transfer are available. If NUUG get more than we need for the legal action (very unlikely), the rest will be spend promoting free software, open standards and unix-like operating systems in Norway, so no matter what happens the money will be put to good use.

If you want to lean more about the case, I recommend you check out the blog posts from NUUG covering the case. They cover the legal arguments on both sides.

Tags: english, nuug, offentlig innsyn, opphavsrett.
Bryter NAV sin egen personvernerklæring?
11th January 2017

Jeg leste med interesse en nyhetssak hos digi.no og NRK om at det ikke bare er meg, men at også NAV bedriver geolokalisering av IP-adresser, og at det gjøres analyse av IP-adressene til de som sendes inn meldekort for å se om meldekortet sendes inn fra utenlandske IP-adresser. Politiadvokat i Drammen, Hans Lyder Haare, er sitert i NRK på at «De to er jo blant annet avslørt av IP-adresser. At man ser at meldekortet kommer fra utlandet.»

Jeg synes det er fint at det blir bedre kjent at IP-adresser knyttes til enkeltpersoner og at innsamlet informasjon brukes til å stedsbestemme personer også av aktører her i Norge. Jeg ser det som nok et argument for å bruke Tor så mye som mulig for å gjøre gjøre IP-lokalisering vanskeligere, slik at en kan beskytte sin privatsfære og unngå å dele sin fysiske plassering med uvedkommede.

Men det er en ting som bekymrer meg rundt denne nyheten. Jeg ble tipset (takk #nuug) om NAVs personvernerklæring, som under punktet «Personvern og statistikk» lyder:

«Når du besøker nav.no, etterlater du deg elektroniske spor. Sporene dannes fordi din nettleser automatisk sender en rekke opplysninger til NAVs tjener (server-maskin) hver gang du ber om å få vist en side. Det er eksempelvis opplysninger om hvilken nettleser og -versjon du bruker, og din internettadresse (ip-adresse). For hver side som vises, lagres følgende opplysninger:

  • hvilken side du ser på
  • dato og tid
  • hvilken nettleser du bruker
  • din ip-adresse

Ingen av opplysningene vil bli brukt til å identifisere enkeltpersoner. NAV bruker disse opplysningene til å generere en samlet statistikk som blant annet viser hvilke sider som er mest populære. Statistikken er et redskap til å forbedre våre tjenester.»

Jeg klarer ikke helt å se hvordan analyse av de besøkendes IP-adresser for å se hvem som sender inn meldekort via web fra en IP-adresse i utlandet kan gjøres uten å komme i strid med påstanden om at «ingen av opplysningene vil bli brukt til å identifisere enkeltpersoner». Det virker dermed for meg som at NAV bryter sine egen personvernerklæring, hvilket Datatilsynet fortalte meg i starten av desember antagelig er brudd på personopplysningsloven.

I tillegg er personvernerklæringen ganske misvisende i og med at NAVs nettsider ikke bare forsyner NAV med personopplysninger, men i tillegg ber brukernes nettleser kontakte fem andre nettjenere (script.hotjar.com, static.hotjar.com, vars.hotjar.com, www.google-analytics.com og www.googletagmanager.com), slik at personopplysninger blir gjort tilgjengelig for selskapene Hotjar og Google , og alle som kan lytte på trafikken på veien (som FRA, GCHQ og NSA). Jeg klarer heller ikke se hvordan slikt spredning av personopplysninger kan være i tråd med kravene i personopplysningloven, eller i tråd med NAVs personvernerklæring.

Kanskje NAV bør ta en nøye titt på sin personvernerklæring? Eller kanskje Datatilsynet bør gjøre det?

Tags: norsk, nuug, personvern, surveillance.
Where did that package go? — geolocated IP traceroute
9th January 2017

Did you ever wonder where the web trafic really flow to reach the web servers, and who own the network equipment it is flowing through? It is possible to get a glimpse of this from using traceroute, but it is hard to find all the details. Many years ago, I wrote a system to map the Norwegian Internet (trying to figure out if our plans for a network game service would get low enough latency, and who we needed to talk to about setting up game servers close to the users. Back then I used traceroute output from many locations (I asked my friends to run a script and send me their traceroute output) to create the graph and the map. The output from traceroute typically look like this:

traceroute to www.stortinget.no (85.88.67.10), 30 hops max, 60 byte packets
 1  uio-gw10.uio.no (129.240.202.1)  0.447 ms  0.486 ms  0.621 ms
 2  uio-gw8.uio.no (129.240.24.229)  0.467 ms  0.578 ms  0.675 ms
 3  oslo-gw1.uninett.no (128.39.65.17)  0.385 ms  0.373 ms  0.358 ms
 4  te3-1-2.br1.fn3.as2116.net (193.156.90.3)  1.174 ms  1.172 ms  1.153 ms
 5  he16-1-1.cr1.san110.as2116.net (195.0.244.234)  2.627 ms he16-1-1.cr2.oslosda310.as2116.net (195.0.244.48)  3.172 ms he16-1-1.cr1.san110.as2116.net (195.0.244.234)  2.857 ms
 6  ae1.ar8.oslosda310.as2116.net (195.0.242.39)  0.662 ms  0.637 ms ae0.ar8.oslosda310.as2116.net (195.0.242.23)  0.622 ms
 7  89.191.10.146 (89.191.10.146)  0.931 ms  0.917 ms  0.955 ms
 8  * * *
 9  * * *
[...]

This show the DNS names and IP addresses of (at least some of the) network equipment involved in getting the data traffic from me to the www.stortinget.no server, and how long it took in milliseconds for a package to reach the equipment and return to me. Three packages are sent, and some times the packages do not follow the same path. This is shown for hop 5, where three different IP addresses replied to the traceroute request.

There are many ways to measure trace routes. Other good traceroute implementations I use are traceroute (using ICMP packages) mtr (can do both ICMP, UDP and TCP) and scapy (python library with ICMP, UDP, TCP traceroute and a lot of other capabilities). All of them are easily available in Debian.

This time around, I wanted to know the geographic location of different route points, to visualize how visiting a web page spread information about the visit to a lot of servers around the globe. The background is that a web site today often will ask the browser to get from many servers the parts (for example HTML, JSON, fonts, JavaScript, CSS, video) required to display the content. This will leak information about the visit to those controlling these servers and anyone able to peek at the data traffic passing by (like your ISP, the ISPs backbone provider, FRA, GCHQ, NSA and others).

Lets pick an example, the Norwegian parliament web site www.stortinget.no. It is read daily by all members of parliament and their staff, as well as political journalists, activits and many other citizens of Norway. A visit to the www.stortinget.no web site will ask your browser to contact 8 other servers: ajax.googleapis.com, insights.hotjar.com, script.hotjar.com, static.hotjar.com, stats.g.doubleclick.net, www.google-analytics.com, www.googletagmanager.com and www.netigate.se. I extracted this by asking PhantomJS to visit the Stortinget web page and tell me all the URLs PhantomJS downloaded to render the page (in HAR format using their netsniff example. I am very grateful to Gorm for showing me how to do this). My goal is to visualize network traces to all IP addresses behind these DNS names, do show where visitors personal information is spread when visiting the page.

map of combined traces for URLs used by www.stortinget.no using GeoIP

When I had a look around for options, I could not find any good free software tools to do this, and decided I needed my own traceroute wrapper outputting KML based on locations looked up using GeoIP. KML is easy to work with and easy to generate, and understood by several of the GIS tools I have available. I got good help from by NUUG colleague Anders Einar with this, and the result can be seen in my kmltraceroute git repository. Unfortunately, the quality of the free GeoIP databases I could find (and the for-pay databases my friends had access to) is not up to the task. The IP addresses of central Internet infrastructure would typically be placed near the controlling companies main office, and not where the router is really located, as you can see from the KML file I created using the GeoLite City dataset from MaxMind.

scapy traceroute graph for URLs used by www.stortinget.no

I also had a look at the visual traceroute graph created by the scrapy project, showing IP network ownership (aka AS owner) for the IP address in question. The graph display a lot of useful information about the traceroute in SVG format, and give a good indication on who control the network equipment involved, but it do not include geolocation. This graph make it possible to see the information is made available at least for UNINETT, Catchcom, Stortinget, Nordunet, Google, Amazon, Telia, Level 3 Communications and NetDNA.

example geotraceroute view for www.stortinget.no

In the process, I came across the web service GeoTraceroute by Salim Gasmi. Its methology of combining guesses based on DNS names, various location databases and finally use latecy times to rule out candidate locations seemed to do a very good job of guessing correct geolocation. But it could only do one trace at the time, did not have a sensor in Norway and did not make the geolocations easily available for postprocessing. So I contacted the developer and asked if he would be willing to share the code (he refused until he had time to clean it up), but he was interested in providing the geolocations in a machine readable format, and willing to set up a sensor in Norway. So since yesterday, it is possible to run traces from Norway in this service thanks to a sensor node set up by the NUUG assosiation, and get the trace in KML format for further processing.

map of combined traces for URLs used by www.stortinget.no using geotraceroute

Here we can see a lot of trafic passes Sweden on its way to Denmark, Germany, Holland and Ireland. Plenty of places where the Snowden confirmations verified the traffic is read by various actors without your best interest as their top priority.

Combining KML files is trivial using a text editor, so I could loop over all the hosts behind the urls imported by www.stortinget.no and ask for the KML file from GeoTraceroute, and create a combined KML file with all the traces (unfortunately only one of the IP addresses behind the DNS name is traced this time. To get them all, one would have to request traces using IP number instead of DNS names from GeoTraceroute). That might be the next step in this project.

Armed with these tools, I find it a lot easier to figure out where the IP traffic moves and who control the boxes involved in moving it. And every time the link crosses for example the Swedish border, we can be sure Swedish Signal Intelligence (FRA) is listening, as GCHQ do in Britain and NSA in USA and cables around the globe. (Hm, what should we tell them? :) Keep that in mind if you ever send anything unencrypted over the Internet.

PS: KML files are drawn using the KML viewer from Ivan Rublev, as it was less cluttered than the local Linux application Marble. There are heaps of other options too.

As usual, if you use Bitcoin and want to show your support of my activities, please send Bitcoin donations to my address 15oWEoG9dUPovwmUL9KWAnYRtNJEkP1u1b.

Tags: debian, english, kart, nuug, personvern, stortinget, surveillance, web.
Techno TV broadcasting live across Norway and the Internet (#debconf16, #nuug) on @frikanalen
1st August 2016

Did you know there is a TV channel broadcasting talks from DebConf 16 across an entire country? Or that there is a TV channel broadcasting talks by or about Linus Torvalds, Tor, OpenID, Common Lisp, Civic Tech, EFF founder John Barlow, how to make 3D printer electronics and many more fascinating topics? It works using only free software (all of it available from Github), and is administrated using a web browser and a web API.

The TV channel is the Norwegian open channel Frikanalen, and I am involved via the NUUG member association in running and developing the software for the channel. The channel is organised as a member organisation where its members can upload and broadcast what they want (think of it as Youtube for national broadcasting television). Individuals can broadcast too. The time slots are handled on a first come, first serve basis. Because the channel have almost no viewers and very few active members, we can experiment with TV technology without too much flack when we make mistakes. And thanks to the few active members, most of the slots on the schedule are free. I see this as an opportunity to spread knowledge about technology and free software, and have a script I run regularly to fill up all the open slots the next few days with technology related video. The end result is a channel I like to describe as Techno TV - filled with interesting talks and presentations.

It is available on channel 50 on the Norwegian national digital TV network (RiksTV). It is also available as a multicast stream on Uninett. And finally, it is available as a WebM unicast stream from Frikanalen and NUUG. Check it out. :)

Tags: english, frikanalen, nuug, video.
Tor - from its creators mouth 11 years ago
28th May 2016

A little more than 11 years ago, one of the creators of Tor, and the current President of the Tor project, Roger Dingledine, gave a talk for the members of the Norwegian Unix User group (NUUG). A video of the talk was recorded, and today, thanks to the great help from David Noble, I finally was able to publish the video of the talk on Frikanalen, the Norwegian open channel TV station where NUUG currently publishes its talks. You can watch the live stream using a web browser with WebM support, or check out the recording on the video on demand page for the talk "Tor: Anonymous communication for the US Department of Defence...and you.".

Here is the video included for those of you using browsers with HTML video and Ogg Theora support:

I guess the gist of the talk can be summarised quite simply: If you want to help the military in USA (and everyone else), use Tor. :)

Tags: english, frikanalen, nuug, video.
I want the courts to be involved before the police can hijack a news site DNS domain (#domstolkontroll)
19th May 2016

I just donated to the NUUG defence "fond" to fund the effort in Norway to get the seizure of the news site popcorn-time.no tested in court. I hope everyone that agree with me will do the same.

Would you be worried if you knew the police in your country could hijack DNS domains of news sites covering free software system without talking to a judge first? I am. What if the free software system combined search engine lookups, bittorrent downloads and video playout and was called Popcorn Time? Would that affect your view? It still make me worried.

In March 2016, the Norwegian police seized (as in forced NORID to change the IP address pointed to by it to one controlled by the police) the DNS domain popcorn-time.no, without any supervision from the courts. I did not know about the web site back then, and assumed the courts had been involved, and was very surprised when I discovered that the police had hijacked the DNS domain without asking a judge for permission first. I was even more surprised when I had a look at the web site content on the Internet Archive, and only found news coverage about Popcorn Time, not any material published without the right holders permissions.

The seizure was widely covered in the Norwegian press (see for example Hegnar Online and ITavisen and NRK), at first due to the press release sent out by Økokrim, but then based on protests from the law professor Olav Torvund and lawyer Jon Wessel-Aas. It even got some coverage on TorrentFreak.

I wrote about the case a month ago, when the Norwegian Unix User Group (NUUG), where I am an active member, decided to ask the courts to test this seizure. The request was denied, but NUUG and its co-requestor EFN have not given up, and now they are rallying for support to get the seizure legally challenged. They accept both bank and Bitcoin transfer for those that want to support the request.

If you as me believe news sites about free software should not be censored, even if the free software have both legal and illegal applications, and that DNS hijacking should be tested by the courts, I suggest you show your support by donating to NUUG.

Tags: english, nuug, offentlig innsyn, opphavsrett.
NUUG contests Norwegian police DNS seizure of popcorn-time.no
18th April 2016

It is days like today I am really happy to be a member of the Norwegian Unix User group, a member association for those of us believing in free software, open standards and unix-like operating systems. NUUG announced today it will try to bring the seizure of the DNS domain popcorn-time.no as unlawful, to stand up for the principle that writing about a controversial topic is not infringing copyrights, and censuring web pages by hijacking DNS domain should be decided by the courts, not the police. The DNS domain was seized by the Norwegian National Authority for Investigation and Prosecution of Economic and Environmental Crime a month ago. I hope this bring more paying members to NUUG to give the association the financial muscle needed to bring this case as far as it must go to stop this kind of DNS hijacking.

Tags: english, nuug, offentlig innsyn, opphavsrett.
Statlig hemmelighold, «mangler» i OEP og treg journalføring - statistikk for 2015
7th April 2016

For litt mer enn et år siden laget jeg litt statistikk for 2013 og 2014 basert på Offentlig elektronisk postjournal (OEP). Tallene finnes i tre bloggposter, en over hvem som er mest hemmelighetsfulle, en annen med hvor mye som mangler og en om hvor stor andel dokumenter som journalføres mer enn 180 dager etter dokumentdato. Jeg synes det er interessant å se hvordan det utvikler seg over tid, så her er tallene for 2015 og 2014. 2014-tallene bør være de samme som sist, men kan ha litt avvik på grunn av endringer/korreksjoner gjort i OEP. Denne gangen har jeg samlet alle tallene i samme bloggpost.

Først kommer statistikken over antall dokumenter som er registrert unntatt offentligheten i OEP. Merk at klassifiseringen i OEP er foreløpig, slik at en kan få innsyn i dokumenter merket unntatt offentlighet når en spør, etter nærmere vurdering. Det er dermed ikke gitt at prosentsatsen representerer hvor mange dokumenter som ville blitt holdt tilbake på forespørsel.

20152014Instans
ProsentAntall u.off.Totalt ProsentAntall u.off.Totalt
0.0 0 2 0.0 0 0Valgdirektoratet
0.0 0 30 0.0 0 0Innstillingsrådet for dommere
0.3 11 3303 0.2 8 3589Medietilsynet
0.6 56 8013 0.9 60 6146Utlendingsnemnda
0.9 2 206 0.0 0 0Norsk Romsenter
1.0 182 17238 3.7 764 20353Norsk Filminstitutt
1.6 483 29920 2.7 720 26364Direktoratet for byggkvalitet
1.7 30 1674 2.5 42 1649Fredskorpset
2.42815116570 2.52098 82445Landbruksdirektoratet Oslo
2.5 621 24150 2.5 689 26855Direktoratet for utviklingssamarbeid
2.6 62 234013.3 288 2164Kunst i offentlige rom
3.2 272 8391 4.9 388 7838Statens strålevern
3.7 372 9970 4.4 480 10808Petroleumstilsynet
4.4 456 10318 3.7 408 10782Forbrukerombudet
5.0 14 27811.0 22 200Kompetansesenter for distriktsutvikling
6.2 467 7486 4.8 385 7973Sysselmannen på Svalbard
6.3 294 4651 7.4 304 4078Språkrådet
6.51241 18817 6.51352 20776Riksantikvaren - Direktoratet for kulturminneforvaltning
6.85381 79048 7.95981 75393Fiskeridirektoratet
7.24201 57778 2.81542 53911Norges vassdrags- og energidirektorat
7.42028 2738510.82342 21539Kulturdepartementet
7.713994179777 7.913743171924Arbeidstilsynet
8.63256 37553 8.53203 37675Nærings- og fiskeridepartementet
9.87256 73440 8.86541 74189Statens vegvesen Region midt
10.73802 35467 7.52780 36664Forsvarsbygg
11.01157 10448 9.61148 11935Landbruks- og matdepartementet
11.11408912665211.712439105491Statens vegvesen Region vest
11.11756 15726 6.91242 17980Brønnøysundregistrene
11.23417 30277 9.32653 28291Lotteri- og stiftelsestilsynet
12.22012 1649013.02183 16736Fylkesmannen i Hedmark
12.69751 7714515.311188 72933Sjøfartsdirektoratet
12.811031 8599610.57895 74653Arkivverket
12.82112616490612.619230151541Statens vegvesen Region øst
12.9 941 724722.81687 7393Domstoladministrasjonen
13.01417010828414.015650111147Statens vegvesen Region sør
13.41394 1036417.51484 8440Direktoratet for mineralforvaltning med Bergmesteren for Svalbard
13.65297 3870711.54366 37961Statens vegvesen Vegdirektoratet
14.43001 2082013.02943 22557Samferdselsdepartementet
14.49453 6564212.77841 61425Statens vegvesen Region nord
14.66998 4767011.25179 46025Statsbygg
15.43984 2576914.63663 25010Kunnskapsdepartementet
15.66769 43139 8.53697 43364Justervesenet
15.8 178 112616.1 184 1140Landinfo
16.2 516 318324.2 919 3790Landbruksdirektoratet Alta
16.21859 1142412.01100 9120Havforskningsinstituttet
16.3 142 869 0.0 0 0Fylkesmannen i Aust-Agder (frem til 31.12.15)
16.62081 1252221.12722 12850Statens jernbanetilsyn
17.210669 6202320.911602 55388Utdanningsdirektoratet
18.411189 6057712.96743 51881Miljødirektoratet
18.52719314680349.92549 5108Norsk kulturråd
18.82499 1328120.82888 13853Olje- og energidepartementet
18.87804 4136215.05824 38769Luftfartstilsynet
19.1 479 250521.1 563 2660Norges geologiske undersøkelse
19.213777 7140920.413318 65121Utenriksdepartementet
19.83605 1819422.14177 18833Klima- og miljødepartementet
20.61736 841223.12018 8701Statens lånekasse for utdanning
20.62930 1422018.72459 13138Barne-, ungdoms- og familiedirektoratet
21.03786 1797518.43213 17452Fylkesmannen i Telemark
21.44930 2297122.54565 20202Fylkesmannen i Møre og Romsdal
22.08244 3738517.56420 36587Statens kartverk
23.02212 959323.01797 7799Norsk Akkreditering
23.06622 2877721.46142 28622Nasjonal kommunikasjonsmyndighet
23.42672 1140525.73039 11812Oljedirektoratet
23.65430 2291820.24847 23968Fylkesmannen i Oppland
23.83657 1533422.63277 14499Fylkesmannen i Aust-Agder
23.88182 3432523.77754 32598Kommunal- og moderniseringsdepartementet
24.05806 2410327.45998 21864Barne-, likestillings- og inkluderingsdepartementet
24.2 197 81431.6 196 620Statens institutt for rusmiddelforskning
24.43266 1333821.62600 11993Senter for internasjonalisering av utdanning
24.64728 1920824.44584 18715Fylkesmannen i Vest-Agder
24.83711 14933 6.4 795 12300Direktoratet for forvaltning og IKT
24.95002 2003321.63997 18424Fylkesmannen i Nord-Trøndelag
25.11246 495427.21305 4781Konkurransetilsynet
25.65674 2212820.44936 24189Helse- og omsorgsdepartementet
26.922947 8529324.321337 87572Helsedirektoratet
27.23648 1340118.51898 10234Vox, nasjonalt fagorgan for kompetansepolitikk
27.623161 8379529.722587 75973Statens legemiddelverk
27.76373 2294128.36449 22738Fylkesmannen i Sør-Trøndelag
27.9 784 2807 0.0 0 0Jernbaneverket
29.61290 435247.01401 2976Nasjonalt organ for kvalitet i utdanningen (NOKUT)
29.86990 2338830.27263 23997Fylkesmannen i Buskerud
29.92932 977832.33439 10643Statsministerens kontor
30.3 147 485 0.0 0 0Fylkesmannen i Vest-Agder (frem til 31.12.115)
31.59472 3004728.99498 32839Fylkesmannen i Rogaland
31.81627 511234.22082 6072Datatilsynet
31.91128 352832.91302 3950Statens pensjonskasse
31.913718 4291832.212887 39921Fylkesmannen i Hordaland
32.07510 2346433.07544 22837Fylkesmannen i Vestfold
32.51116 342732.41261 3883Nasjonalbiblioteket
32.81662 505348.22689 5578Direktoratet for økonomistyring
33.16811 2056728.75041 17513Fylkesmannen i Sogn og Fjordane
33.76975 2066629.16110 20994Fylkesmannen i Finnmark
33.87254 2140233.57138 21304Finansdepartementet
34.1 387 1133 0.0 0 0Tilsynsutvalget for dommere
34.510466 3026142.77416 17342Integrerings- og mangfoldsdirektoratet
36.616005 4361940.717996 44140Finanstilsynet
36.77170 1952536.67481 20434Fylkesmannen i Østfold
40.216584 4121132.712187 37237Kystverket
40.94942 1208046.35934 12802Forsvarsdepartementet
41.413295 3205041.311805 28568Fylkesmannen i Troms
43.09595 2227543.910288 23422Arbeids- og sosialdepartementet
44.69809 2196748.09627 20021Politidirektoratet
45.225158 5561143.822379 51043Justis- og beredskapsdepartementet
49.518312 3697649.613752 27719Fylkesmannen i Nordland
49.827453 5502850.024782 49473Fylkesmannen i Oslo og Akershus
50.332997 6551339.524644 62276Direktoratet for samfunnssikkerhet og beredskap
54.411213 2060649.47519 15204Utlendingsdirektoratet
54.510338 1894839.75986 15043Statistisk sentralbyrå
54.85075 925656.04781 8528Direktoratet for nødkommunikasjon
55.47765 1399846.76278 13421Nasjonalt folkehelseinstitutt
57.61690 293170.23401 4840Statens innkrevingssentral
58.07019 1210139.23671 9352Departementenes sikkerhets- og serviceorganisasjon
66.217293 2609768.118027 26463Skattedirektoratet
69.53949 567660.12576 4284Kriminalomsorgsdirektoratet
70.816713 2358170.612556 17777Statens helsetilsyn
71.11146 161076.51160 1516Statens arbeidsmiljøinstitutt
79.29343 1179174.78328 11144Toll- og avgiftsdirektoratet
83.712231714599482.2112645137034Husbanken
85.684427 9862687.082682 94950Norges forskningsråd
91.1 609 668 0.0 0 0Direktoratet for e-helse
91.410838 1185487.110278 11798Garantiinstituttet for eksportkreditt
98.917373 17563 0.0 0 0Forbrukerrådet

Interessant å se hvordan Utenriksdepartementet tilsynelatende er blitt ekstremt mer hemmelighetsfull på tre år. I 2015 var 99,8% av 71409 dokumenter merket som unntatt offentlighet, mens i 2014 var det 44,3% av 65121 og og i 2013 var det bare 12,1% av 67828. Lurer på hva som har skjedd. (Oppdatering 13:40: Dette er en teknisk feil i databasen, da UD har begynt å legge inn '-' der det ikke er unntak, mens det tidligere var et tomt felt. Skal lage ny statistikk, men det tar noen timer å lage ny tabell. Oppdatering 15:30: Ny tabell på plass, mer forklaring nederst i teksten.)

Dernest kommer statistikken over hvor mange saksnummer og dokumenter som ikke finnes i OEP (dvs. hull i saksnummer- og dokumentnummerserien). Se tidligere omtalte bloggpost for å forstå hvordan slike hull kan oppstå uten at det er noe galt eller mistenkelig med det.

SaksnummerDokumentnummerInstans
201520142015
%Upubl. saksnr.Totalt %Upubl. saksnrTotalt %Upubl. dok.nr.Totalt
0.0 0 1 0.0 0 0 0.0 0 2Valgdirektoratet
0.0 0 85 5.2 6 116 0.0 0 450Statens institutt for rusmiddelforskning
0.5 100 2125842.49849 23215 0.6 475 85333Norsk kulturråd
0.6 80 13924 1.0 154 15663 0.2 75 41603Justervesenet
1.2 20 1622 0.4 7 1568 0.6 90 15028Statistisk sentralbyrå
1.4 67 4623 1.5 74 5066 1.5 237 15762Arbeids- og sosialdepartementet
1.4 166 11932 0.9 84 9863 1.7 510 29452Direktoratet for byggkvalitet
1.4 451 32677 1.0 276 28515 0.4 298 78470Arkivverket
1.9 11 589 3.0 27 891 0.6 14 2211Statens innkrevingssentral
1.9 41 2162 2.2 44 1973 1.1 84 7583Direktoratet for mineralforvaltning med Bergmesteren for Svalbard
2.5 68 2728 4.0 99 2488 2.1 197 9393Forbrukerombudet
2.7 47 1758 0.6 8 1282 5.1 445 8359Vox, nasjonalt fagorgan for kompetansepolitikk
2.9 157 5351 3.0 129 4326 0.7 95 12763Brønnøysundregistrene
3.2 293 9121 2.0 132 6571 6.41653 24287Statens kartverk
3.5 40 1151 3.8 51 1326 6.0 275 4271Sysselmannen på Svalbard
3.6 53 1458 2.0 30 1470 1.6 155 9331Norsk Filminstitutt
3.7 313 8449 3.2 227 7092 1.3 413 31241Lotteri- og stiftelsestilsynet
3.8 645 17136 5.5 942 17213 2.91688 57442Statens legemiddelverk
4.7 353 748212.41001 8069 2.6 662 25153Norges vassdrags- og energidirektorat
4.9 940 19148 5.0 896 17781 1.61031 63978Fiskeridirektoratet
5.1 61 1206 4.4 47 1060 3.0 134 4317Statens strålevern
5.5 95 1721 6.9 126 1813 0.1 8 8231Statsministerens kontor
5.5 720 1298514.22803 19734 1.4 641 46830Direktoratet for samfunnssikkerhet og beredskap
5.7 252 4425 4.9 228 4638 1.8 298 16197Barne-, likestillings- og inkluderingsdepartementet
5.9 207 3534 5.2 207 3997 2.3 230 9930Klima- og miljødepartementet
5.9 731 12360 6.6 976 14712 2.91174 39309Miljødirektoratet
6.2 472 7629 7.5 496 6649 2.21011 44077Utdanningsdirektoratet
6.5 434 6680 3.2 202 6250 1.5 364 23587Nasjonal kommunikasjonsmyndighet
6.6 19 287 6.9 28 408 6.5 122 1742Landbruksdirektoratet Alta
6.8 400 5867 9.0 707 7835 3.0 761 24952Kommunal- og moderniseringsdepartementet
7.5 496 658713.51324 9785 1.8 509 27790Nærings- og fiskeridepartementet
7.6 938 12297 6.6 741 11218 5.63412 57624Norges forskningsråd
8.2 122 148410.2 169 1664 6.8 680 9291Direktoratet for utviklingssamarbeid
8.2 705 8648 9.3 843 9040 3.11269 40179Justis- og beredskapsdepartementet
8.6 97 1133 5.8 78 1336 6.7 179 2511Medietilsynet
8.6 425 494113.6 510 375811.42721 21076Integrerings- og mangfoldsdirektoratet
8.7 491 5662 6.8 309 4514 7.11712 22269Luftfartstilsynet
9.0 193 2134 7.6 125 1650 9.41442 13937Statens helsetilsyn
9.3 435 4690 7.6 395 5216 1.3 188 13881Helse- og omsorgsdepartementet
9.6 142 1477 5.5 81 1486 2.0 155 7737Petroleumstilsynet
9.6 169 1760 6.9 151 2181 1.2 67 5418Landbruks- og matdepartementet
9.7 473 489011.0 594 5398 2.1 432 19704Kulturdepartementet
10.0 2 2017.4 4 2311.2 14 111Kompetansesenter for distriktsutvikling
10.1 49 485 6.1 30 49213.2 486 3187Konkurransetilsynet
10.2 133 130011.5 201 1745 5.3 168 3012Språkrådet
10.41471 14109 9.81165 11893 3.41976 55929Helsedirektoratet
10.5 267 2535 7.3 203 2787 4.1 344 8104Riksantikvaren - Direktoratet for kulturminneforvaltning
10.6 100 941 9.8 95 973 5.7 358 5875Utlendingsnemnda
10.7 58 541 9.4 51 542 1.6 22 1370Statens arbeidsmiljøinstitutt
11.0 144 1314 6.9 102 1478 9.5 466 4435Statens jernbanetilsyn
11.4 487 4281 7.0 189 2700 1.1 253 22570Samferdselsdepartementet
12.5 622 495710.1 497 4902 7.91407 16479Politidirektoratet
12.7 73 57321.1 107 50714.8 327 1877Nasjonalbiblioteket
12.7 738 5829 8.7 519 5949 2.6 414 15481Finansdepartementet
13.0 176 1352 6.7 81 1204 1.6 120 7347Oljedirektoratet
13.9 856 614510.6 679 6383 5.71112 18326Kunnskapsdepartementet
14.1 715 507310.3 609 593339.515199 23238Kystverket
14.3 240 1676 2.2 33 1478 1.9 68 3459Datatilsynet
14.3 319 222313.0 301 2309 1.1 65 5903Olje- og energidepartementet
14.5 24 166 0.0 0 017.4 59 281Norsk Romsenter
14.51945 13404 8.71096 12632 5.01962 37143Finanstilsynet
15.1 87 57821.6 94 435 2.8 66 2292Norges geologiske undersøkelse
15.2 156 102812.5 137 1097 2.7 312 11389Direktoratet for forvaltning og IKT
15.9 501 315712.7 379 2996 6.5 550 7966Nasjonalt folkehelseinstitutt
16.1 58 36013.8 48 348 8.2 653 7294Senter for internasjonalisering av utdanning
17.1 692 4040 9.2 285 3085 6.1 484 7439Forsvarsdepartementet
17.8 161 90424.9 255 1023 9.7 616 5752Direktoratet for nødkommunikasjon
17.81278 716218.71359 7269 2.0 458 21904Fylkesmannen i Troms
17.9 68 379 7.6 27 355 1.9 79 3981Norsk Akkreditering
19.3 878 455719.6 930 4737 2.9 378 12737Fylkesmannen i Sogn og Fjordane
19.61645 839421.01821 8659 6.41621 23898Fylkesmannen i Nordland
21.0 72 343 0.0 0 0 1.0 10 950Direktoratet for e-helse
21.01102 523739.62409 607930.48669 19865Forsvarsbygg
23.0 384 167127.4 544 1986 3.6 251 6633Statens lånekasse for utdanning
23.1 216 93723.5 195 829 2.6 110 4116Direktoratet for økonomistyring
23.7 274 115426.0 379 1456 2.5 206 7995Departementenes sikkerhets- og serviceorganisasjon
24.1 32 13319.8 24 121 4.4 53 1149Kunst i offentlige rom
26.014552 5606763.667940106802 7.612846155665Arbeidstilsynet
28.1 460 163527.2 401 1475 8.3 481 5348Domstoladministrasjonen
31.2 815 260834.91267 3627 4.1 598 14039Statsbygg
32.1 88 27421.6 50 232 5.3 55 974Fredskorpset
32.9 267 81233.0 232 702 8.1 239 2717Nasjonalt organ for kvalitet i utdanningen (NOKUT)
33.01665 504629.01520 5249 5.9 968 15372Fylkesmannen i Finnmark
33.3 506 152127.4 421 1538 5.7 406 6687Havforskningsinstituttet
34.024084 7077553.839567 73495 0.5 515109638Landbruksdirektoratet Oslo
37.96306 1663838.46123 15947 1.3 443 34527Fylkesmannen i Hordaland
38.03267 860039.83060 7698 4.3 738 16551Fylkesmannen i Nord-Trøndelag
40.13359 837035.93135 8744 9.51603 15300Fylkesmannen i Oppland
41.83052 729843.03285 7645 0.8 142 16847Fylkesmannen i Vestfold
42.02260 537739.42115 5365 2.3 296 12662Fylkesmannen i Telemark
42.02677 637342.22826 6700 3.5 425 11560Fylkesmannen i Vest-Agder
42.22302 546042.72283 5350 2.1 217 10030Fylkesmannen i Aust-Agder
42.33249 768842.53359 7911 3.6 602 15959Fylkesmannen i Møre og Romsdal
43.14750 1101329.01435 4944 4.7 925 18789Utlendingsdirektoratet
45.3 511 112934.1 415 121714.9 784 4468Garantiinstituttet for eksportkreditt
48.44663 962750.55064 10024 4.9 869 16950Fylkesmannen i Sør-Trøndelag
49.14160 848048.74261 8747 1.0 170 16593Fylkesmannen i Buskerud
49.98296 1661726.03844 14785 1.7 696 41263Utenriksdepartementet
51.47375 1435343.05492 12773 6.01457 22780Fylkesmannen i Rogaland
51.54432 861051.44472 8703 3.8 494 12494Fylkesmannen i Hedmark
54.34718 868952.54648 8852 3.9 567 13903Fylkesmannen i Østfold
60.26147 1021699.88133 8153 4.01010 24464Forbrukerrådet
60.945659 75035 3.5 926 26466 5.75706 94908Husbanken
62.315943 2559559.414766 24867 6.62978 42345Fylkesmannen i Oslo og Akershus
76.56354 830987.213391 1536312.31011 7202Barne-, ungdoms- og familiedirektoratet
78.820488725996369.6109962157962 2.93765128230Statens vegvesen Region øst
82.578652 9534078.554063 68912 2.41358 55810Sjøfartsdirektoratet
83.18088 973394.67535 796811.3 953 7468Jernbaneverket
85.122126525997280.9127825157956 2.22345102032Statens vegvesen Region vest
86.622504125995678.4123819157956 3.22699 81896Statens vegvesen Region sør
89.91466 163096.31381 143419.6 267 1093Tilsynsutvalget for dommere
89.92498 278095.44656 4883 1.8 18 996Landinfo
91.223718825994487.1137656157962 2.61480 55993Statens vegvesen Region midt
91.75198 567199.15201 5247 3.3 25 744Fylkesmannen i Aust-Agder (frem til 31.12.15)
93.424273525993090.7143324157956 3.81949 48772Statens vegvesen Region nord
96.06190 644699.46117 6157 1.9 7 354Fylkesmannen i Vest-Agder (frem til 31.12.115)
97.223095 2376696.923911 2466642.01746 2409Kriminalomsorgsdirektoratet
97.338602 3967998.260831 61922 3.1 83 2626Statens pensjonskasse
97.425308025976896.0151565157870 9.02294 23257Statens vegvesen Vegdirektoratet
97.884989 8686597.210145210433212.2 983 7089Toll- og avgiftsdirektoratet
98.01542 157399.1 889 897 5.7 4 66Innstillingsrådet for dommere
99.43934 395799.6 944 94852.9 37 33Barne- og likestillingsdepartementet
99.61199296120439499.4990362995873 3.5 624 17298Skattedirektoratet

Til sist er statistikken over hvor stor andel av utgående, inngående, og andre dokumenter som blir journalført mer enn 180 dager etter dokumentets dato, dvs. hvor stor andel som blir journalført ekstremt sent for utgående og interne dokumenter, mens det for innkommende like gjerne kan være at det tok lang tid før de ble mottatt.

2015Instans
UtgåendeInnkommendeAnnet
%# > 180d liggetidTotalt %# > 180d liggetidTotalt %# > 180d liggetidTotalt
0.0 0 1 0.0 0 1 0.0 0 0Valgdirektoratet
0.0 0 17 0.0 0 13 0.0 0 0Innstillingsrådet for dommere
0.0 0 20 0.7 2 258 0.0 0 0Kompetansesenter for distriktsutvikling
0.0 0 50 0.0 0 156 0.0 0 0Norsk Romsenter
0.0 0 14410 0.0 0 20625 0.0 0 1941Fylkesmannen i Nordland
0.0 0 19475 0.0 0 33158 0.0 0 2395Fylkesmannen i Oslo og Akershus
0.0 2 6513 0.0 2 8366 0.0 1 2684Forbrukerrådet
0.0 2 14848 0.0 12 13720 0.1 2 1709Lotteri- og stiftelsestilsynet
0.0 3 3242 0.1 10 6728 0.0 0 0Petroleumstilsynet
0.0 35 39417 1.8 55 3023 4.1 29 699Justervesenet
0.1 1 563 0.1 1 568 0.0 0 2Tilsynsutvalget for dommere
0.1 2 1412 0.1 2 1889 0.0 0 2Medietilsynet
0.1 3 1922 0.2 7 3032 0.0 0 0Konkurransetilsynet
0.1 3 2861 0.2 11 4625 0.0 0 0Sysselmannen på Svalbard
0.1 4 2019 0.3 10 308628.5 2 7Datatilsynet
0.1 10 6724 0.0 5 11621 0.0 0 1180Fylkesmannen i Østfold
0.1 15 7701 0.2 19 7959 3.0 2 66Brønnøysundregistrene
0.1 23 13317 0.1 33 16601 0.0 0 2Direktoratet for byggkvalitet
0.1 207106179 0.3 285 73027 1.0 6 571Arbeidstilsynet
0.2 4 1958 1.9 46 2394 0.0 0 0Nasjonalt organ for kvalitet i utdanningen (NOKUT)
0.2 6 2924 0.1 10 6854 0.0 0 0Statsministerens kontor
0.2 42 14193 0.1 46 26329 7.4 179 2396Fylkesmannen i Hordaland
0.3 11 3042 0.1 8 6898 0.2 1 378Forbrukerombudet
0.3 12 3792 0.0 5 636412.0 25 208Direktoratet for mineralforvaltning med Bergmesteren for Svalbard
0.3 13 3468 0.9 62 6883 1.4 25 1729Forsvarsdepartementet
0.3 15 4463 0.5 40 7903 1.2 2 156Statens jernbanetilsyn
0.3 19 5470 0.7 104 13525 6.5 68 1038Fylkesmannen i Nord-Trøndelag
0.3 130 36848 0.3 148 46603 7.1 183 2545Arkivverket
0.3 130 38432 1.6 691 42125 1.5 442 27727Statens vegvesen Region sør
0.4 26 6320 0.1 21 12884 0.0 0 4Fylkesmannen i Vest-Agder
0.4 29 6530 2.4 362 14872 0.0 0 0Finansdepartementet
0.4 35 7248 0.4 58 12097 2.2 30 1321Fylkesmannen i Finnmark
0.4 64 14367 0.4 128 26712 7.0 20 283Luftfartstilsynet
0.5 6 1090 1.7 25 1415 0.0 0 0Norges geologiske undersøkelse
0.5 30 5810 1.0 71 6812 1.7 14 779Vox, nasjonalt fagorgan for kompetansepolitikk
0.5 38 7595 0.6 93 1508317.4 51 293Fylkesmannen i Møre og Romsdal
0.5 321 63780 0.2 135 51738 2.0 22 1052Landbruksdirektoratet Oslo
0.6 21 3049 0.8 71 8356 0.0 0 0Oljedirektoratet
0.6 58 8800 0.6 123 20412 1.9 163 8341Nærings- og fiskeridepartementet
0.7 56 7339 1.1 90 812525.8 458 1774Norsk Filminstitutt
0.7 191 26033 0.7 307 42834 2.1 215 10181Fiskeridirektoratet
0.7 357 44844 0.5 301 52202 1.9 590 29606Statens vegvesen Region vest
0.8 2 239 0.0 0 246 0.0 0 0Fylkesmannen i Vest-Agder (frem til 31.12.115)
0.8 119 14631 0.3 39 1246512.9 217 1681Nasjonal kommunikasjonsmyndighet
0.9 36 3886 2.0 94 4505 0.0 0 0Statens strålevern
0.9 41 4128 1.5 141 9101 7.6 4 52Olje- og energidepartementet
0.9 76 7829 0.6 95 14804 4.2 35 831Fylkesmannen i Vestfold
0.9 385 41153 0.5 330 62989 0.9 404 42661Norsk kulturråd
1.0 37 3538 0.2 19 6906 0.0 0 4Landbruks- og matdepartementet
1.1 753 64926 0.6 433 67975 2.3 747 32005Statens vegvesen Region øst
1.2 33 2558 2.0 97 4643 0.0 0 46Domstoladministrasjonen
1.2 49 3849 0.4 20 4078 6.3 31 485Statens lånekasse for utdanning
1.2 91 7120 0.6 83 13700 0.0 0 0Samferdselsdepartementet
1.2 179 14775 0.5 167 28844 0.0 0 0Finanstilsynet
1.3 86 6175 0.3 39 11738 1.8 82 4362Arbeids- og sosialdepartementet
1.3 101 7741 0.8 115 14226 0.0 0 0Politidirektoratet
1.3 229 16626 0.8 264 31782 3.9 283 7203Justis- og beredskapsdepartementet
1.4 13 873 1.5 23 1467 0.0 0 0Kunst i offentlige rom
1.4 28 2000 1.0 26 2446 7.8 16 205Språkrådet
1.4 146 10001 0.6 132 19008 2.9 31 1038Fylkesmannen i Rogaland
1.4 176 12255 0.3 64 18762 9.1 95 1033Fylkesmannen i Troms
1.5 137 8801 2.2 190 857810.7 169 1569Statistisk sentralbyrå
1.5 298 19717 2.5 833 3231311.0 637 5748Norges vassdrags- og energidirektorat
1.5 376 24323 0.4 119 24404 3.5 606 16915Statens vegvesen Region nord
1.5 424 26628 0.9 268 29189 3.5 623 17623Statens vegvesen Region midt
1.7 79 4582 8.5 431 5070 6.6 142 2139Toll- og avgiftsdirektoratet
1.7 469 26133 3.0 923 3019520.51891 9185Direktoratet for samfunnssikkerhet og beredskap
1.8 23 1272 2.9 64 2155 0.0 0 0Nasjonalbiblioteket
1.9 150 7763 1.3 202 14603 4.8 50 1022Fylkesmannen i Buskerud
2.0 25 1217 1.3 21 1556 3.1 13 410Landbruksdirektoratet Alta
2.0 136 6656 1.7 97 5480 9.3 261 2797Direktoratet for forvaltning og IKT
2.0 263 12584 0.8 113 13273 3.7 484 12850Statens vegvesen Vegdirektoratet
2.1 184 8700 0.3 68 17957 1.5 117 7668Kommunal- og moderniseringsdepartementet
2.3 65 2777 1.6 71 4405 6.9 58 831Utlendingsnemnda
2.3 118 4986 0.2 30 10584 1.1 11 920Fylkesmannen i Hedmark
2.4 26 1068 1.2 21 1640 1.7 4 223Statens innkrevingssentral
2.5 101 3979 6.7 354 5219 8.6 251 2903Departementenes sikkerhets- og serviceorganisasjon
2.5 119 4698 3.0 134 443426.6 123 461Norsk Akkreditering
2.6 45 1705 0.6 15 2438 0.4 7 1533Kriminalomsorgsdirektoratet
2.6 140 5260 1.4 165 1149914.7 212 1435Klima- og miljødepartementet
2.6 172 6552 0.6 88 13413 4.0 168 4138Barne-, likestillings- og inkluderingsdepartementet
2.7 63 2292 9.3 259 2761 0.0 0 0Direktoratet for økonomistyring
2.9 22 741 1.4 13 869 0.0 0 0Statens arbeidsmiljøinstitutt
2.91766 59502 3.72457 66026 3.5 729 20466Husbanken
3.0 198 6525 0.3 36 10925 9.1 48 525Fylkesmannen i Telemark
3.2 92 2824 1.6 126 7663 8.3 114 1367Garantiinstituttet for eksportkreditt
3.2 113 3508 1.2 98 7916 0.0 0 0Havforskningsinstituttet
3.2 178 5477 0.5 48 926413.3 79 593Fylkesmannen i Aust-Agder
3.2 211 6542 2.3 178 7678 0.0 0 0Barne-, ungdoms- og familiedirektoratet
3.2 499 15144 2.2 562 24560 2.4 767 31705Utenriksdepartementet
3.3 266 7831 0.3 44 1171712.5 128 1019Fylkesmannen i Sogn og Fjordane
3.3 275 8151 2.7 323 1162916.61052 6317Skattedirektoratet
3.4 887 25797 1.6 569 34780 0.0 0 0Miljødirektoratet
3.41378 39669 1.6 847 49862 2.9 267 9095Norges forskningsråd
3.6 277 7638 0.3 26 847311.8 888 7470Statens helsetilsyn
3.6 291 8056 1.1 110 967713.7 394 2873Utlendingsdirektoratet
3.7 305 8158 2.9 366 1230012.8 475 3692Direktoratet for utviklingssamarbeid
3.7 730 19384 1.1 242 20898 5.5 52 929Kystverket
4.2 271 6327 1.3 174 12490 0.0 0 0Riksantikvaren - Direktoratet for kulturminneforvaltning
4.3 19 432 0.0 0 386 7.8 4 51Fylkesmannen i Aust-Agder (frem til 31.12.15)
4.4 458 10325 3.4 623 1814114.31003 7001Forsvarsbygg
4.6 22 47611.4 198 172215.4 94 609Jernbaneverket
4.6 774 16824 8.41329 1572315.6 756 4838Statens kartverk
5.1 85 1635 1.4 27 1892 0.0 0 1Statens pensjonskasse
5.1 339 6602 5.1 381 7396 0.0 0 0Nasjonalt folkehelseinstitutt
5.2 377 7225 0.7 112 15036 9.8 67 680Fylkesmannen i Sør-Trøndelag
5.7 376 6526 0.3 59 15602 0.0 0 0Helse- og omsorgsdepartementet
6.11645 26666 0.7 220 3101715.3 665 4340Utdanningsdirektoratet
6.2 470 7517 0.2 51 19868 0.0 0 0Kulturdepartementet
6.7 48 706 7.6 74 968 0.0 0 0Fredskorpset
6.8 19 279 4.6 20 429 4.7 5 106Statens institutt for rusmiddelforskning
6.92173 31077 3.11342 4302532.93691 11191Helsedirektoratet
7.41053 14189 6.0 764 1263832.51119 3434Integrerings- og mangfoldsdirektoratet
8.1 322 3961 7.3 271 3675 8.7 141 1620Direktoratet for nødkommunikasjon
8.6 51 590 6.8 12 17423.7 86 362Landinfo
10.81034 9557 1.4 238 16191 9.5 2 21Kunnskapsdepartementet
13.0 764 5873 5.5 417 745142.8 6 14Senter for internasjonalisering av utdanning
14.64088 27956 0.3 171 43364 6.9 402 5825Sjøfartsdirektoratet
20.24464 22016 6.63076 46377 2.3 366 15402Statens legemiddelverk
24.35085 20862 9.51486 1554538.74368 11263Statsbygg
28.01859 6637 3.2 488 1521921.6 230 1062Fylkesmannen i Oppland
32.5 41 12641.7 172 41260.0 78 130Direktoratet for e-helse

Jeg lurer virkelig på hvordan så mange i det offentlige klarer å ikke journalføre utgående dokumenter med en gang de gjøres ferdig. Er det manglende opplæring, vanskelige systemer, vond vilje eller noe helt annet som er årsaken? Det hadde vært interessant å finne ut om det var noen fellestrekk for dokumenter som ikke blir journalført før det er gått et halvt år.

Oppdatering 2016-04-07: En nærmere undersøkelse av OEP-oppføringene til Utenriksdepartementet viste at det var en teknisk feil i måten jeg laget statistikken, der alle oppføringer med '-' i unntaksgrunnlagsfeltet ble talt opp som unntatt offentlighet. Det var UD ikke alene om. Det viste seg å gjelde Barne-, likestillings- og inkluderingsdepartementet (4), Helse- og omsorgsdepartementet (3525), Landbruks- og matdepartementet (1753), Nærings- og fiskeridepartementet (11780), Nærings- og handelsdepartementet (7), Nærings- og handelsdepartementet (frem til 31.12.13) (10417) og Utenriksdepartementet (78798) også. Antall påvirkede oppføringer står i parentes. Jeg har fikset problemet og oppdatert tabellen for hemmelighold over. Oppføringene for Nærings- og handelsdepartementet, Landbruks- og matdepartementet, Utenriksdepartementet og Helse- og omsorgsdepartementet fikk ny plassering i lista.

Tags: norsk, nuug, offentlig innsyn.
Mimes brønn, norsk utgave av Alaveteli / WhatDoTheyKnow, endelig lansert
9th July 2015

I går fikk vi endelig lansert en norsk version av mySocietys WhatDoTheyKnow. Tjenesten heter Mimes brønn, og ble annonsert av NUUG via blogg, epost og twitter til NUUG-assosierte personer. Det har tatt noen år, men de siste dagene fikk vi endelig tid til å få på plass de siste bitene. Vi er to, Gorm og meg selv, som har vært primus motor for det hele, men vi har fått hjelp med oversettelser og oppsett fra mange flere. Jeg vil si tusen takk til hver og en av dem, og er veldig fornøyd med at vi klarte å få tjenesten opp å kjøre før ferietiden slo inn for fullt.

Vi er usikker på hvor mye belastning den virtuelle maskinen der tjenesten kjører klarer, så vi har lansert litt i det stille og ikke til for mange folk for å se hvordan maskinen klarer seg over sommeren, før vi går mer aktivt ut og annonserer til høsten. Ta en titt, og se om du kanskje har et spørsmål til det offentlige som er egnet å sende inn via Mimes brønn.

Hvis du lurer på hva i alle dager en slik tjenestes kan brukes til, anbefaler jeg deg å se TED-foredraget til Heather Brook om hvordan hun brukte WhatDoTheyKnow til å lære hvordan offentlige midler ble misbrukt. Det er en inspirerende historie.

Tags: norsk, nuug, offentlig innsyn.
I'm going to the Open Source Developers' Conference Nordic 2015!
7th April 2015

I am happy to let you all know that I'm going to the Open Source Developers' Conference Nordic 2015!

It take place Friday 8th to Sunday 10th of May in Oslo next to where I work, and I finally got around to submitting a talk proposal for it (dead link for most people until the talk is accepted). As part of my involvement with the Norwegian Unix User Group member association I have been slightly involved in the planning of this conference for a while now, with a focus on organising a Civic Hacking Hackathon with our friends over at mySociety and Holder de ord. This part is named the 'My Society' track in the program. There is still space for more talks and participants. I hope to see you there.

Check out the talks submitted and accepted so far.

Tags: english, fiksgatami, nuug, offentlig innsyn.
Frikanalen, Norwegian TV channel for technical topics
9th March 2015

The Norwegian Unix User Group, where I am a member, and where people interested in free software, open standards and UNIX like operating systems like Linux and the BSDs come together, record our monthly technical presentations on video. The purpose is to document the talks and spread them to a wider audience. For this, the the Norwegian nationwide open channel Frikanalen is a useful venue. Since a few days ago, when I figured out the REST API to program the channel time schedule, the channel has been filled with NUUG talks, related recordings and some Creative Commons licensed TED talks (from archive.org). I fill all "leftover bits" on the channel with content from NUUG, which at the moment is almost 17 of 24 hours every day.

The list of NUUG videos uploaded so far include things like a one hour talk by John Perry Barlow when he visited Oslo, a presentation of Haiku, the BeOS re-implementation, the history of FiksGataMi, the Norwegian version of FixMyStreet, the good old Warriors of the net video and many others.

We have a large backlog of NUUG talks not yet uploaded to Frikanalen, and plan to upload every useful bit to the channel to spread the word there. I also hope to find useful recordings from the Chaos Computer Club and Debian conferences and spread them on the channel as well. But this require locating the videos and their meta information (title, description, license, etc), and preparing the recordings for broadcast, and I have not yet had the spare time to focus on this. Perhaps you want to help. Please join us on IRC, #nuug on irc.freenode.net if you want to help make this happen.

But as I said, already the channel is already almost exclusively filled with technical topics, and if you want to learn something new today, check out the Ogg Theora web stream or use one of the other ways to get access to the channel. Unfortunately the Ogg Theora recoding for distribution still do not properly sync the video and sound. It is generated by recoding a internal MPEG transport stream with MPEG4 coded video (ie H.264) to Ogg Theora / Vorbis, and we have not been able to find a way that produces acceptable quality. Help needed, please get in touch if you know how to fix it using free software.

Tags: english, frikanalen, h264, nuug, video.
The Citizenfour documentary on the Snowden confirmations to Norway
28th February 2015

Today I was happy to learn that the documentary Citizenfour by Laura Poitras finally will show up in Norway. According to the magazine Montages, a deal has finally been made for Cinema distribution in Norway and the movie will have its premiere soon. This is great news. As part of my involvement with the Norwegian Unix User Group, me and a friend have tried to get the movie to Norway ourselves, but obviously we were too late and Tor Fosse beat us to it. I am happy he did, as the movie will make its way to the public and we do not have to make it happen ourselves. The trailer can be seen on youtube, if you are curious what kind of film this is.

The whistle blower Edward Snowden really deserve political asylum here in Norway, but I am afraid he would not be safe.

Tags: english, nuug, personvern, surveillance.
The Norwegian open channel Frikanalen - 24x7 on the Internet
25th February 2015

The Norwegian nationwide open channel Frikanalen is still going strong. It allow everyone to send the video they want on national television. It is a TV station administrated completely using a web browser, running only Free Software, providing a REST api for administrators and members, and with distribution on the national DVB-T distribution network RiksTV. But only between 12:00 and 17:30 Norwegian time. This has finally changed, after many years with limited distribution. A few weeks ago, we set up a Ogg Theora stream via icecast to allow everyone with Internet access to check out the channel the rest of the day. This is presented on the Frikanalen web site now. And since a few days ago, the channel is also available via multicast on UNINETT, available for those using IPTV TVs and set-top boxes in the Norwegian National Research and Education network.

If you want to see what is on the channel, point your media player to one of these sources. The first should work with most players and browsers, while as far as I know, the multicast UDP stream only work with VLC.

The Ogg Theora / icecast stream is not working well, as the video and audio is slightly out of sync. We have not been able to figure out how to fix it. It is generated by recoding a internal MPEG transport stream with MPEG4 coded video (ie H.264) to Ogg Theora / Vorbis, and the result is less then stellar. If you have ideas how to fix it, please let us know on frikanalen (at) nuug.no. We currently use this with ffmpeg2theora 0.29:

./ffmpeg2theora.linux <OBE_gemini_URL.ts> -F 25 -x 720 -y 405 \
 --deinterlace --inputfps 25 -c 1 -H 48000 --keyint 8 --buf-delay 100 \
 --nosync -V 700 -o - | oggfwd video.nuug.no 8000 <pw> /frikanalen.ogv

If you get the multicast UDP stream working, please let me know, as I am curious how far the multicast stream reach. It do not make it to my home network, nor any other commercially available network in Norway that I am aware of.

Tags: english, frikanalen, h264, nuug, video.
Nagios module to check if the Frikanalen video stream is working
8th February 2015

When running a TV station with both broadcast and web stream distribution, it is useful to know that the stream is working. As I am involved in the Norwegian open channel Frikanalen as part of my activity in the NUUG member organisation, I wrote a script to use mplayer to connect to a video stream, pick two images 35 seconds apart and compare them. If the images are missing or identical, something is probably wrong with the stream and an alarm should be triggered. The script is written as a Nagios plugin, allowing us to use Nagios to run the check regularly and sound the alarm when something is wrong. It is able to detect both a hanging and a broken video stream.

I just uploaded the code for the script into the Frikanalen git repository on github. If you run a TV station with web streaming, perhaps you can find it useful too.

Last year, the Frikanalen public TV station transformed into using only Linux based free software to administrate, schedule and distribute the TV content. The source code for the entire TV station is available from the Github project page. Everyone can use it to send their content on national TV, and we provide both a web GUI and a web API to add and schedule content. And thanks to last weeks developer gathering and following activity, we now have the schedule available as XMLTV too. Still a lot of work left to do, especially with the process to add videos and with the scheduling, so your contribution is most welcome. Perhaps you want to set up your own TV station?

Update 2015-02-25: Got a tip from Uninett about their qstream monitoring system, which gather connection time, jitter, packet loss and burst bandwidth usage. It look useful to check if UDP streams are working as they should.

Tags: english, frikanalen, nuug, video.
Hva «mangler» i OEP - litt statistikk utledet fra saksnummer og dokumentnummer
29th January 2015

En ting jeg har lurt på når det gjelder offentlige postjournaler, er hvor stor andel av det som ligger i de interne databasene kommer ikke med i postjournalen. Dette er det mulig å finne ut basert på det som ligger i postjournalen. For å forstå hva jeg mener, trengs det litt bakgrunnsinformasjon. I henhold til NOARK-standarden for norske offentlige arkiv skal enhver sak ha et årstall og et løpenummer, og ethvert dokument i saken skal gis et dokument-løpenummer. Det vil si at en ender opp med dokument-ID som ser ut som ÅÅÅÅ/SAKNR-DOKNR, f.eks. 2014/2-1 eller 2014/12312-14. Mange oppgir kun tosifret årstall, men prinsippet er det samme. Så vidt jeg vet skal saksnummer og dokumentnummer tildeles løpende og i stigende rekkefølge. Gitt en instans med følgende dokument-ID i postjournalen, så kan en regne ut hvor mye som ikke finnes i journalen:

Her ser en at saksnummer 2 og 5 finnes i postjournalen, mens nummerene 1, 3 og 4 mangler. En ser også at i sak 2014/5 mangler dokument 2. Ved hjelp av denne informasjonen har jeg regnet ut hvor stor andel av saksnummer og dokumentløpenummer som ikke har dukket opp i Offentlig Elektronisk Postjournal (OEP). For saksnummer har jeg tatt utgangspunkt i at en ikke trenger å starte på 1, og dermed regnet med området fra laveste til høyeste saksnummer og talt antall unike saksnummer som forekommer i OEP. I dette tilfellet betyr de at 2 av 4 saksnummer er ubrukte (50%). For dokumentløpenummer har jeg tilsvarende tatt utgangspunkt i laveste og høyeste kjente dokumentløpenummer, for å handtere databaser der jeg mangler komplett postjournal. For sak 2014/5 her betyr det at 1 av 3 dokumenter mangler (33%).

Det er flere årsaker til at det kan bli hull i nummerseriene. Feilføring der et dokument tildeles et nytt saksnummer ved en feil, og deretter flyttes inn i riktig sak vil gi et ubrukt saksnummer, da saksnummer skal tildeles i stigende rekkefølge og en ikke får opprette nye saker innimellom gamle saker. Tilsvarende kan skje med dokument-løpenummer. Det er jo heller ikke sikkert at et saksnummer i OEP er det samme som løpenummeret som brukes som saksnummeret i instansens interne datasystem. Kanskje snakker vi om ulike ontologier der en delmengde av interne saksnummer tilsvarer saksnummer i OEP. Hvis like nummer også tildeles andre ting enn saker som skal til OEP vil en tilsvarende få «hull» i saksnumrene i postjournalen.

Jeg er litt usikker på hva denne statistikken egentlig viser, og heller ikke sikker på om det er reelt sett mangler i OEP (som kanskje kunne anses å være kritikkverdig), bare er resultatet av hendelige uhell i nummertildelingen eller resultat av ulik ontologi i OEP og instansens datasystem. Men jeg syntes tallene og variasjonen var så interessant at jeg hadde lyst til å dele dem med mine lesere. Jeg har sortert listen på prosent upubliserte saksnummer for 2014.

SaksnummerDokumentnummerInstans
201420132014
%Upubl. saksnr.Totalt %Upubl. saksnrTotalt %Upubl. dok.nr.Totalt
0.6 8 1282 0.2 2 861 0.0 0 6105Vox, nasjonalt fagorgan for kompetansepolitikk
0.9 91 9863 2.7 313 11703 0.0 0 24029Direktoratet for byggkvalitet
1.0 161 15663 3.3 558 17045 0.0 0 41954Justervesenet
1.1 325 28515 1.2 357 29621 0.0 0 66871Arkivverket
1.8 28 1568 1.0 17 1722 0.0 0 9259Statistisk sentralbyrå
1.8 92 506675.43144 4169 0.0 0 17056Arbeids- og sosialdepartementet
2.2 32 1470 2.4 36 1471 0.0 0 9757Norsk Filminstitutt
2.3 34 1478 2.9 41 1425 0.0 0 4522Datatilsynet
2.7 49 1795 2.8 34 1199 0.0 0 5824Direktoratet for mineralforvaltning med Bergmesteren for Svalbard
3.1 134 4326 2.8 144 5119 0.0 0 12223Brønnøysundregistrene
3.1 201 6571 6.1 603 9870 0.0 0 22390Statens kartverk
3.2 228 7092 2.0 143 7032 0.1 14 24491Lotteri- og stiftelsestilsynet
3.6 32 891 4.9 37 753 0.0 0 3055Statens innkrevingssentral
3.81016 26466 2.5 716 28727 0.0 0 86951Husbanken
3.9 52 132614.4 180 1247 0.0 0 4922Sysselmannen på Svalbard
4.0 248 6250 4.6 332 7159 0.0 0 22063Post- og teletilsynet
4.1 102 2488 2.7 62 2291 0.0 0 9707Forbrukerombudet
4.8 51 106012.6 132 1046 0.0 0 3616Statens strålevern
5.2 924 17781 6.31184 18665 0.0 0 59772Fiskeridirektoratet
5.5 254 4638 6.1 315 5168 0.0 0 15470Barne-, likestillings- og inkluderingsdepartementet
6.0 80 1336 3.7 48 1314 0.0 0 2691Medietilsynet
6.1 91 1486 5.0 83 1651 0.2 17 7473Petroleumstilsynet
6.2 248 399773.73459 4693 0.0 0 10963Klima- og miljødepartementet
7.0 190 270010.2 207 2033 0.0 1 14299Samferdselsdepartementet
7.1 35 492 4.5 41 909 0.0 0 2960Konkurransetilsynet
7.1 482 6800 6.4 532 8259 0.0 0 28684Justis- og beredskapsdepartementet
7.2 87 1204 4.2 50 1199 0.0 3 7428Oljedirektoratet
7.2 106 1478 6.3 129 2045 0.0 2 4987Statens jernbanetilsyn
7.2 131 1813 8.5 124 1452 0.0 2 8758Statsministerens kontor
7.3 816 11218 6.1 655 10665 0.0 0 47160Norges forskningsråd
7.81150 14712 6.7 746 11202 0.0 0 33794Miljødirektoratet
7.9 411 5216 8.3 446 5365 0.0 0 16441Helse- og omsorgsdepartementet
8.3 376 4514 8.2 457 5548 0.0 3 20840Luftfartstilsynet
8.5 185 2181 9.8 175 1780 0.0 0 7669Landbruks- og matdepartementet
8.6 10 116 0.8 1 127 0.0 0 318Statens institutt for rusmiddelforskning
9.0 597 6648 9.7 705 7236 0.0 3 35663Utdanningsdirektoratet
9.01139 12632 8.21100 13344 0.0 2 36987Finanstilsynet
9.1 540 594913.4 769 5743 0.0 0 13908Finansdepartementet
9.2 256 2787 6.5 203 3147 0.0 0 9487Riksantikvaren - Direktoratet for kulturminneforvaltning
9.31596 17209 2.5 463 18438 0.0 0 53119Statens legemiddelverk
9.7 299 308510.7 329 3072 0.1 6 7579Forsvarsdepartementet
10.1 167 1650 4.5 65 1445 0.0 0 11157Statens helsetilsyn
10.9 59 542 7.7 44 569 0.0 0 1283Statens arbeidsmiljøinstitutt
11.3 46 40796.12591 2695 0.0 0 1489Landbruksdirektoratet Alta
11.4 675 593313.6 613 4492 0.0 0 24598Kystverket
11.6 739 638312.2 748 6121 0.0 1 18605Kunnskapsdepartementet
11.9 641 5398 9.3 432 4655 0.0 0 14438Kulturdepartementet
11.9 934 7835 0.0 0 0 0.0 0 33448Kommunal- og moderniseringsdepartementet
12.1 588 486012.2 522 4294 0.0 0 14173Politidirektoratet
12.11444 1189346.05212 11331 0.0 0 51438Helsedirektoratet
12.6 220 174517.5 112 640 0.1 3 4184Språkrådet
12.7 211 1664 9.7 226 2318 0.0 0 9151Direktoratet for utviklingssamarbeid
13.9 321 230915.1 329 2185 0.0 0 6307Olje- og energidepartementet
14.3 429 299612.5 303 2432 0.0 0 7560Nasjonalt folkehelseinstitutt
14.41408 9785 0.0 0 0 0.0 0 38923Nærings- og fiskeridepartementet
14.7 143 973 7.7 83 1084 0.0 0 4130Utlendingsnemnda
15.8 173 109738.8 621 1602 0.0 0 7557Direktoratet for forvaltning og IKT
16.71345 8069 8.6 703 8219 0.0 0 20834Norges vassdrags- og energidirektorat
17.5 61 34817.2 67 389 0.0 0 7732Senter for internasjonalisering av utdanning
18.93737 19734 4.4 606 13752 0.0 0 49938Direktoratet for samfunnssikkerhet og beredskap
19.11392 726919.11263 6601 0.0 0 19869Fylkesmannen i Troms
20.4 768 375815.7 471 3008 0.1 9 11280Integrerings- og mangfoldsdirektoratet
21.0 995 473717.8 978 5508 0.0 0 11260Fylkesmannen i Sogn og Fjordane
21.6 16 7497.32626 2698 0.0 0 155Statens reindriftsforvaltning
22.1 96 43517.6 81 459 0.2 3 1943Norges geologiske undersøkelse
22.3 27 12110.6 15 141 0.1 1 779Kunst i offentlige rom
22.41939 865921.81992 9120 0.0 1 17738Fylkesmannen i Nordland
22.5 52 23114.7 32 217 0.0 0 896Fredskorpset
22.52017 895795.540498 42425 0.0 0 14223Statens landbruksforvaltning
22.9 116 50715.2 81 532 0.0 0 2069Nasjonalbiblioteket
25.5 211 82920.8 205 987 0.0 0 3867Direktoratet for økonomistyring
26.1 6 23 9.7 3 31 0.0 0 106Kompetansesenter for distriktsutvikling
26.6 187 70228.5 248 871 0.0 1 3154Nasjonalt organ for kvalitet i utdanningen
27.1 90 33213.2 41 311 0.0 0 2400Norsk Akkreditering
28.3 562 198620.0 518 2586 0.0 0 6267Statens lånekasse for utdanning
28.8 443 153841.0 688 1679 0.0 0 5556Havforskningsinstituttet
29.81473 494424.81047 4230 0.0 0 9850Utlendingsdirektoratet
29.81563 524931.01421 4588 0.0 0 15660Fylkesmannen i Finnmark
30.8 314 102158.4 941 1610 0.3 13 3979Direktoratet for nødkommunikasjon
31.4 463 147537.0 280 757 0.1 7 4797Domstoladministrasjonen
31.84708 1478525.22236 8879 0.0 2 39313Utenriksdepartementet
36.1 526 145676.61364 1781 0.0 0 4472Departementenes sikkerhets- og serviceorganisasjon
36.7 447 121763.81503 2355 1.8 92 5121Garantiinstituttet for eksportkreditt
38.23341 874434.73096 8927 0.0 3 15180Fylkesmannen i Oppland
39.36267 1594737.76262 16606 0.1 15 29707Fylkesmannen i Hordaland
39.62122 536541.32242 5428 0.0 0 12680Fylkesmannen i Telemark
40.83137 769837.03059 8272 0.0 5 13848Fylkesmannen i Nord-Trøndelag
42.11528 362719.2 529 2750 0.0 1 13524Statsbygg
42.42844 670042.42913 6863 0.0 0 12090Fylkesmannen i Vest-Agder
42.9 6 1488.92398 2698 0.0 0 23Reindriftsforvaltningen
43.33310 764542.63369 7908 0.0 0 15739Fylkesmannen i Vestfold
43.43433 790540.83508 8594 0.0 0 12921Fylkesmannen i Møre og Romsdal
43.45540 1277340.15429 13534 0.0 0 22389Fylkesmannen i Rogaland
43.62334 535039.52314 5861 0.0 0 9997Fylkesmannen i Aust-Agder
43.72656 607923.1 890 3853 0.1 21 18064Forsvarsbygg
48.94276 874748.04189 8734 0.0 0 16281Fylkesmannen i Buskerud
50.95106 1002445.74584 10022 0.0 0 15340Fylkesmannen i Sør-Trøndelag
51.44477 870345.84240 9253 0.0 5 12067Fylkesmannen i Hedmark
51.5 210 40836.8 656 1785 0.0 0 658Departementenes servicesenter
52.74663 885246.64110 8824 0.0 0 13869Fylkesmannen i Østfold
59.714852 2486756.614366 25404 0.0 0 38706Fylkesmannen i Oslo og Akershus
61.144900 7349595.140365 42462 0.0 11 63747Landbruksdirektoratet Oslo
63.86812110680218.57592 41093 0.0 0144950Arbeidstilsynet
69.811022515796270.8105811149449 0.0 14106772Statens vegvesen Region øst
72.216772 2321595.216409 17238 0.0 0 16705Norsk kulturråd
78.612413115795677.6115949149462 0.0 0 77689Statens vegvesen Region sør
80.755587 6889671.936121 50269 0.0 0 42152Sjøfartsdirektoratet
81.012800615795680.1119743149456 0.0 8 74195Statens vegvesen Region vest
87.213779815796287.6130971149449 0.0 9 50814Statens vegvesen Region midt
88.012239 1390286.119158 22244 0.0 0 5492Barne-, ungdoms- og familiedirektoratet
90.814345315795690.6135441149453 0.0 0 39961Statens vegvesen Region nord
93.85865 625099.37093 7140 0.0 0 984Nasjonal kommunikasjonsmyndighet
95.34655 488394.33819 4049 0.1 1 967Landinfo
96.215193515787096.0143497149452 0.0 0 19555Statens vegvesen Vegdirektoratet
97.510079910337396.9119802123636 0.0 0 7605Toll- og avgiftsdirektoratet
97.724104 2466698.223640 24062 0.2 5 2108Kriminalomsorgsdirektoratet
98.360845 6192298.358575 59605 0.0 0 2837Statens pensjonskasse
99.599066199587399.4953094958529 0.0 0 18246Skattedirektoratet

Det kunne vært interessant å se hva som skjedde hvis en ba om innsyn i en dokument-ID som ikke finnes i OEP... :) Det hadde også vært interessant å få vite hva årsaken til at noen saksnummer ikke dukker opp i OEP der det er få og mange. Jeg mistenker jo at årsaken ikke er den samme hos Skattedirektoratet og hos Landinfo, selv om andelen upubliserte nummer er ganske lik.

Tags: noark5, norsk, nuug, offentlig innsyn.
Hvem er mest hemmelighetsfulle i Staten? OEP-statistikk for 2013 og 2014.
21st January 2015

Ethvert dokument som føres i postlisten til en offentlig instans skal vurderes etter offentlighetsloven, for å se om det skal gjøres offentlig tilgjengelige eller ikke. Det noteres så i postlisten om dokumentet er undratt offentlighet eller ikke. For moro skyld laget jeg en oversikt over hvor hemmelighetsfull de ulike som rapporterer til Offentlig Elektronisk Postjournal (OEP) er, basert på hvor stor andel av dokumentene som er undratt offentlighet i postlisten. Jeg hentet ut for de siste to årene, og sorterte på andelen undratt offentlighet i 2014. De minst hemmelighetsfulle instansene i 2014 er på dermed på toppen av denne lista, og en kan se om de er blitt mer eller mindre hemmelighetsfull siden året før. Noen instanser, som Statens landbruksforvaltning, begynte rapporteringen til OEP i 2014 og har dermed ufullstendig statistikk for 2014 og ingen tall fra 2013. Andre begynte i 2013 og har mangelfull statistikk bare for 2013. Instanser som kun rapporterte til OEP i 2013 er ikke med i listen.

20142013Instans
ProsentAntall u.off.Totalt ProsentAntall u.off.Totalt
0,2 8 3589 0,9 36 3886Medietilsynet
0,9 60 6146 4,6 386 8274Utlendingsnemnda
1,6 277 17289 0,0 0 0Statens landbruksforvaltning
2,5 42 1648 0,5 11 1844Fredskorpset
2,5 689 26854 3,91181 30043Direktoratet for utviklingssamarbeid
2,61817 67600 0,0 0 0Landbruksdirektoratet Oslo
2,7 719 26367 2,0 556 27226Direktoratet for byggkvalitet
2,81472 51147 2,71599 58846Norges vassdrags- og energidirektorat
3,7 402 10778 4,8 455 9324Forbrukerombudet
3,7 762 20151 4,1 745 18004Norsk Filminstitutt
4,4 465 10493 4,4 477 10831Petroleumstilsynet
4,8 385 7971 9,7 586 6018Sysselmannen på Svalbard
4,9 387 7809 3,1 200 6276Statens strålevern
6,4 795 12300 6,3 204 3238Direktoratet for forvaltning og IKT
6,51349 20712 3,7 883 23398Riksantikvaren - Direktoratet for kulturminneforvaltning
6,91241 17972 6,71346 20067Brønnøysundregistrene
7,4 306 408213,9 255 1829Språkrådet
7,52775 36626 5,62243 39431Forsvarsbygg
7,95983 75543 9,57414 77455Fiskeridirektoratet
8,01368617098010,015106150603Arbeidstilsynet
8,43666 43323 8,23566 43303Justervesenet
8,86531 74182 7,65635 73902Statens vegvesen Region midt
9,82392 24380 7,62231 29174Lotteri- og stiftelsestilsynet
10,57873 7439810,88313 76452Arkivverket
10,82336 21506 9,61829 18877Kulturdepartementet
11,0 22 20017,8 68 382Kompetansesenter for distriktsutvikling
11,25174 45965 6,22824 45527Statsbygg
11,54356 3779010,73700 34504Statens vegvesen Vegdirektoratet
11,71243110537410,511273107145Statens vegvesen Region vest
11,81077 909720,21661 8196Havforskningsinstituttet
12,56395 50976 9,92095 20957Miljødirektoratet
12,61922415148112,618766148032Statens vegvesen Region øst
12,71490 1171710,51223 11616Landbruks- og matdepartementet
12,77831 6140412,67609 60384Statens vegvesen Region nord
13,02183 1673516,73038 18163Fylkesmannen i Hedmark
13,02941 2255411,81929 16312Samferdselsdepartementet
13,3 288 216416,2 485 2989Kunst i offentlige rom
14,01552311035312,113170107995Statens vegvesen Region sør
14,63661 2500614,13233 22814Kunnskapsdepartementet
15,05820 3870120,88640 41441Luftfartstilsynet
16,1 184 114010,5 95 903Landinfo
17,111103 6482914,28005 56273Sjøfartsdirektoratet
17,56420 3658519,67645 38859Statens kartverk
18,01850 1022312,4 980 7861Vox, nasjonalt fagorgan for kompetansepolitikk
18,32083 1136721,32515 11796Barne-, ungdoms- og familiedirektoratet
18,43211 1744423,24056 17444Fylkesmannen i Telemark
19,11475 770326,11566 5997Direktoratet for mineralforvaltning med Bergmesteren for Svalbard
20,24845 2394123,05049 21949Fylkesmannen i Oppland
20,3 66 32432,81411 4291Reindriftsforvaltningen
20,82887 1385119,32657 13748Olje- og energidepartementet
20,9 128 610 0,0 0 0Statens reindriftsforvaltning
20,911601 5538820,310739 52741Utdanningsdirektoratet
21,12721 1284825,83424 13251Statens jernbanetilsyn
21,2 563 265328,8 913 3164Norges geologiske undersøkelse
21,46142 2862519,15079 26526Post- og teletilsynet
21,62600 11993 9,51421 14891Senter for internasjonalisering av utdanning
21,63992 1841321,94228 19296Fylkesmannen i Nord-Trøndelag
22,04128 1875418,8 67 355Klima- og miljødepartementet
22,53271 1448324,03851 16006Fylkesmannen i Aust-Agder
22,61597 705839,42358 5984Norsk Akkreditering
22,64437 1958024,05403 22475Fylkesmannen i Møre og Romsdal
22,81687 739535,12839 8073Domstoladministrasjonen
23,22019 8695 5,2 670 12847Statens lånekasse for utdanning
23,77712 32425 0,0 0 0Kommunal- og moderniseringsdepartementet
24,321335 8757412,69324 73780Helsedirektoratet
24,39155 37674100,0 1 1Nærings- og fiskeridepartementet
24,44584 1871425,65046 19690Fylkesmannen i Vest-Agder
25,3 723 2854 0,0 0 0Landbruksdirektoratet Alta
25,73039 1181220,82316 11099Oljedirektoratet
27,06532 2417635,17221 20556Helse- og omsorgsdepartementet
27,21305 478129,61582 5343Konkurransetilsynet
27,45879 2142620,94857 23184Barne-, likestillings- og inkluderingsdepartementet
28,36420 2260631,16842 21963Fylkesmannen i Sør-Trøndelag
28,75041 1751329,75547 18625Fylkesmannen i Sogn og Fjordane
29,06074 2091027,14543 16760Fylkesmannen i Finnmark
29,09437 3252933,710389 30826Fylkesmannen i Rogaland
29,722583 7595529,219174 65534Statens legemiddelverk
30,27225 2388134,78433 24247Fylkesmannen i Buskerud
31,6 196 62019,7 69 350Statens institutt for rusmiddelforskning
31,811830 3718833,49805 29344Kystverket
32,312833 3968731,913194 41290Fylkesmannen i Hordaland
32,33439 1064336,13178 8786Statsministerens kontor
32,41261 388344,52477 5566Nasjonalbiblioteket
32,87466 2273130,96799 21948Fylkesmannen i Vestfold
32,91301 394940,61462 3594Statens pensjonskasse
33,67060 2095028,86075 21080Finansdepartementet
34,22082 607224,91253 5021Datatilsynet
35,9 647 179835,92777 7714Departementenes servicesenter
36,67480 2043339,08218 21053Fylkesmannen i Østfold
39,323978 6089718,89950 52772Direktoratet for samfunnssikkerhet og beredskap
39,85953 1494941,55594 13453Statistisk sentralbyrå
40,03023 7553 0,0 0 0Departementenes sikkerhets- og serviceorganisasjon
40,21816 451532,61386 4246Nasjonalt organ for kvalitet i utdanningen
40,517858 4399235,916457 45831Finanstilsynet
41,311805 2856441,410882 26247Fylkesmannen i Troms
42,620313 4764043,821407 48837Justis- og beredskapsdepartementet
42,77416 1734342,26995 16553Integrerings- og mangfoldsdirektoratet
43,910278 2340239,2 152 387Arbeids- og sosialdepartementet
44,128731 6510212,18253 67828Utenriksdepartementet
46,35933 1280047,65702 11955Forsvarsdepartementet
46,76270 1341441,94651 11095Nasjonalt folkehelseinstitutt
48,22690 557936,11655 4572Direktoratet for økonomistyring
48,29352 1939842,96769 15766Politidirektoratet
49,47472 1512252,15979 11471Utlendingsdirektoratet
49,613751 2771952,015890 30552Fylkesmannen i Nordland
50,024782 4947951,026239 51366Fylkesmannen i Oslo og Akershus
50,32528 5019 0,0 0 0Norsk kulturråd
56,04779 852054,53234 5931Direktoratet for nødkommunikasjon
60,12575 428335,9 476 1324Kriminalomsorgsdirektoratet
68,118020 2645772,217108 23665Skattedirektoratet
70,23401 484073,32773 3779Statens innkrevingssentral
70,612556 1777760,811650 19151Statens helsetilsyn
75,37878 1045169,37756 11182Toll- og avgiftsdirektoratet
76,51160 151678,71176 1493Statens arbeidsmiljøinstitutt
82,211263413701481,285210104865Husbanken
87,082220 9447188,884903 95532Norges forskningsråd
87,110266 1178387,21389 1592Garantiinstituttet for eksportkreditt

Jeg synes det er interessant hvordan instanser som tilsynelatende driver med det samme (som vegvesenet og fylkesmennene) har så stor spredning i hemmeligholdet. Vegvesenet spenner fra 8,8 til 14,0 prosent, mens fylkesmennene spenner fra 13,0 til 50,0 prosent! Mon tro om det er regionale forskjeller som ligger bak, eller om det er kulturforskjeller internt i organisasjonene som er årsaken.

Det er interessant å sammenligne hvor hemmelighetsfulle instansene er med oversikten over hvor mange gamle dokumenter de journalfører som jeg publiserte for tre dager siden.

Tags: norsk, nuug, offentlig innsyn.
Mer detaljert OEP-statisikk for 2014 over journalførte "gamle" dokumenter
18th January 2015

For to dager siden la jeg ut litt statistikk for Offentlig Elektronisk Postjournal som viste hvor stor andel av postjournalen til ulike instanser som hadde mer enn 180 dager mellom oppført dokumentdato og journalføringsdato (liggetid). Det var stor variasjon, men det er uklart for meg hva det kommer av. Noe er åpenbart feilført, som sykepleiertilbakekallingen skrevet i år 7, mens andre ser ut til å være reelt gamle som avleveringslista fra 2001 som ser ut til å være fra et skippertak for å få arkivert gamle dokumenter. Men etter kommentarer fra leserne innså jeg at det vil være nyttig å dele statistikken i inngående og utgående dokumenter, samt interne notater.

Her er samme statistikk for 2014 som for to dager siden, men delt opp i tre ulike kategorier. Her kan en både se hvem som er flinke til å journalføre egenproduserte dokumenter slik at liggetiden er mindre enn 180 dager, men også hvem som ikke lager interne notater eller i hvert fall ikke publiserer informasjon om dem på Offentlig Elektronisk Postjournal. Jeg må si at jeg er veldig imponert over Fylkesmannen i Oslo og Akershus, som ser ut til å ha kontroll over arkiveringen sin.

UtgåendeInnkommendeAnnetInstans
%# > 180d liggetidTotalt %# > 180d liggetidTotalt %# > 180d liggetidTotalt
0.0 0 16692 0.0 0 31778 0.0 0 1009Fylkesmannen i Oslo og Akershus
0.0 0 1140 0.2 5 2343 0.0 0 1Medietilsynet
0.0 0 14 1.6 3 186 0.0 0 0Kompetansesenter for distriktsutvikling
0.0 1 1204 0.5 6 1165 3.2 16 485Landbruksdirektoratet Alta
0.0 2 10618 0.3 35 11608 0.2 4 1412Lotteri- og stiftelsestilsynet
0.0 7 9156 0.2 16 7997 1.4 2 136Statens landbruksforvaltning
0.1 2 1141 0.0 1 3758 0.8 1 120Norsk kulturråd
0.1 2 1709 0.4 14 3072 0.0 0 0Konkurransetilsynet
0.1 3 1814 0.3 9 2701 0.0 0 0Nasjonalt organ for kvalitet i utdanningen
0.1 3 2491 0.4 25 5010 7.4 15 202Direktoratet for mineralforvaltning med Bergmesteren for Svalbard
0.1 5 3773 1.2 85 6749 0.3 7 2278Forsvarsdepartementet
0.1 8 6799 0.2 31 14139 0.0 0 12Finansdepartementet
0.1 10 5143 0.1 14 7507 2.0 4 198Statens jernbanetilsyn
0.1 13 7057 0.0 3 12154 0.2 3 1222Fylkesmannen i Østfold
0.1 16 12382 0.1 20 13510 2.7 13 475Direktoratet for byggkvalitet
0.1 62 39959 3.5 96 2721 6.2 40 643Justervesenet
0.3 1 255 2.0 5 242 6.1 7 113Statens reindriftsforvaltning
0.3 9 2605 0.3 12 3464 0.0 0 3Datatilsynet
0.3 10 2873 0.1 15 7770 0.0 0 0Statsministerens kontor
0.3 11 3415 0.4 29 6875 0.0 0 0Petroleumstilsynet
0.3 24 7058 0.8 105 12406 0.8 13 1446Fylkesmannen i Finnmark
0.3 112 34376 0.1 63 32452 3.7 29 772Landbruksdirektoratet Oslo
0.3 378 97805 0.4 337 72449 5.9 43 726Arbeidstilsynet
0.4 26 6161 0.6 73 11750 5.9 30 502Fylkesmannen i Nord-Trøndelag
0.4 26 6315 0.4 50 12399 0.0 0 0Fylkesmannen i Vest-Agder
0.4 30 6147 0.3 44 11971 2.0 68 3308Barne-, likestillings- og inkluderingsdepartementet
0.4 58 13614 0.5 135 24906 1.1 2 181Luftfartstilsynet
0.5 18 3582 0.6 28 4227 0.0 0 0Statens strålevern
0.5 32 5617 0.1 22 11219 1.4 10 677Fylkesmannen i Sogn og Fjordane
0.5 42 8092 0.5 71 13955 2.9 20 683Fylkesmannen i Vestfold
0.5 51 9369 1.8 379 20097 1.5 127 8208Nærings- og fiskeridepartementet
0.5 131 26078 0.7 288 40744 1.9 169 8720Fiskeridirektoratet
0.6 8 1196 2.8 63 2218 0.4 4 869Kriminalomsorgsdirektoratet
0.6 21 3346 0.6 52 8466 0.0 0 0Oljedirektoratet
0.6 46 6829 0.2 31 12569 0.0 0 0Politidirektoratet
0.6 212 31652 0.2 91 40008 4.8 134 2737Arkivverket
0.7 55 7146 1.0 190 18453 0.2 17 6826Kommunal- og moderniseringsdepartementet
0.7 65 8775 0.3 28 9163 8.8 3 34Brønnøysundregistrene
0.7 76 10608 0.8 155 17370 3.4 20 586Fylkesmannen i Troms
0.7 133 16654 1.2 361 28621 6.5 343 5260Norges vassdrags- og energidirektorat
0.7 259 35560 0.7 314 42109 1.2 359 27705Statens vegvesen Region vest
0.8 6 737 1.2 10 779 0.0 0 0Statens arbeidsmiljøinstitutt
0.8 22 2712 0.3 29 7795 0.7 2 270Forbrukerombudet
0.8 26 2991 0.8 40 4980 0.0 0 0Sysselmannen på Svalbard
0.8 36 4024 0.3 27 766050.0 1 2Landbruks- og matdepartementet
0.8 75 8834 0.7 77 1019016.2 183 1127Norsk Filminstitutt
0.8 499 57720 0.5 311 61184 1.5 514 32577Statens vegvesen Region øst
0.9 45 4578 0.3 35 9186 0.0 0 60Olje- og energidepartementet
1.0 56 5121 1.0 54 5316 0.0 0 14Toll- og avgiftsdirektoratet
1.0 71 6736 0.1 29 17332 0.0 0 0Helse- og omsorgsdepartementet
1.0 71 6738 0.2 32 1246710.6 40 374Fylkesmannen i Møre og Romsdal
1.1 143 12363 0.2 54 24540 6.4 159 2455Fylkesmannen i Hordaland
1.1 298 25798 0.8 261 29618 2.1 407 18761Statens vegvesen Region midt
1.2 37 2870 1.0 63 6227 0.0 0 0Havforskningsinstituttet
1.2 99 7791 0.4 65 14762 0.0 0 1Samferdselsdepartementet
1.2 157 12292 4.6 701 15117 2.5 265 10381Statens vegvesen Vegdirektoratet
1.3 12 920 0.8 11 1244 0.0 0 0Kunst i offentlige rom
1.3 215 15828 0.6 186 28164 0.0 0 0Finanstilsynet
1.3 302 22933 0.3 90 23240 2.6 398 15231Statens vegvesen Region nord
1.4 25 1715 6.1 133 2168 0.0 0 0Nasjonalbiblioteket
1.5 98 6156 0.0 20 20593 4.1 40 970Fylkesmannen i Nordland
1.6 18 1125 3.2 49 1528 0.0 0 0Norges geologiske undersøkelse
1.6 60 3554 1.4 68 4737 7.9 32 404Statens lånekasse for utdanning
1.6 134 8362 0.4 60 14685 1.9 16 834Fylkesmannen i Buskerud
1.7 91 5179 0.4 43 10584 2.0 20 972Fylkesmannen i Hedmark
1.8 80 4247 0.9 51 5598 3.4 13 378Vox, nasjonalt fagorgan for kompetansepolitikk
1.9 724 37954 0.7 295 40382 2.7 875 32017Statens vegvesen Region sør
2.1 5 230 3.9 11 279 5.4 6 111Statens institutt for rusmiddelforskning
2.1 197 9135 3.4 648 1900910.3 880 8482Forsvarsbygg
2.2 146 6439 2.9 201 6800 7.0 121 1710Statistisk sentralbyrå
2.2 600 26724 1.8 493 2624612.81022 7925Direktoratet for samfunnssikkerhet og beredskap
2.3 61 2648 3.7 104 275814.4 310 2147Departementenes sikkerhets- og serviceorganisasjon
2.3 166 7039 0.4 61 14467 0.0 0 0Kulturdepartementet
2.4 159 6438 0.4 57 12599 2.0 88 4365Arbeids- og sosialdepartementet
2.6 122 4630 0.7 66 9346 1.1 6 507Fylkesmannen i Aust-Agder
2.6 238 9078 0.5 85 15926 0.0 0 2Kunnskapsdepartementet
2.7 53 1924 4.8 98 2025 0.0 0 0Statens pensjonskasse
2.7 385 14079 1.6 225 13259 7.6 99 1287Post- og teletilsynet
2.8 57 2022 3.5 125 3557 0.0 0 0Direktoratet for økonomistyring
2.9 92 3087 0.7 31 4294 0.0 0 14Domstoladministrasjonen
3.0 53 1745 4.0 87 2147 4.7 9 190Språkrådet
3.0 163 5292 1.3 79 6075 0.0 0 0Barne-, ungdoms- og familiedirektoratet
3.1 451 14408 1.9 524 26513 7.0 474 6719Justis- og beredskapsdepartementet
3.3 719 21150 2.1 641 29824 0.0 0 0Miljødirektoratet
3.4 110 3232 3.6 128 353621.3 62 290Norsk Akkreditering
3.4 227 6535 2.8 401 14175 0.0 0 2Riksantikvaren - Direktoratet for kulturminneforvaltning
3.7 309 8202 2.2 250 1097617.01243 7279Skattedirektoratet
3.8 19 499 8.6 67 775 5.3 28 524Departementenes servicesenter
3.8 617 15934 4.3 715 16533 9.8 407 4118Statens kartverk
4.0 274 6776 0.3 38 9907 2.4 17 687Fylkesmannen i Telemark
4.12326 56219 8.55657 66171 5.8 861 14624Husbanken
4.2 223 5190 0.8 60 7456 7.6 392 5131Statens helsetilsyn
4.3 273 6232 3.3 238 7050 1.5 2 132Nasjonalt folkehelseinstitutt
4.4 151 338112.6 429 339210.5 185 1747Direktoratet for nødkommunikasjon
4.5 27 594 5.9 63 1054 0.0 0 0Fredskorpset
4.5 157 3471 2.8 209 7407 8.3 76 905Garantiinstituttet for eksportkreditt
4.6 86 1841 0.8 31 354318.6 142 762Utlendingsnemnda
4.7 198 420317.91015 564011.1 273 2457Direktoratet for forvaltning og IKT
5.0 455 9044 5.6 771 13717 8.4 346 4093Direktoratet for utviklingssamarbeid
5.0 639 12780 6.81629 23811 5.41559 28511Utenriksdepartementet
5.7 7 122 2.6 3 11558.6 51 87Reindriftsforvaltningen
5.71002 17507 0.9 172 18776 6.5 59 905Kystverket
6.1 360 5849 3.2 216 674743.91110 2526Utlendingsdirektoratet
6.4 140 2161 2.5 61 2407 5.1 14 272Statens innkrevingssentral
7.0 329 4658 5.9 432 731336.3 8 22Senter for internasjonalisering av utdanning
8.32038 24504 0.7 194 2686211.2 453 4022Utdanningsdirektoratet
8.8 482 5474 0.8 94 1172410.9 170 1556Klima- og miljødepartementet
8.83400 38523 2.61237 46100 9.9 979 9848Norges forskningsråd
9.5 35 36517.2 20 11627.4 181 659Landinfo
9.7 848 8722 1.7 228 1324022.2 143 644Fylkesmannen i Sør-Trøndelag
10.11222 12077 0.7 138 1889610.0 157 1556Fylkesmannen i Rogaland
12.82078 16221 1.0 431 40447 1.8 363 19287Statens legemiddelverk
12.82683 2088714.12045 1444521.42283 10633Statsbygg
13.0 789 6042 1.5 135 874528.1 719 2556Integrerings- og mangfoldsdirektoratet
13.14057 3089711.85606 4740432.12977 9273Helsedirektoratet
24.21878 7744 4.6 685 1484319.2 261 1354Fylkesmannen i Oppland
28.86710 23254 0.6 229 3565419.31060 5491Sjøfartsdirektoratet

Jeg lurer virkelig på hva som gjør at det blir så langt tid mellom dokumentdato og journalføringsdato for så stor andel av postjournalen for endel offentlige kontorer, spesielt for utgående dokumenter og interne notater. Gjør saksbehandlere eller arkivarer mye feil med datoføringen, eller har de gjort en innsats for å få ryddet opp i bakloggen av dokumenter som skulle vært journalført for lenge siden? Eller finnes det andre forklaringer?

Tags: norsk, nuug, offentlig innsyn.
Over et halvt år før offentlig korrespondanse journalføres - statistikk for 2014
16th January 2015

Den norske tjenesten Offentlig Elektronisk Postjournal er en samlet webtjeneste som gir borgerne innsyn i hva de ulike statlige aktørene har av post inn og ut. Jeg har fulgt med på den en stund, og ville dele litt statistikk med mine lesere om hvor flinke ulike instanser er til å holde postjournalen oppdatert.

Denne oversikt viser hvor stor andel av dokumentene journalført i 2014 som har mer enn 180 dagers differanse mellom dokumentdato og journalføringsdato (liggetid). Dvs. hvor stor andel dokumenter som blir journalført veldig sent. Et eksempel på en slik journalføring er et 261 år gammelt hemmeligstemplet dokument ført i postjournalen til Forsvarsdepartementet 2014-04-23.

Prosent # > 180d liggetid Totalt Instans
0.0 0 49478 Fylkesmannen i Oslo og Akershus
0.1 4 5019 Norsk kulturråd
0.1 19 20433 Fylkesmannen i Østfold
0.1 5 3484 Medietilsynet
0.1 25 17289 Statens landbruksforvaltning
0.2 41 23638 Lotteri- og stiftelsestilsynet
0.2 49 26367 Direktoratet for byggkvalitet
0.2 39 20950 Finansdepartementet
0.2 28 12848 Statens jernbanetilsyn
0.2 25 10643 Statsministerens kontor
0.3 12 4515 Nasjonalt organ for kvalitet i utdanningen
0.3 204 67600 Landbruksdirektoratet Oslo
0.3 16 4645 Konkurransetilsynet
0.3 21 6072 Datatilsynet
0.4 64 17513 Fylkesmannen i Sogn og Fjordane
0.4 40 10290 Petroleumstilsynet
0.4 77 19398 Politidirektoratet
0.4 76 18714 Fylkesmannen i Vest-Agder
0.4 100 24068 Helse- og omsorgsdepartementet
0.4 758 170980 Arbeidstilsynet
0.5 198 43323 Justervesenet
0.5 53 10777 Forbrukerombudet
0.5 195 38701 Luftfartstilsynet
0.5 96 17972 Brønnøysundregistrene
0.5 64 11686 Landbruks- og matdepartementet
0.6 43 7703 Direktoratet for mineralforvaltning med Bergmesteren for Svalbard
0.6 158 27719 Fylkesmannen i Nordland
0.6 80 13824 Olje- og energidepartementet
0.6 133 22730 Fylkesmannen i Vestfold
0.6 437 74397 Arkivverket
0.6 46 7809 Statens strålevern
0.6 73 11812 Oljedirektoratet
0.7 142 21423 Barne-, likestillings- og inkluderingsdepartementet
0.7 142 20910 Fylkesmannen i Finnmark
0.7 129 18413 Fylkesmannen i Nord-Trøndelag
0.7 164 22554 Samferdselsdepartementet
0.7 143 19579 Fylkesmannen i Møre og Romsdal
0.8 97 12800 Forsvarsdepartementet
0.8 588 75542 Fiskeridirektoratet
0.8 23 2854 Landbruksdirektoratet Alta
0.8 262 32425 Kommunal- og moderniseringsdepartementet
0.8 66 7971 Sysselmannen på Svalbard
0.9 1324 151481 Statens vegvesen Region øst
0.9 251 28564 Fylkesmannen i Troms
0.9 210 23881 Fylkesmannen i Buskerud
0.9 932 105374 Statens vegvesen Region vest
0.9 356 39358 Fylkesmannen i Hordaland
0.9 401 43992 Finanstilsynet
0.9 154 16735 Fylkesmannen i Hedmark
1.1 16 1516 Statens arbeidsmiljøinstitutt
1.1 227 21506 Kulturdepartementet
1.1 110 10397 Toll- og avgiftsdirektoratet
1.1 23 2164 Kunst i offentlige rom
1.1 100 9097 Havforskningsinstituttet
1.3 790 61404 Statens vegvesen Region nord
1.3 323 25006 Kunnskapsdepartementet
1.3 304 23402 Arbeids- og sosialdepartementet
1.3 966 74177 Statens vegvesen Region midt
1.3 194 14483 Fylkesmannen i Aust-Agder
1.4 144 10223 Vox, nasjonalt fagorgan for kompetansepolitikk
1.5 557 37674 Nærings- og fiskeridepartementet
1.5 3 200 Kompetansesenter for distriktsutvikling
1.7 837 50535 Norges vassdrags- og energidirektorat
1.7 335 20151 Norsk Filminstitutt
1.7 123 7395 Domstoladministrasjonen
1.7 1894 110353 Statens vegvesen Region sør
1.8 75 4283 Kriminalomsorgsdirektoratet
1.8 160 8695 Statens lånekasse for utdanning
1.9 329 17370 Fylkesmannen i Telemark
2.1 242 11367 Barne-, ungdoms- og familiedirektoratet
2.1 13 610 Statens reindriftsforvaltning
2.5 709 28625 Post- og teletilsynet
2.5 67 2653 Norges geologiske undersøkelse
2.7 1360 50974 Miljødirektoratet
3.0 1123 37790 Statens vegvesen Vegdirektoratet
3.0 628 20712 Riksantikvaren - Direktoratet for kulturminneforvaltning
3.0 1449 47640 Justis- og beredskapsdepartementet
3.1 468 14949 Statistisk sentralbyrå
3.3 182 5579 Direktoratet for økonomistyring
3.3 1233 37188 Kystverket
3.5 2115 60895 Direktoratet for samfunnssikkerhet og beredskap
3.5 22 620 Statens institutt for rusmiddelforskning
3.7 149 4082 Språkrådet
3.6 442 11783 Garantiinstituttet for eksportkreditt
3.8 2872 75955 Statens legemiddelverk
3.8 675 17777 Statens helsetilsyn
3.8 151 3949 Statens pensjonskasse
3.8 513 13414 Nasjonalt folkehelseinstitutt
4.0 746 18754 Klima- og miljødepartementet
4.1 158 3883 Nasjonalbiblioteket
4.2 259 6146 Utlendingsnemnda
4.3 300 7058 Norsk Akkreditering
4.4 215 4840 Statens innkrevingssentral
4.7 1517 32464 Fylkesmannen i Rogaland
4.7 1725 36626 Forsvarsbygg
4.8 1739 36585 Statens kartverk
4.8 2685 55388 Utdanningsdirektoratet
5.4 1219 22606 Fylkesmannen i Sør-Trøndelag
5.5 90 1648 Fredskorpset
5.9 1572 26854 Direktoratet for utviklingssamarbeid
5.9 3827 65102 Utenriksdepartementet
5.9 5616 94471 Norges forskningsråd
6.3 475 7553 Departementenes sikkerhets- og serviceorganisasjon
6.3 114 1798 Departementenes servicesenter
6.4 769 11993 Senter for internasjonalisering av utdanning
6.5 8844 137014 Husbanken
6.8 1802 26457 Skattedirektoratet
9.0 765 8520 Direktoratet for nødkommunikasjon
9.5 1643 17343 Integrerings- og mangfoldsdirektoratet
11.1 1686 15122 Utlendingsdirektoratet
11.8 2824 23941 Fylkesmannen i Oppland
12.1 1486 12300 Direktoratet for forvaltning og IKT
12.5 7998 64163 Sjøfartsdirektoratet
14.4 12640 87574 Helsedirektoratet
15.2 7002 45956 Statsbygg
18.8 61 324 Reindriftsforvaltningen
20.7 236 1140 Landinfo

Som en ser fra tabellen, så ser de fleste ut til å journalføre det meste ganske raskt, men noen har et betydelig antall dokumenter som journalføres lenge etter at de er laget/sendt/mottatt. Jeg vet ikke hva det kommer av, men antar at det finnes gode rasjonelle grunner for å journalføre gamle dokumenter. Jeg er dog er overrasket over at andelen er så stor i enkelte virksomheter. Kanskje noen burde se nærmere på om det kan bli bedre?

Oppdatering 2015-01-18: La ut mer detaljert statistikk, fordelt på inngående, utgående og interne notater.

Tags: norsk, nuug, offentlig innsyn.
Microsofts filming under Lær kidsa koding-arrangement, samtykke før og nå
7th January 2015

Før jul lot jeg meg fascinere over Microsoft og Ruseløkka skole sitt frisinnede forhold til samtykkerklæringer, og ba skolen og Microsoft om innsyn i ny og gammel erklæring sendt til foreldrene slik at jeg kunne bli klok på om det var noen flere problematiske klausuler i den første avtalen, og om det var noen problematiske klausuler i den nye. Nå har jeg fått svar fra skolen og kopi av avtalene, som jeg har glede av å presentere her.

Her er det opprinnelige skrivet som ble sendt ut til foreldrene i forkant av lær kidsa koding-arrangementet:

Oslo kommune
Utdanningsetaten
Ruseløkka skole

Til elever og foresatte i 5. klasse

Lær kidsa koding

Fredag 5.desember skal skolen arrangere en time med "koding" for elevene på skolen. Dere har kanskje allerede hørt om "Lær kidsa koding" i mediene? Dersom dere er nysgjerrige på hva dette er kan dere lese mer på; http://www.kidsakoder.no/

"Kodetimen" skal gjennomføres sammen med folk fra Microsoft Norge, som kommer og hjelper oss. I den forbindelse så ønsker Microsoft å filme deler av økten, og skolen vil med dette innhente et samtykke til at ditt barn blir filmet.

Dersom du/dere ikke ønsker at ditt/deres barn skal filmes så vil eleven likevel kunne delta i "kodetimen"

Ta kontakt dersom noe er uklart!

Med vennlig hilsen

Merete Hansen
Rektor

Jon Hesle
undervisningsinspektør


Samtykke til bruk av video og bilder fra ”Hour of Code”

Takk for at du gir Microsoft Corporation og dets datterselskaper («Microsoft») tillatelse til å benytte video og bilder av deg fra arrangementet ”Hour of Code”. Nærmere detaljer om vår planlagte bruk og de tillatelser du med dette gir, finner du nedenfor.

  1. Du samtykker til at Microsoft eller deres partnere kan intervjue, ta bilder og gjøre lyd- og videoopptak av deg (samlet omtalt som ”Opptak”) i forbindelse med ”Hour of Code”, som arrangeres den 5.12.2014 på Ruseløkka skole.
  2. Du gir Microsoft rett til å bruke Opptakene og ditt navn i forbindelse med annonsering, salgsfremmende eller andre kommersielle formål "Lær kidsa koding"], herunder ved publisering på internett, i Europa eller ethvert annet sted, til enhver tid. Du har ikke krav på vederlag for slik bruk.
  3. Du aksepterere ikke å bruke eller videreformidle til en tredjepart noen hemmelige eller fortrolige opplysninger som gis av Microsoft i løpet av elevens deltagelse.
  4. Du gir samtykke til bruk av Opptak til og på vegne av Microsoft Norge AS, dets datterselskaper, assosierte selskaper og moderselskaber. Microsoft er også ansvarlig for bruken i henhold til dette dokumentet. Ved spørsmål eller andre henvendelser du kontakte: Christine Korme, kommunikasjonsdirektør i Microsoft Norge; [epostadresse fjernet fra bloggen]
  5. Du bekrefter at du er 18 år eller eldre. Dersom du er under 18 år må dette samtykkeskjemaet fylles ut av en forelder eller foresatt.

Inngått med _____________________________ (Navn med blokkbokstaver)
Dato: ________________________

Signatur (dersom du er over 18 år): _______________________

Samtykke fra forelder/foresatt (dersom du er under 18 år)

Jeg er forelder/foresatt for ovennevnte deltaker i ”Hour of Code”. Jeg har lest og forstått innholdet i dette samtykkeskjemaet, og samtykker til slik bruk på vegne av deltakeren.

Forelder/foresattes navn: _______________________ (Navn med blokkbokstaver)
Forelder/foresattes signatur: ___________________

Og her er den oppdaterte erklæringen:

Samtykke til bruk av video og bilder
fra ”Hour of Code”

Takk for at du gir Microsoft Corporation og dets datterselskaper («Microsoft») tillatelse til å benytte video og bilder av deg fra arrangementet ”Hour of Code”. Nærmere detaljer om vår planlagte bruk og de tillatelser du med dette gir, finner du nedenfor.

  1. Du samtykker til at Microsoft eller deres partnere kan intervjue, ta bilder og gjøre lyd- og videoopptak av deg (samlet omtalt som ”Opptak”) i forbindelse med ”Hour of Code”, som ble arrangert den 12. desember fra kl 10 til 11 på Ruseløkka skole i Oslo.
  2. Du gir Microsoft rett til å bruke Opptakene og ditt navn i forbindelse med en 2-3 minutters film om hvordan Microsoft jobber med koding for elever i Norden. Filmen vil bli vist internt i Microsoft og eksternt i forbindelse med arrangementer og diskusjoner som handler om undervisning i koding og informatikk. Filmen vil også være tilgjengelig på en Microsoft nettside som handler om koding og undervisning av elever.
  3. Du gir samtykke til bruk av Opptak til og på vegne av Microsoft Norge. Microsoft er også ansvarlig for bruken i henhold til dette dokumentet. Ved spørsmål eller andre henvendelser kan Kommunikasjonsdirektør Christine Korme kontaktes på mobil [telefonnummer fjernet fra bloggen], [epostadresse fjernet fra bloggen].
  4. Du bekrefter at du er 18 år eller eldre. Dersom du er under 18 år må dette samtykkeskjemaet fylles ut av en forelder eller foresatt.

Inngått med _____________________________ (Navn med blokkbokstaver)
Dato: ________________________

Signatur (dersom du er over 18 år): _______________________

Samtykke fra forelder/foresatt (dersom du er under 18 år)

Jeg er forelder/foresatt for ovennevnte deltaker i ”Hour of Code”. Jeg har lest og forstått innholdet i dette samtykkeskjemaet, og samtykker til slik bruk på vegne av deltakeren.

Forelder/foresattes navn: _______________________ (Navn med blokkbokstaver)
Forelder/foresattes signatur: ___________________

Den nye er definitivt mye bedre enn den opprinnelige, og både kravet om hemmelighold og rett til kommersielt bruk er fjernet. Heldigvis!

Tags: norsk, nuug, personvern.
Vi kan selv avsløre mobiltelefonovervåkning
3rd January 2015

Jeg sendte inn følgende leserinnlegg 2014-12-26, og etter en uke synes jeg det er på tide å publisere teksten på bloggen min.

Vi kan selv avsløre mobiltelefonovervåkning

Det er fascinerende å lese hvordan overvåkningen av mobiltelefoner med IMSI-fangere som Aftenposten avslørte har blitt mottatt. Men det er spesielt to poeng som jeg synes har fått for liten oppmerksomhet.

Det ene er at innbyggerne nå selv kan avsløre når noen forsøker å overvåke oss. Det hele lar seg gjøre takket være en fribruksdatabase over plasseringen til kjente mobilbasestasjoner som heter OpenCellID. Enhver med en Android-basert mobiltelefon kan ta i bruk «Android IMSI Catcher Detector» ved å laste den ned fra Internett og slik få tak i verktøyet som Aftenposten brukte for å oppdage de uoffisielle mobilbasestasjonene. Ved hjelp av dette verktøyet kan Android-brukere få varsel i smarttelefonen når slike oppdages, uansett om det er kriminelle, offisielle myndigheter eller utenlandske etterretningsorganisasjoner som står bak. Vi har dermed alle mulighet til å oppdage avlytting, og trenger ikke håpe på at PST, Post og Teletilsynet eller mobilselskapene gjør jobben for oss. De vil uansett måtte holde overvåkning fra offisielle myndigheter skjult for befolkningen.

Det andre er at den viktigste informasjonen IMSI-fangere samler inn er hvem som er i kontakt med hvem og hvor de befinner seg (også kalt metadata), ikke hva som blir sagt og skrevet når folk er i kontakt med hverandre. Den som f.eks. vet hvilke politikere som snakker med hvem kan få innsikt i hvordan politikere påvirkes og hvilke sårbare punkter de har. Forskerne ved senter for Internet og samfunn ved Stanford Law School har dokumenterte i sitt metadata-prosjekt at slik innsamlet informasjon blant annet kan avsløre medisinske tilstander, politiske sympatier, religiøse overbevisninger. I tillegg har den pensjonerte generalen Michael Hayden i USA, som har ledet både CIA og NSA, innrømmet at USA dreper folk basert på innsamlede metadata. Begge deler forteller hvor verdifullt metadata er, og gir grunn til å være mer bekymret for innsamling av metadata enn avlytting.

Seniorrådgiver Roar Thon i Nasjonal Sikkerhetsmyndighet sier ofte at hver og en av oss er ansvarlig for vår egen sikkerhet, og Aftenpostens avsløring har gjort flere kjent med verktøy vi har tilgjengelig for å ta dette ansvaret. Men det reelle problemet er jo ikke at det settes opp utstyr vi ikke kan stole på, men at telefonsystemet er laget slik at det er mulig å sette opp slik utstyr.

Vennlig hilsen
Petter Reinholdtsen
Medlem i foreningen NUUG

Etter at jeg skrev dette innlegget ble en ny Android-app, SnoopSnitch, som gjør tilsvarende sniffing etter uoffisielle mobilbasestasjoner lansert. Jeg vet ikke hvilke av dem som er best.

Tags: norsk, nuug, personvern, surveillance.
Updated version of the Norwegian web service FiksGataMi
30th December 2014

I am very happy that we in the Norwegian Unix User group (NUUG), spearheaded by Marius Halden from NUUG and Matthew Somerville from mySociety, finally managed to upgrade the code base for the Norwegian version of FixMyStreet. This was the first major update since 2011. The refurbished FiksGataMi is already live, and seem to hold up the pressure. The press release and announcement went out this morning.

FixMyStreet is a web platform for allowing the citizens to easily report problems with public infrastructure to the responsible authorities. Think of it as a shared mail client with map support, allowing everyone to see what already was reported and comment on the reports in public.

Tags: english, fiksgatami, nuug.
Klarer ikke Microsoft å holde på hemmeligheter?
18th December 2014

Må Microsoft virkelig ha hjelp av unger for å holde på hemmelighetene sine?

I dag kom det en fascinerende artikkel i Aftenposten om hva Microsoft har foreslått at foreldre går med på for å la ungene delta på Lær kidsa koding på skolen. De ber foreldrene om å få bruke bilder og video av ungene kommersielt og gratis i all fremtid, hvilket var så drøyt at Arbeiderpartiets bystyrerepresentant Per Anders Torvik Langerød tok opp saken opp under bystyrets muntlige spørretime onsdag. Resultatet av dette er at Microsoft har trukket tilbake teksten i samtykkeerklæringen og kommunikasjonsdirektør Christine Korme i Microsoft sier i artikkelen at «Vi vil presentere en ny erklæring som gjør det helt klart i hvilken forbindelse materialet skal brukes, altså ikke-kommersielt», hvilket jo er fint. Jeg lurer virkelig på hvordan teksten kunne slippe ut til foreldrene i første omgang. Her har noen på skolen ikke fulgt med i timen, eller mangler grunnleggende personverntrening.

Men bildet av samtykkeerklæringen inneholder også en annen problematisk klausul, som ikke omtales overhodet i Aftenposten-artikkelen. Neste punkt i erklæringen lyder:

«Du aksepterer ikke å bruke eller videreformidle til en tredjepart noen hemmelige eller fortrolige opplysninger som gis av Microsoft i løpet av elevens deltagelse.»

Mener Microsoft virkelig at foreldre og barn skal ta ansvar for at Microsoft ikke klarer å holde hemmelig og fortrolig informasjon for seg selv når de besøker en offentlig norsk skole? Jeg ville nektet plent å signert på en avtale med en slik klausul, da det er Microsofts ansvar å holde på sine hemmeligheter, og ikke noe mine barn og min familie tar på oss erstatningsansvar for hvis de kommer på avveie.

Jeg lurer på om noen har fått se den nye samtykkeerklæringen? Inneholder den fortsatt klausul om hemmelighold? Hvor mange er det som hittil har signert på den gamle samtykkeerklæringen? Hvor har den vært brukt? Savnet svar på disse spørsmålene i artikkelen, da de som har signert på den gamle vel vil være bundet av den selv om ingen flere signerer på den.

Lær kidsa koding er et glimrende initiativ, og jeg skulle ønske noen av foreningen NUUGs medlemmer hadde kapasitet til å delta i initiativet på NUUGs vegne. Selv tar jobb, familie og eksisterende prosjekter allerede all tid. Slik Microsoft tydeligvis holder på er det behov for noen med et annet syn på livet som bidragsyter her.

Tags: norsk, nuug, personvern.
I spent last weekend recording MakerCon Nordic
23rd October 2014

I spent last weekend at Makercon Nordic, a great conference and workshop for makers in Norway and the surrounding countries. I had volunteered on behalf of the Norwegian Unix Users Group (NUUG) to video record the talks, and we had a great and exhausting time recording the entire day, two days in a row. There were only two of us, Hans-Petter and me, and we used the regular video equipment for NUUG, with a dvswitch, a camera and a VGA to DV convert box, and mixed video and slides live.

Hans-Petter did the post-processing, consisting of uploading the around 180 GiB of raw video to Youtube, and the result is now becoming public on the MakerConNordic account. The videos have the license NUUG always use on our recordings, which is Creative Commons Navngivelse-Del på samme vilkår 3.0 Norge. Many great talks available. Check it out! :)

Tags: english, nuug, video.
Norsk utgave av Alaveteli / WhatDoTheyKnow på trappene
16th March 2014

Det offentlige Norge har mye kunnskap og informasjon. Men hvordan kan en få tilgang til den på en enkel måte? Takket være et lite knippe lover og tilhørende forskrifter, blant annet offentlighetsloven, miljøinformasjonsloven og forvaltningsloven har en rett til å spørre det offentlige og få svar. Men det finnes intet offentlig arkiv over hva andre har spurt om, og dermed risikerer en å måtte forstyrre myndighetene gang på gang for å få tak i samme informasjonen på nytt. Britiske mySociety har laget tjenesten WhatDoTheyKnow som gjør noe med dette. I Storbritannia blir WhatdoTheyKnow brukt i ca 15% av alle innsynsforespørsler mot sentraladministrasjonen. Prosjektet heter Alaveteli, og er takk i bruk en rekke steder etter at løsningen ble generalisert og gjort mulig å oversette. Den hjelper borgerne med å be om innsyn, rådgir ved purringer og klager og lar alle se hvilke henvendelser som er sendt til det offentlige og hvilke svar som er kommet inn, i et søkpart arkiv. Her i Norge holder vi i foreningen NUUG på å få opp en norsk utgave av Alaveteli, og her trenger vi din hjelp med oversettelsen.

Så langt er 76 % av Alaveteli oversatt til norsk bokmål, men vi skulle gjerne vært oppe i 100 % før lansering. Oversettelsen gjøres på Transifex, der enhver som registrerer seg og ber om tilgang til bokmålsoversettelsen får bidra. Vi har satt opp en test av tjenesten (som ikke sender epost til det offentlige, kun til oss som holder på å sette opp tjenesten) på maskinen alaveteli-dev.nuug.no, der en kan se hvordan de oversatte meldingen blir seende ut på nettsiden. Når tjenesten lanseres vil den hete Mimes brønn, etter visdomskilden som Odin måtte gi øyet sitt for å få drikke i. Den nettsiden er er ennå ikke klar til bruk.

Hvis noen vil oversette til nynorsk også, så skal vi finne ut hvordan vi lager en flerspråklig tjeneste. Men i første omgang er fokus på bokmålsoversettelsen, der vi selv har nok peiling til å ha fått oversatt 76%, men trenger hjelp for å komme helt i mål. :)

Tags: norsk, nuug, offentlig innsyn.
Dugnadsnett for alle stiller på Oslo Maker Faire i januar 2014
10th December 2013

Helga 18. og 19. januar 2014 arrangeres Oslo Maker Faire, og Dugnadsnett for alle har fått plass! Planen er å ha et bord med en plakat der vi forteller om hva Dugnadsnett for alle er for noe, og et lite verksted der vi hjelper folk som er interessert i å få opp sin egen mesh-node. Jeg gleder meg til å se hvordan prosjektet blir mottatt der.

Målet med dugnadsnett for alle i Oslo er å få på plass et datanett for kommunikasjon ved hjelp av radio-repeaterstasjoner (kalt mesh-noder) som gjør at en kan direkte kommunisere med slekt, venner og bekjente i Oslo via andre som deltar i dugnadsnettet, samt gjøre det mulig komme ut på internett via dugnadsnettet. Første delmål er å kunne sende SMS-meldinger vha. IP-telefoni løsningen Serval project mellom deltagerne i Dugnadsnett for alle i Oslo. Formålet er å ta tilbake kontrollen over egen nett-infrastruktur og gjøre det dyrere å bedrive massiv innsamling av informasjon om borgernes bruk av datanett.

Høres dette interessant ut? Bli med på prosjektet, fortell oss hvor du kunne tenke deg å sette opp en radio-repeater (slik at folk i nærheten kan finne hverandre ved hjelp av kartet over planlagte og eksisterende radio-repeatere), bli med på epostlisten dugnadsnett (at) nuug.no og stikk innom IRC-kanalen #dugnadsnett.no. Så langt er det planlagt over 40 radio-repeatere, med VPN-forbindelser via Internet for å la de delene av nettet som ikke når hverandre via radio kunne snakke med hverandre likevel.

Tags: mesh network, norsk, nuug.
Dugnadsnett for alle, a wireless community network in Oslo, take shape
30th November 2013

If you want the ability to electronically communicate directly with your neighbors and friends using a network controlled by your peers in stead of centrally controlled by a few corporations, or would like to experiment with interesting network technology, the Dugnasnett for alle i Oslo might be project for you. 39 mesh nodes are currently being planned, in the freshly started initiative from NUUG and Hackeriet to create a wireless community network. The work is inspired by Freifunk, Athens Wireless Metropolitan Network, Roofnet and other successful mesh networks around the globe. Two days ago we held a workshop to try to get people started on setting up their own mesh node, and there we decided to create a new mailing list dugnadsnett (at) nuug.no and IRC channel #dugnadsnett.no to coordinate the work. See also the NUUG blog post announcing the mailing list and IRC channel.

Tags: english, mesh network, nuug.
RSS-kilde for fritekstsøk i offentlige anbud hos Doffin
22nd November 2013

I fjor sommer lagde jeg en offentlig tilgjengelig SQL-database over offentlig anbud basert på skraping av HTML-data fra Doffin. Den har stått og gått siden da, og har nå ca. 28000 oppføringer. Jeg oppdaget da jeg tittet innom at noen oppføringer var ikke blitt med, antagelig på grunn av at de fikk tildelt sekvensnummer i Doffin en godt stund før de ble publisert, slik at min nettsideskraper som fortsatte skrapingen der den slapp sist ikke fikk dem med seg. Jeg har fikset litt slik at skraperen nå ser litt tilbake i tid for å se om den har gått glipp av noen oppføringer, og har skrapet på nytt fra midten av september 2013 og fremover. Det bør dermed bli en mer komplett database for kommende måneder. Hvis jeg får tid skal jeg forsøke å skrape "glemte" data fra før midten av september 2013, men tør ikke garantere at det blir prioritert med det første.

Men målet med denne bloggposten er å vise hvordan denne Doffin-databasen kan brukes og integreres med en RSS-leser, slik at en kan la datamaskinen holde et øye med Doffin-annonseringer etter nøkkelord. En kan lage sitt eget søk ved å besøke API-et hos Scraperwiki, velge format rss2 og så legge inn noe ala dette i "query in SQL":

select title, scrapedurl as link, abstract as description,
       publishdate as pubDate from 'swdata'
   where abstract like '%linux%' or title like '%linux%'
   order by seq desc limit 20

Dette vil søke opp alle anbud med ordet linux i oppsummering eller tittel. En kan lage mer avanserte søk hvis en ønsker det. URL-en som dukker opp nederst på siden kan en så gi til sin RSS-leser (jeg bruker akregator selv), og så automatisk få beskjed hvis det dukker opp anbud med det aktuelle nøkkelordet i teksten. Merk at kapasiteten og ytelsen hos Scraperwiki er begrenset, så ikke be RSS-leseren hente ned oftere enn en gang hver dag.

Du lurer kanskje på hva slags informasjon en kan få ut fra denne databasen. Her er to RSS-kilder, med søkeordet "linux", søkeordet "fri programvare" og søkeordet "odf". Det er bare å søke på det en er interessert i. Kopier gjerne datasettet og sett opp din egen tjeneste hvis du vil gjøre mer avanserte søk. SQLite-filen med Doffin-oppføringer kan lastes med fra Scraperwiki for de som vil grave dypere.

Tags: norsk, nuug, offentlig innsyn.
Lets make a wireless community network in Oslo!
13th November 2013

Today NUUG and Hackeriet announced our plans to join forces and create a wireless community network in Oslo. The workshop to help people get started will take place Thursday 2013-11-28, but we already are collecting the geolocation of people joining forces to make this happen. We have 9 locations plotted on the map, but we will need more before we have a connected mesh spread across Oslo. If this sound interesting to you, please join us at the workshop. If you are too impatient to wait 15 days, please join us on the IRC channel #nuug on irc.freenode.net right away. :)

Tags: english, mesh network, nuug.
Running TP-Link MR3040 as a batman-adv mesh node using openwrt
10th November 2013

Continuing my research into mesh networking, I was recommended to use TP-Link 3040 and 3600 access points as mesh nodes, and the pair I bought arrived on Friday. Here are my notes on how to set up the MR3040 as a mesh node using OpenWrt.

I started by following the instructions on the OpenWRT wiki for TL-MR3040, and downloaded the recommended firmware image (openwrt-ar71xx-generic-tl-mr3040-v2-squashfs-factory.bin) and uploaded it into the original web interface. The flashing went fine, and the machine was available via telnet on the ethernet port. After logging in and setting the root password, ssh was available and I could start to set it up as a batman-adv mesh node.

I started off by reading the instructions from Wireless Africa, which had quite a lot of useful information, but eventually I followed the recipe from the Open Mesh wiki for using batman-adv on OpenWrt. A small snag was the fact that the opkg install kmod-batman-adv command did not work as it should. The batman-adv kernel module would fail to load because its dependency crc16 was not already loaded. I reported the bug to the openwrt project and hope it will be fixed soon. But the problem only seem to affect initial testing of batman-adv, as configuration seem to work when booting from scratch.

The setup is done using files in /etc/config/. I did not bridge the Ethernet and mesh interfaces this time, to be able to hook up the box on my local network and log into it for configuration updates. The following files were changed and look like this after modifying them:

/etc/config/network


config interface 'loopback'
        option ifname 'lo'
        option proto 'static'
        option ipaddr '127.0.0.1'
        option netmask '255.0.0.0'

config globals 'globals'
        option ula_prefix 'fdbf:4c12:3fed::/48'

config interface 'lan'
        option ifname 'eth0'
        option type 'bridge'
        option proto 'dhcp'
        option ipaddr '192.168.1.1'
        option netmask '255.255.255.0'
        option hostname 'tl-mr3040'
        option ip6assign '60'

config interface 'mesh'
        option ifname 'adhoc0'
        option mtu '1528'
        option proto 'batadv'
        option mesh 'bat0'

/etc/config/wireless


config wifi-device 'radio0'
        option type 'mac80211'
        option channel '11'
        option hwmode '11ng'
        option path 'platform/ar933x_wmac'
        option htmode 'HT20'
        list ht_capab 'SHORT-GI-20'
        list ht_capab 'SHORT-GI-40'
        list ht_capab 'RX-STBC1'
        list ht_capab 'DSSS_CCK-40'
        option disabled '0'

config wifi-iface 'wmesh'
        option device 'radio0'
        option ifname 'adhoc0'
        option network 'mesh'
        option encryption 'none'
        option mode 'adhoc'
        option bssid '02:BA:00:00:00:01'
        option ssid 'meshfx@hackeriet'

/etc/config/batman-adv


config 'mesh' 'bat0'
        option interfaces 'adhoc0'
        option 'aggregated_ogms'
        option 'ap_isolation'
        option 'bonding'
        option 'fragmentation'
        option 'gw_bandwidth'
        option 'gw_mode'
        option 'gw_sel_class'
        option 'log_level'
        option 'orig_interval'
        option 'vis_mode'
        option 'bridge_loop_avoidance'
        option 'distributed_arp_table'
        option 'network_coding'
        option 'hop_penalty'

# yet another batX instance
# config 'mesh' 'bat5'
#       option 'interfaces' 'second_mesh'

The mesh node is now operational. I have yet to test its range, but I hope it is good. I have not yet tested the TP-Link 3600 box still wrapped up in plastic.

Tags: english, mesh network, nuug.
A Raspberry Pi based batman-adv Mesh network node
21st October 2013

The last few days I have been experimenting with the batman-adv mesh technology. I want to gain some experience to see if it will fit the Freedombox project, and together with my neighbors try to build a mesh network around the park where I live. Batman-adv is a layer 2 mesh system ("ethernet" in other words), where the mesh network appear as if all the mesh clients are connected to the same switch.

My hardware of choice was the Linksys WRT54GL routers I had lying around, but I've been unable to get them working with batman-adv. So instead, I started playing with a Raspberry Pi, and tried to get it working as a mesh node. My idea is to use it to create a mesh node which function as a switch port, where everything connected to the Raspberry Pi ethernet plug is connected (bridged) to the mesh network. This allow me to hook a wifi base station like the Linksys WRT54GL to the mesh by plugging it into a Raspberry Pi, and allow non-mesh clients to hook up to the mesh. This in turn is useful for Android phones using the Serval Project voip client, allowing every one around the playground to phone and message each other for free. The reason is that Android phones do not see ad-hoc wifi networks (they are filtered away from the GUI view), and can not join the mesh without being rooted. But if they are connected using a normal wifi base station, they can talk to every client on the local network.

To get this working, I've created a debian package meshfx-node and a script build-rpi-mesh-node to create the Raspberry Pi boot image. I'm using Debian Jessie (and not Raspbian), to get more control over the packages available. Unfortunately a huge binary blob need to be inserted into the boot image to get it booting, but I'll ignore that for now. Also, as Debian lack support for the CPU features available in the Raspberry Pi, the system do not use the hardware floating point unit. I hope the routing performance isn't affected by the lack of hardware FPU support.

To create an image, run the following with a sudo enabled user after inserting the target SD card into the build machine:

% wget -O build-rpi-mesh-node \
    https://raw.github.com/petterreinholdtsen/meshfx-node/master/build-rpi-mesh-node
% sudo bash -x ./build-rpi-mesh-node > build.log 2>&1
% dd if=/root/rpi/rpi_basic_jessie_$(date +%Y%m%d).img of=/dev/mmcblk0 bs=1M
%

Booting with the resulting SD card on a Raspberry PI with a USB wifi card inserted should give you a mesh node. At least it does for me with a the wifi card I am using. The default mesh settings are the ones used by the Oslo mesh project at Hackeriet, as I mentioned in an earlier blog post about this mesh testing.

The mesh node was not horribly expensive either. I bought everything over the counter in shops nearby. If I had ordered online from the lowest bidder, the price should be significantly lower:

SupplierModelNOK
TeknikkmagasinetRaspberry Pi model B349.90
TeknikkmagasinetRaspberry Pi type B case99.90
LefdalJensen Air:Link 25150295.-
Clas OhlsonKingston 16 GB SD card199.-
Total cost943.80

Now my mesh network at home consist of one laptop in the basement connected to my production network, one Raspberry Pi node on the 1th floor that can be seen by my neighbor across the park, and one play-node I use to develop the image building script. And some times I hook up my work horse laptop to the mesh to test it. I look forward to figuring out what kind of latency the batman-adv setup will give, and how much packet loss we will experience around the park. :)

Tags: english, freedombox, mesh network, nuug.
Perl library to control the Spykee robot moved to github
19th October 2013

Back in 2010, I created a Perl library to talk to the Spykee robot (with two belts, wifi, USB and Linux) and made it available from my web page. Today I concluded that it should move to a site that is easier to use to cooperate with others, and moved it to github. If you got a Spykee robot, you might want to check out the libspykee-perl github repository.

Tags: english, nuug, robot.
Oslo community mesh network - with NUUG and Hackeriet at Hausmania
11th October 2013

Wireless mesh networks are self organising and self healing networks that can be used to connect computers across small and large areas, depending on the radio technology used. Normal wifi equipment can be used to create home made radio networks, and there are several successful examples like Freifunk and Athens Wireless Metropolitan Network (see wikipedia for a large list) around the globe. To give you an idea how it work, check out the nice overview of the Kiel Freifunk community which can be seen from their dynamically updated node graph and map, where one can see how the mesh nodes automatically handle routing and recover from nodes disappearing. There is also a small community mesh network group in Oslo, Norway, and that is the main topic of this blog post.

I've wanted to check out mesh networks for a while now, and hoped to do it as part of my involvement with the NUUG member organisation community, and my recent involvement in the Freedombox project finally lead me to give mesh networks some priority, as I suspect a Freedombox should use mesh networks to connect neighbours and family when possible, given that most communication between people are between those nearby (as shown for example by research on Facebook communication patterns). It also allow people to communicate without any central hub to tap into for those that want to listen in on the private communication of citizens, which have become more and more important over the years.

So far I have only been able to find one group of people in Oslo working on community mesh networks, over at the hack space Hackeriet at Husmania. They seem to have started with some Freifunk based effort using OLSR, called the Oslo Freifunk project, but that effort is now dead and the people behind it have moved on to a batman-adv based system called meshfx. Unfortunately the wiki site for the Oslo Freifunk project is no longer possible to update to reflect this fact, so the old project page can't be updated to point to the new project. A while back, the people at Hackeriet invited people from the Freifunk community to Oslo to talk about mesh networks. I came across this video where Hans Jørgen Lysglimt interview the speakers about this talk (from youtube):

I mentioned OLSR and batman-adv, which are mesh routing protocols. There are heaps of different protocols, and I am still struggling to figure out which one would be "best" for some definitions of best, but given that the community mesh group in Oslo is so small, I believe it is best to hook up with the existing one instead of trying to create a completely different setup, and thus I have decided to focus on batman-adv for now. It sure help me to know that the very cool Serval project in Australia is using batman-adv as their meshing technology when it create a self organizing and self healing telephony system for disaster areas and less industrialized communities. Check out this cool video presenting that project (from youtube):

According to the wikipedia page on Wireless mesh network there are around 70 competing schemes for routing packets across mesh networks, and OLSR, B.A.T.M.A.N. and B.A.T.M.A.N. advanced are protocols used by several free software based community mesh networks.

The batman-adv protocol is a bit special, as it provide layer 2 (as in ethernet ) routing, allowing ipv4 and ipv6 to work on the same network. One way to think about it is that it provide a mesh based vlan you can bridge to or handle like any other vlan connected to your computer. The required drivers are already in the Linux kernel at least since Debian Wheezy, and it is fairly easy to set up. A good introduction is available from the Open Mesh project. These are the key settings needed to join the Oslo meshfx network:

SettingValue
Protocol / kernel modulebatman-adv
ESSIDmeshfx@hackeriet
Channel / Frequency11 / 2462
Cell ID02:BA:00:00:00:01

The reason for setting ad-hoc wifi Cell ID is to work around bugs in firmware used in wifi card and wifi drivers. (See a nice post from VillageTelco about "Information about cell-id splitting, stuck beacons, and failed IBSS merges! for details.) When these settings are activated and you have some other mesh node nearby, your computer will be connected to the mesh network and can communicate with any mesh node that is connected to any of the nodes in your network of nodes. :)

My initial plan was to reuse my old Linksys WRT54GL as a mesh node, but that seem to be very hard, as I have not been able to locate a firmware supporting batman-adv. If anyone know how to use that old wifi access point with batman-adv these days, please let me know.

If you find this project interesting and want to join, please join us on IRC, either channel #oslohackerspace or #nuug on irc.freenode.net.

While investigating mesh networks in Oslo, I came across an old research paper from the university of Stavanger and Telenor Research and Innovation called The reliability of wireless backhaul mesh networks and elsewhere learned that Telenor have been experimenting with mesh networks at Grünerløkka in Oslo. So mesh networks are also interesting for commercial companies, even though Telenor discovered that it was hard to figure out a good business plan for mesh networking and as far as I know have closed down the experiment. Perhaps Telenor or others would be interested in a cooperation?

Update 2013-10-12: I was just told by the Serval project developers that they no longer use batman-adv (but are compatible with it), but their own crypto based mesh system.

Tags: english, freedombox, mesh network, nuug.
July 13th: Debian/Ubuntu BSP and Skolelinux/Debian Edu developer gathering in Oslo
9th July 2013

The upcoming Saturday, 2013-07-13, we are organising a combined Debian Edu developer gathering and Debian and Ubuntu bug squashing party in Oslo. It is organised by the member assosiation NUUG and the Debian Edu / Skolelinux project together with the hack space Bitraf.

It starts 10:00 and continue until late evening. Everyone is welcome, and there is no fee to participate. There is on the other hand limited space, and only room for 30 people. Please put your name on the event wiki page if you plan to join us.

Tags: debian, debian edu, english, nuug.
Vårt konkurransebidrag til #apps4norge bruker @opnedata
1st May 2013

For noen uker siden, innen fristen 2013-04-15, leverte jeg og Morten Kjelkenes vårt bidrag til DIFIs apps4norge-konkurranse under lagnavnet NUUGs tannlegeteam. Vi leverte følgende i idé-kategorien:

Tittel: Stikk innom tannlegen

Beskrivelse:

Idéen

Gjøre det enklere å finne en tannlege som er praktisk for deg, der pris og reisetid med kollektivt, til fots eller med bil er tatt med i beregningen, ved å oppgi hvor en bor og jobber, og få forslag til tannleger både i nærheten og på veien mellom disse stedene.

Brukeren oppgir hjemmeadresse og jobbadresse, og kanskje også barnehage. Så kan en også oppgi egen timelønn (for å beregne taps arbeidsfortjeneste) og om en reiser med kollektivt, til fots eller kjører bil. Så trykker en søk, og får opp en todelt side med kart og tekstliste. I kartdelen vises aktuelle tannleger (for eksempel maks 7), og i tekstdelen er de samme tannlegene listet opp, med pris og reisetid for kollektivtransport, og pris pluss reisekostnad hvis en reiser med bil. En kan endre sorteringsrekkefølge for listen ved å trykke på aktuell kolonne, og velge om en skal sortere på pris, reisetid eller totalkostnad. Kun tannleger som tar imot nye kunder tas i utganspunktet med i listen. Når brukeren trykker med musa en tannlegemarkør på kartet kommer det en popup med detaljer om tannlegen, den samme informasjonen som finnes i listen under kartet, og lenke til mer informasjon om tannlegen.

For hvert enkelt tannlegekontor er det tilgjengelig en informasjonsside med adresse, hjemmesideurl, telefonnummer, lenke til side for å finne reisebeskrivelse, åpningstider, etc.

Nytteverdi for brukeren

  • sparer tid på tannlegebesøk
  • kan utnytte normal reisevei mellom hjem/jobb/barnehage
  • kan finne aktuell tannlege basert på flere kriterier
  • sile bort tannleger som ikke tar imot flere kunder
  • får kart som viser tannleger i nærheten, på tvers av kommunegrenser

Grad av innovasjon, nytenkning og kreativitet

Enkel tjeneste som fokuserer på det vi selv mener er relevant ved valg av tannlege.

Tjenestekonseptet kan også brukes til andre næringer, f.eks. lege, butikk, leiebiler, hvis en har aktuell datakilde å koble med.

Skulle gjerne hatt med vurdering av tannlegene tilgjengelig, slik at en kunne finne "flinke" tannleger basert på et eller annet kriterium.

Markedspotensiale - potensiale for å slå gjennom hos mange brukere

  • Alle som ønsker eller vurderer å skaffe seg ny tannlege, f.eks. nyinnflyttede og studenter
  • Familier med en travel hverdag

Felles er at den gjør tannlegen lettere tilgjengelig for de som vil spare tid eller penger.

Samfunnsøkonomisk nytte - bidrar til å løse samfunnsutfordringer

Kutter tid brukt på tannlegebesøk, og penger frigjøres som kan brukes på andre områder. Oppfordrer til bedre bruk av kollektivtransport ved å gi tips om tannleger i nærheten av allerede brukt reisevei mellom hjemme og jobb når en reiser kollektivt.

X-faktor - “Det lille ekstra...”

Denne tjenesten gir det lille ekstra ved at den ikke slår opp avstand til tannlege fra et enkelt punkt men avstand fra en reisevei, slik at en får flere tannleger å velge imellom og kanskje kan spare enda mer tid og penger enn en ville gjort ved å sjekke kun de nærmest hjemme eller jobb.

Tjenesten gir informasjonen både som kart og som tekstlig oversikt, for å sikre at blinde og svaksynte kan få tilgang til informasjonen selv om de ikke får brukt kartvisningen.

Datasett brukt

Åpne offentlige datasett brukt i applikasjonen:

  • Reisetid med kollektivtrafikk på Østlandet

Øvrige datasett brukt i appen/tjenesten:

  • Fakta om tannleger, priser etc (upublisert JSON-API)
  • Data om statens satser for biltransport
  • Kartbilder, kartdata
  • Kommunegrenser, nabokommuner, postnummer
  • Bilveiruting med OpenStreetmap-data
  • Kollektivtrafikkkart
  • Routing med OpenStreetmap-data
  • Kollektivtrafikkruting for Norge med uviss dataopphav

Kategori:

  • Arbeid og velferd
  • Forbruker
  • Økonomi

Geografi (dekningsområde for app):

Hele landet

Vinneren annonseres 2013-05-08 ved prisutdelingen hos DIFI 09:00 til 12:00. Konkurransen blir hard. Det meldes at 38 apper og 50 ideer er registrert som kandidater. Jeg frykter at jeg ikke rekker innom selv, på grunn av jobb og forpliktelser på hjemmebanen.

Tags: norsk, nuug, offentlig innsyn.
Til frikanalens støttespillere - fra styret i Frikanalen
13th March 2013

Min venn Erik Vold har på vegne av styret i Frikanalen sendt ut følgende epost til alle kanalens medlemmer og støttespillere, i et forsøk på å redde kanalen etter at kulturdepartementet kuttet all finansiering i fjor høst. Jeg fikk meldingen som NUUG-styremedlem, og mener den trenger et større publikum. Jeg gjengir den derfor i sin helhet, inkludert lenken til budsjett og regnskapsutkast, etter avtale med Erik.

Til Frikanalens støttespillere

Frivillighetens TV kanal har med minimal støtte avviklet daglige sendinger siden 2009 og til tross for at statsstøtten uteble i år, er vi nå i full gang med å utvikle et nytt TV system som foreningen selv vil eie. Departementet fikk dessverre ikke med seg at nettet vil berike TV sendingen fremfor å gjøre den overflødig. De har nå overlatt finansieringen av videre drift til frivilligheten og vi håper derfor på deres hjelp til å søke om midler. På kjøpet får dere langt flere muligheter til å nå ut med deres budskap og med utbyggingen av Hybrid TV (nett på TV) kan vi sammen motbevise departementets påstand.

Kostnaden med denne utviklingen er svært lav ettersom de fleste programmererne jobber gratis og alt er basert på åpen kildekode der man deler hverandres bidrag til kringkastingsorienterte systemer. I samarbeid med flere europeiske kanaler i EBU (SVT, BBC, NRK, ZDF, ARD, France Televisions etc) ønsker vi å bygge opp et nettverk for delt support og åpen kildekode der Frikanalen er den eneste sandkassen hvor ny teknologi kan testes på luft. Riks TV åpner for annonsering av nettinnhold relatert til det du ser på TV (streamevents i HbbTV) allerede i sommer. Med støtte fra Media Netwerk som drifter Frikanalen samt Sofia Digital som stiller med Hybrid TV server er vi & NRK sikret en sentral rolle i utprøvingen. Det vil da bli mulig og streame direkte til Riks TV sine nye mottakere (og nye IDTV'er) i HD samt at TV'n kan annonsere en link til deres organisasjonssider, med oppdaterte nyheter (RSS feeds), relaterte videoer etc., under avviklingen av deres innslag.

Vi tror sendingene på den nye nettstyrte TV-kanalen vil bli rikere enn på den kommersielle plattformen vi har vært på så langt. Brukerne vil nå få en tettere integrasjon med sosiale medier samt at innholdet etterhvert kommer ut på Hybrid TV og mobile enheter. Teknisk ansvarlig i Frikanalen, Erik Vold, er sentral i utviklingen av streamingdelen for tv.nrk.no (årets produkt i PC World) og erfaringen NRK har gjort på mobile enheter kan videreføres til oss. Det er heller ingen tvil om at Hybrid TV vil bli en suksess også i Norge. Erik sitter i Nordig som har vedtatt en felles standard for de nordiske kringkasterne basert på HbbTV. Denne standarden bruker web-protokoller som gjør det like enkelt og billig å utvikle tjenester for Hybrid TV som å lage en nettside. Samtlige nye TV apparater solgt i Norden vil ha støtte for HbbTV og med det tror vi oppslutningen vil bli like stor som ellers i Europa (Tyskland og Frankrike tredoblet antall HbbTV-brukere i fjor). Vi forventer også mye d rahjelp fra disse foregangslandene. Vår utvikler Tore Sinding Bekkedal er i skriv ende stund på en HbbTV workshop med EBU-medlemmer hos IRT i München der han på vegne av NRK tester og utvikler ny stremingteknologi (MPEG- DASH) for mobile enheter og hybrid TV.

Frikanalen har forøvrig flyttet inn i nye kostnadsfrie lokaler på Chateau Neuf. Med massiv hjelp fra frivillige får vi der en flerkameraregi i egnede lokaler. Dette åpner for debatter, konserter, events og mye spennende innhold i samarbeid med Student TV'ene.

Med hjelp fra NUUG har også streamingdelen av systemet fått plass på Uninett (Forskningsparken) og dermed er vi på Norges beste internettlinjer. Vi åpner med dette for live mottak fra samtlige medlemmer og på sikt kan vi tilby HD på hybrid TV og PC / MAC / mobil.

Avvikling på luft skjer allerede med egenutviklede løsninger i åpen kildekode (playout og live-koding). Det er også mulig å se første byggetrinn med programoversikt og videoer på nett, men foreløpig kun for nettleserne Opera, Chrome og Firefox: http://beta.frikanalen.tv/guide/ og http://beta.frikanalen.tv/video/. Kom gjerne med ønsker og tilbakemeldinger til vår hovedutvikler Benjamin Bruheim: grolgh (at) gmail.com

Med en tettere tilknytning til Akademia og NRK, er det god grunn til å tro at utviklingen vil skyte fart og at vi raskere kommer ut med dagsaktuelt innhold.

Vi sender i dag på Riks TV og Altibox, men ikke lenger på TV8. Det er viktig for våre brukere igjen å komme ut på Get og Canal Digital, dermed er det svært heldig at vi nå har formidlingsplikt på kabel. Til tross for at det tar noe tid å få nye avtaler på plass, med frivillig juridisk bistand, vil vi sannsynligvis komme bedre ut i andre enden også her. Formidlingsplikten gjelder samtlige kabeldistribusjoner i Norge, ikke bare de regionene TV8 hadde avtale med.

Om alt dette skal se dagens lys er vi avhengig av en grunnfinansiering. Deres medlemsavgifter er i så måte et svært viktig bidrag som vi er veldig takknemlige for. Vi ser oss likevel nødt til å be dere om å delta i arbeidet med å dekke de resterende driftskostnader. Frikanalen sin arbeidskapasitet er betydelig redusert etter at foreningen ikke lenger kunne finansiere en daglig leder, men allmøtet kan åpne for at flere bidrar til inntjening (Ekstraordinær generalforsamling foreslo å tillate sponsorplakater på sendeflaten og deler av disse inntektene kan tilfalle kanalen). Håper alle medlemmene kan hjelpe oss med å skrive søknader og skaffe sponsorer, eller i det minste komme med gode forslag til inntjening. Det er ikke mye som skal til for å klare videre drift, kun 0,5 mill. pr år.

Med en støtte som tilsvarer en norsk kortfilm vil vi kunne redde sendearkivet for flere tusen videoer bygget opp av frivilligheten gjennom 5 år og vi dobler kapasiteten for å ta imot nye (De som leverer HD vil for øvrig kunne få HD på nett, mobil og hybrid TV).

Vi vil også kunne videreføre konsesjonen på Riks TV og realisere en formidlingsplikt på kabel som har en årlig verdi på ca. 5 millioner kroner (når over 2/3 av Norges befolkning).

Uten støtte står verdens eneste nasjonale nettstyrte åpne TV kanal i fare for å forsvinne. En konkursbegjæring vil gjøre at utstyrsparken går til advokatsalærer i behandling av boet og kreditorene vil ikke kunne få dekket sine krav. Det mener vi ikke bare er urett ovenfor långiverne, men det er urett mot alle de som har bidratt med å bygge opp frivillighetens eneste sendearkiv og ikke minst alle de som i dag jobber frivillig med å videreutvikle TV-systemet.

Håper dere i likhet med styret ser verdien i videre drift og kan melde tilbake innen årsmøtet (Kontaktinformasjon til styret og frivillige utviklere er i kopifeltet).

Vennligst fyll ut det blå feltet i regnearket under med det dere tror er mulig å få inn. Det dere skriver her er ikke bindende, men gir styret en indikasjon på om videre drift er mulig. Det blir tatt stilling til av generalforsamlingen medio mars. Setter derfor pris på om alle kan bidra med forslag til støtte eller antatte verdier fra søknad/spons innen det.

Forhåpentligvis når vi også ønsket budsjett på 1 mill. pr år. Med det kan vi nedbetale gjelden raskere og sørge for en bedre tilgjengelighet, samt raskere utvikling:

https://docs.google.com/spreadsheet/ccc?key=0AouVL_e9_H1QdDgyX01kbElvcWI0UjFQbVNGbFIyUmc&usp=sharing#gid=0

Med vennlig hilsen
Styret i Frikanalen

Jeg håper noen av mine lesere med dette ser verdien av Frikanalen og melder seg inn for å sende sine videoer ut på TV til RiksTV og Altibox-seerne. Det haster. Årsmøtet i foreningen Frikanalen skal straks avholdes, og innen den tid må en redningsplan være på plass. NUUG bidrar allerede litt ved å organisere utviklersamlinger og finansiere litt mat og drikke til de frivillige som stiller opp på dugnadsbasis for å utvikle den tekniske løsningen. Det er ikke nok til å redde kanalen, men gir et lite steg i riktig retning.

Update 2013-03-13 13:00: Epostlistelenkene fungerer ikke lenger, da epostarkivet nå ikke lenger er tilgjengelig for ikke-abonnenter. Korrigerte teksten fra styret litt etter oppfordring fra Frikanalen-styret.

Tags: frikanalen, norsk, nuug, video.
Frikanalen - Complete TV station organised using the web
3rd March 2013

Do you want to set up your own TV station, schedule videos and broadcast them on the air? Using free software? With video on demand support using free and open standards? Included a web based video stream as well? And administrate it all in your web browser from anywhere in the world? A few years now the Norwegian public access TV-channel Frikanalen have been building a system to do just this. The source code for the solution is licensed using the GNU LGPL, and available from github.

The idea is simple. You upload a video file over the web, and attach meta information to the file. You select a time slot in the program schedule, and when the time come it is played on the air and in the web stream. It is also made available in a video on demand solution for anyone to see it also outside its scheduled time. All you need to run a TV station - using your web browser.

There are several parts to this web based solution. I'll mention the three most important ones. The first part is the database of videos and the schedule. This is written in Django and include a REST API. The current database is SQLite, but the plan is to migrate it to PostgreSQL. At the moment this system can be tested on beta.frikanalen.tv. The second part is the video playout, taking the schedule information from the database and providing a video stream to broadcast. This is done using CasparCG from SVT and Media Lovin' Toolkit. Video signal distribution is handled using Open Broadcast Encoder. The third part is the converter, handling the transformation of uploaded video files to a format useful for broadcasting, streaming and video on demand. It is still very much work in progress, so it is not yet decided what it will end up using. Note that the source of the latter two parts are not yet pushed to github. The lead author want to clean them up a bit more first.

The development is coordinated on the #frikanalen IRC channel (irc.freenode.net), and discussed on the frikanalen mailing list. The lead developer is Benjamin Bruheim (phed on IRC). Anyone is welcome to participate in the development.

Tags: english, frikanalen, nuug, video.
Litt statistikk over offentlige anbud annonsert via Doffin siden 2008
11th February 2013

For et halvt år siden satte jeg opp et system for å lage en database med informasjon om offentlige anbud fra Doffin ved hjelp av Scraperwiki. Nå er databasen så vidt jeg kan se komplett, med data helt tilbake til 2008. Her er litt statistikk over antall anbud publisert hver måned:

Publiseringsmåned Antall
2013-01 1015
2012-12 756
2012-11 979
2012-10 1093
2012-09 1023
2012-08 951
2012-07 1103
2012-06 1334
2012-05 1435
2012-04 1169
2012-03 1573
2012-02 1335
2012-01 1147
2011-12 1045
2011-11 1114
2011-10 1230
2011-09 1165
2011-08 966
2011-07 1148
2011-06 1410
2011-05 1536
2011-04 1350
2011-03 1574
2011-02 1370
2011-01 1049
2010-12 992
2010-11 1089
2010-10 1110
2010-09 1132
2010-08 883
2010-07 1126
2010-06 1440
2010-05 1236
2010-04 1249
2010-03 1556
2010-02 1256
2010-01 1140
2009-12 1013
2009-11 1220
2009-10 1320
2009-09 1294
2009-08 953
2009-07 1162
2009-06 1605
2009-05 1568
2009-04 1522
2009-03 1599
2009-02 1376
2009-01 1080
2008-12 1028
2008-11 949
2008-10 1047
2008-09 965
2008-08 725
2008-07 1015
2008-06 1304
2008-05 323

Her er tilsvarende tall per år, som viser en liten nedgang i antall anbud:

Publiseringsår Antall
2012 13898
2011 14957
2010 14209
2009 15712
2008 7356

Jeg droppet den ufullstendige måneden og året fra tabellen. Se lenken for oppdaterte tall.

Tags: norsk, nuug, offentlig innsyn.
Ledger - double-entry accounting using text based storage format
18th December 2012

A few days ago I came across a blog post from Joey Hess describing ledger and hledger, a text based system for double-entry accounting. I found it interesting, as I am involved with several organizations where accounting is an issue, and I have not really become too friendly with the different web based systems we use. I find it hard to find what I look for in the menus and even harder try to get sensible data out of the systems. Ledger seem different. The accounting data is kept in text files that can be stored in a version control system, and there are at least five different implementations able to read the format. An example entry look like this, and is simple enough that it will be trivial to generate entries based on CVS files fetched from the bank:

2004-05-27 Book Store
      Expenses:Books                 $20.00
      Liabilities:Visa

The concept seemed interesting enough for me to check it out and look for others using it. I found blog posts from Christine Spang, Pete Keen, Andrew Cantino and Ronald Ip describing how they use it, as well as a post from Bradley M. Kuhn at the Software Freedom Conservancy. All seemed like good recommendations fitting my need.

The ledger package is available in Debian Squeeze, while the hledger package only is available in Debian Sid. As I use Squeeze, ledger seemed the best choice to get started.

To get some real data to test on, I wrote a web scraper for LODO, the accounting system used by the NUUG association, and started to play with the data set. I'm not really deeply into accounting, but I am able to get a simple balance and accounting status for example using the "ledger balance" command. But I will have to gather more experience before I know if the ledger way is a good fit for the organisations I am involved in.

Tags: debian edu, english, nuug.
59 kommuner omfavner nå FiksGataMi
5th November 2012

For noen dager siden omfavnet to nye kommuner NUUGs FiksGataMi. Med 59 kommuner som lenker til FiksGataMi fra sine hjemmesider er "markedsandelen" 13,8 % (av 429 kommuner). Sist ut er Stange og Utsira kommune, som slår følge med kommunene Askim, Askøy, Audnedal, Aure, Balestrand, Bærum, Eide, Farsund, Flekkefjord, Folldal, Gran, Grue, Hadsel, Halden, Halsa, Hamar, Hobøl, Holtålen, Hægebostad, Høyanger, Kongsberg, Kristiansund, Kvinesdal, Kviteseid, Levanger, Lindesnes, Luster, Lyngdal, Løten, Mandal, Marnardal, Moss, Namsos, Nissedal, Nordreisa, Randaberg, Rindal, Sel, Sirdal, Skiptvet, Sortland, Spydeberg, Stjørdal, Stord, Søgne, Sør-Odal, Tolga, Trysil, Tynset, Tysvær, Ullensvang Herad, Vennesla, Verdal, Vågan, Vågå, Våler og Åseral. Oppdatert liste er tilgjengelig fra NUUGs wiki. Kartet er dog ikke oppdatert med de siste kommunene.

Kanskje du bør høre med din kommune om de vil bli mer aktive brukere av FiksGataMi? Se en tidligere bloggpost med tips om hvordan det kan gjøres.

I snitt rapporteres det nå via FiksGataMi ca. 100 meldinger i uka fra innbyggerne om feil på offentlig infrastruktur.

Tags: fiksgatami, norsk, nuug.
Ode til Frikanalen...
2nd November 2012

I 2009 bidro vi i NUUG til at Frikanalen ble tilgjengelig i et fritt og åpent standardisert videoformat. Bakgrunnen var at vi i NUUG likte tanken på «Youtube på TV», der enhver borger kunne få mulighet til å kringkaste sin video på TV, og NUUG ble medlem i Frikanalen for å støtte dette arbeidet. Frikanalen er borger-TV, der alle kan være sin egen redaktør og lage TV uten solid finansielle muskler. Siden den gang har vi bistått kanalen på ulikt vis, blant annet med å hjelpe til med å utvikle en løsning basert på fri programvare for drift av TV-kanalen. Dette utviklingsarbeidet pågår fortsatt, men det er god fremgang og godt håp om å få på plass en webbasert løsning for styring av TV-kanalen basert på fri programvare. Dagens produksjonsløsning er basert på Windows og proprietær programvare, et resultat av at kulturdepartementet krevde at Frikanalen kom på lufta veldig raskt da departementet overtalte Frivillighet Norge til å snappe opp konseptet. Dagens produksjonsløsning er dyr i drift, og en fri programvareløsning bør kutte kostnadene litt. Men det er fortsatt dyrt å kjøpe tilgang til å sende ut på RiksTV og andre TV-distributører, noe som spiser av kanalens begrensede midler.

Nytt for 2013 er dessverre at kulturdepartementet kutter all støtte til Frikanalen. Mens det i statsbudsjettet for 2012 sto følgende (side 55):

Det foreslås et driftstilskudd på 1 mill. kroner i 2012 til Frikanalen. Kulturdepartementet har inngått avtale om investerings- og driftsstøtte til Frikanalen som gir et økonomisk grunnlag for kanalen i oppstartsårene. En forutsetning for støtten er bl.a. at Frikanalen tilstreber å være en reell ytringskanal for samtlige partier og lister i forbindelse med valg.

Så har kulturdepartementet kuttet all støtte for 2013:

Statsbudsjettet 2013: Frikanalen

Det er ikke satt av penger i statsbudsjettet for 2013 til Frikanalen.

Frivillighet Norge var fødselshjelper for foreningen Frikanalen i 2007. Kanalen har fått 1 mill kr i altfor lav bevilgning hvis kanalen skulle klare å realisere målet om å være en opplæringsarena for frivillige organisasjoner som ville lære å bruke billedspråk.

TV-mediets posisjon som kommunikasjonskanal har endret seg betydelig siden Frikanalen ble etablert. Det er supplert og til dels erstattet av andre kommunikasjonskanaler, som det også er ressurskrevende for organisasjonene å ta i bruk.

Når en ser bort fra den merkelige begrunnelsen, da Frikanalen så vidt jeg vet aldri har tatt mål av seg «å være en opplæringsarena for frivillige organisasjoner som ville lære å bruke billedspråk», så er det veldig trist at kulturdepartementet kutter støtten.

Fundamentet for Frikanalen ble lagt da Stortinget vedtok innføringen av det digitale bakkenettet. En oversikt over det Stortinget skrev da finnes på nettsidene til åpen kanal. Der het det blant annet om «åpne kanaler»:

Et annet flertall, alle unntatt medlemmene fra Fremskrittspartiet, vil også peke på at man ut fra ønsket om en bredt anlagt offentlig debatt, må se på den faktiske tilgjengelighet allmennheten har til TV-mediet. I mange land har man ønsket å sikre denne tilgangen gjennom egen lovgivning som forplikter allmennkringkastere eller distributører å holde av en del av sendekapasiteten til livssynskanaler, ideelle organisasjoner og lignende. I Norden betegnes dette gjerne som åpne kanaler. Dette flertallet mener dette er et interessant område sett i et ytringsfrihetsperspektiv. Dette flertallet mener derfor at staten bør legge til rette for dette når man ved innføring av nye distribusjonskanaler skal utarbeide regelverk og gi konsesjoner.

Veien frem har gått over svært ulendt terreng, noe en kan se litt av konturene av i en artikkel hos Vox Publica med tittel «Hvor åpen blir “Frikanalen”?». Begge tekstene er nyttig lesning for å forstå mer om hva Frikanalen er. Jeg anbefaler alle å støtte opp om Frikanalen, bli medlem, lage og sende programmer der.

Tags: frikanalen, norsk, nuug.
12 years of outages - summarised by Stuart Kendrick
26th October 2012

I work at the University of Oslo looking after the computers, mostly on the unix side, but in general all over the place. I am also a member (and currently leader) of the NUUG association, which in turn make me a member of USENIX. NUUG is an member organisation for us in Norway interested in free software, open standards and unix like operating systems, and USENIX is a US based member organisation with similar targets. And thanks to these memberships, I get all issues of the great USENIX magazine ;login: in the mail several times a year. The magazine is great, and I read most of it every time.

In the last issue of the USENIX magazine ;login:, there is an article by Stuart Kendrick from Fred Hutchinson Cancer Research Center titled "What Takes Us Down" (longer version also available from his own site), where he report what he found when he processed the outage reports (both planned and unplanned) from the last twelve years and classified them according to cause, time of day, etc etc. The article is a good read to get some empirical data on what kind of problems affect a data centre, but what really inspired me was the kind of reporting they had put in place since 2000.

The centre set up a mailing list, and started to send fairly standardised messages to this list when a outage was planned or when it already occurred, to announce the plan and get feedback on the assumtions on scope and user impact. Here is the two example from the article: First the unplanned outage:

Subject:     Exchange 2003 Cluster Issues
Severity:    Critical (Unplanned)
Start: 	     Monday, May 7, 2012, 11:58
End: 	     Monday, May 7, 2012, 12:38
Duration:    40 minutes
Scope:	     Exchange 2003
Description: The HTTPS service on the Exchange cluster crashed, triggering
             a cluster failover.

User Impact: During this period, all Exchange users were unable to
             access e-mail. Zimbra users were unaffected.
Technician:  [xxx]
Next the planned outage:
Subject:     H Building Switch Upgrades
Severity:    Major (Planned)
Start:	     Saturday, June 16, 2012, 06:00
End:	     Saturday, June 16, 2012, 16:00
Duration:    10 hours
Scope:	     H2 Transport
Description: Currently, Catalyst 4006s provide 10/100 Ethernet to end-
	     stations. We will replace these with newer Catalyst
	     4510s.
User Impact: All users on H2 will be isolated from the network during
     	     this work. Afterward, they will have gigabit
     	     connectivity.
Technician:  [xxx]

He notes in his article that the date formats and other fields have been a bit too free form to make it easy to automatically process them into a database for further analysis, and I would have used ISO 8601 dates myself to make it easier to process (in other words I would ask people to write '2012-06-16 06:00 +0000' instead of the start time format listed above). There are also other issues with the format that could be improved, read the article for the details.

I find the idea of standardising outage messages seem to be such a good idea that I would like to get it implemented here at the university too. We do register planned changes and outages in a calendar, and report the to a mailing list, but we do not do so in a structured format and there is not a report to the same location for unplanned outages. Perhaps something for other sites to consider too?

Tags: english, nuug, standard, usenix.
NUUGs spørreundersøkelse for 2012 endelig åpnet
10th October 2012

Etter flere års pause fikk vi i NUUG endelig i dag annonsert spørreundersøkelse for medlemmer og likesinnede personer. Siste undersøkelse var i 2009, så det blir interessant å se hvordan svarene har endret seg siden da.

Alle kan delta. Skjemaet har har 27 spørsmål og vil ta om lag fem minutt å fylle ut.

Tags: norsk, nuug.
NUUGs høringsuttalelse til DIFIs forslag om å kaste ut ODF fra statens standardkatalog
1st October 2012

Som jeg skrev i juni har DIFI foreslått å fjerne krav om å bruke ODF til utveksling av redigerbare dokumenter med det offentlige, og derigjennom tvinge innbyggerne til å forholde seg til formatene til MS Office når en kommuniserer med det offentlige.

I går kveld fikk vi i NUUG fullført vår høringsuttalelse og sendt den inn til DIFI. Du finner uttalelsen på wikien. Ta en titt. Fristen for å sende inn uttalelse var i går søndag, men en får kanskje sitt innspill med hvis en sender i dag.

Tags: norsk, nuug, standard.
E-valg, fortsatt en dårlig idé (evaluering legges frem i Oslo)
11th September 2012

I 2006 var forslaget om å gjennomføre politiske valg over Internet ute på høring, og NUUG skrev en høringsuttalelse (som EFN endte opp med å støtte), som fortsatt er like aktuell. Jeg ble minnet på om den da jeg leste et innlegg i Bergens Tidende med tittelen En dårlig idé som poengterer hvor viktig det er å holde fast ved at vi skal ha hemmelige valg i Norge, og at det nødvendigvis fører til at vi ikke kan ha valg over Internet.

Innlegget i BT forteller at det skal være et seminar om evalueringen av e-valgforsøket på Litteraturhuset i morgen 2012-09-12 9-11:45. Jeg hadde ikke fått med meg dette før nå, og kommer meg nok dessverre ikke innom, men håper det møter mange som fortsatt kan bidra til å få skutt ned e-valgsgalskapen.

Det er lenge siden 2006, og jeg regner med at de fleste av mine lesere har glemt eller ikke har lest høringsuttalelsen fra NUUG. Jeg gjengir den derfor her i sin helhet.

Høringsuttalelse fra NUUG og EFN om elektronisk stemmegivning

Petter Reinholdtsen
Leder i foreningen NUUG
2006-09-30

Foreningene NUUG og EFN er glade for å ha blitt invitert til å kommentere utredningen om elektronisk stemmegivning, og håper våre innspill kan komme til nytte. Denne uttalelsen er ført i pennen av NUUGs leder Petter Reinholdtsen med innspill fra Tore Audun Høie, Erik Naggum og Håvard Fosseng.

Når en vurderer elektronisk stemmegivning, så tror vi det er viktig å ha prinsippene for gode valg i bakhodet. Vi har tatt utgangspunkt i listen fra Cranor, L.F. og Cytron, R.K. i "Design and Implementation of a Security-Conscious Electronic Polling System", som oppsummerer hvilke egenskaper som er viktige:

  • Nøyaktig - et system er nøyaktig hvis det ikke er mulig å endre en stemme, det ikke er mulig å fjerne en gyldig stemme fra den endelige opptellingen og det ikke er mulig for en ugyldig stemme å bli talt med i den endelige opptellingen. Fullstendig nøyaktige systemer sikrer at den endelige opptellingen er perfekt, enten ved sikre at unøyaktigheter ikke kan bli introdusert eller kan oppdages og korrigert for. Delvis nøyaktige systemer kan oppdage men ikke nødvendigvis korrigere unøyaktigheter.
  • Demokratisk - et system er demokratisk hvis kun de som har lov til å stemme kan stemme, og det sikrer at hver av dem kun kan stemme en gang.
  • Hemmelig - et system er hemmelig hvis ingen, hverken de som arrangerer valget eller noen andre kan knytte en stemmeseddel til den som avga den, og ingen stemmegiver kan bevise at han eller hun stemte på en bestemt måte. Dette er spesielt viktig for å hindre kjøp og salg av stemmer og at personer kan tvinges til å stemme på en bestemt måte.
  • Etterprøvbart - et system er etterprøvbart hvis hvem som helst uavhengig kan kontrollere at opptellingen er korrekt.

Et demokratisk valg må sikre at disse punktene er oppfylt. Det er med den bakgrunn vi vurderer elektronisk stemmegivning.

Nøyaktig opptelling kan kun oppnås hvis alle steg i opptellingsprosessen kan kontrolleres og verifiseres. Det må ikke må være mulig å fjerne eller endre avgitte stemmer, og heller ikke mulig å legge inn flere stemmer enn det som faktisk er avgitt. Elektronisk lagring av avgitte stemmer kan gjør det svært enkelt å endre på avgitte stemmer uten at det er mulig å oppdage det i ettertid. Elektronisk lagring vil også gjøre det mulig å lagre en annen stemme enn det som er blitt avgitt, selv om det så korrekt ut for den som avga stemmen. Vi mener derfor det er viktig at elektronisk stemmegivning gjøres via papir eller tilsvarende, slik at de som stemmer kan kontrollere at den stemmen de har avgitt er den som blir talt opp. I Australia brukes det et system der de som stemmer gjør sitt valg på en skjerm, og stemmen så skrives ut på en papirrull som sjekkes av den som stemmer før papirrullen leses inn av opptellingssystemet. En sikrer slik at hver enkelt stemme kan kontrolleres på nytt.

Etterprøvbarhet kan kun oppnås hvis hver enkelt stemmegiver kan kontrollere hele systemet som brukes for stemmegivning. For at dette skal være mulig er en nødvendig betingelse at en har innsyn i hvordan systemene er satt sammen, og hvordan de brukes. Selv om de aller fleste ikke selv vil kunne gjennomføre en slik kontroll, er det viktig at flere uavhengige eksperter kan sjekke systemet. Velgerne bør kunne velge hvilke eksperter de vil stole på. Dette forutsetter blant annet tilgang til kildekoden og informasjon om hvordan de ulike delene av det totale stemmegivingssystemet er koblet. Lukkede systemer der kildekoden ikke er tilgjengelig og en ikke kan kontrollere systemene som brukes under selve valgene, er sårbare for trojanere (programvare som gjør noe annet og/eller mer enn det leverandøren sier den skal, f.eks. endre sluttresulatet av en opptelling) og påvirkning fra leverandøren. Det er påstander om slikt i USA på maskiner fra Diebold og Siebel allerede. Det finnes i dag flere tilgjengelige fri programvaresystemer for elektronisk stemmegiving og opptelling. Fri programvare sikrer brukeren kontroll over datasystemene. Slike systemer er tilgjengelig fra OpenSourceVoting og ACTs elektroniske valgsystem som ble brukt i det australske parlamentvalget 2001 og 2004. For å sikre at det er mulig å gjennomføre omtellinger må hver enkelt stemme lagres på ikke-elektronisk format (f.eks. papir), og et slikt papirspor må sikres slik at de ikke kan endres i ettertid.

Vellykkede elektroniske valgsystemer

I Venezuela fungerte avstemmingsmaskinene slik at de som stemte markerte det de stemte på en skjerm, og valgene ble skrevet på en papirrull som den som stemmer så de kunne sjekke for å kontrollere at de valgene som ble gjort kom med på papirrullen. Deretter ble voteringstallene sendt elektronisk fra hver maskin til tre uavhengige opptellingsgrupper (hvorav en av dem var Carter-senteret), som talte opp stemmene. Alle måtte være enige for å godkjenne resultatet. Hvis det var avvik så kunne en gå helt ned på papirrull-nivå for å sjekke resultatet. Det har dog blitt hevdet at oppbevaringen av papirrullene ble overlatt til regimet, slik at kontrollmuligheten ble fjernet. Det er likevel mulig å organisere seg slik at det blir vanskelig å forfalske valgresultatet ved å bytte ut eller endre rullene.

India har et elektronisk voteringssystem som ble tatt i bruk i 1989. Det består av to ulike enheter, en opptellingsenhet og en avstemmingsenhet. Systemet sikrer hemmelig valg, er vanskelig å påvirke, men mangler oppbevaring av hver enkelt stemme på et ikke-elektronisk format, noe som gjør omtelling umulig.

Mindre vellykkede elektroniske valgsystemer

I USA finnes en rekke ulike leverandører av elektroniske valgsystemer, og det er dokumentert svakheter med flere av dem. F.eks. har forskerne Ariel J. Feldman, J. Alex Halderman, og Edward W. Felten ved Universitetet i Princeton dokumentert hvordan systemet fra Diebold kan manipuleres til gi uriktig avstemmingsresultat. Det er også indikasjoner på at noen av systemene kan påvirkes av leverandøren via telelinjer. Robert F. Kennedy Jr. har nylig i en artikkel fortalt om flere avvik fra valget i 2004. Norge bør unngå systemer som kan manipuleres slik det rapporteres om fra USA.

Universitetet i Oslo skal denne høsten gjennomføre elektronisk valg på Dekan ved Det teologiske fakultet. Universitetsstyret har godkjent et valgsystem der de som arrangerer valget har mulighet til å se hvem som har stemt hva, samt hver deltager i valget kan endre sin stemme i ettertid (ikke-hemmelig), de som administrerer datasystemet kan påvirke valgresultatet ved å endre, trekke fra eller legge til stemmer (ikke-nøyaktig), og det ikke nødvendigvis er mulig å oppdage at slik påvirkning har funnet sted (ikke etterprøvbart). Webbaserte valgsystemer uten spesiell klientprogramvare vil ha flere av disse problemene.

Konkrete kommentarer til rapporten

Rapporten nevner ikke muligheten for å påvirke valgresultatet via trojansk type kode. Siebel blir beskyldt for dette i USA. Vi advarer mot bruk av lukket kildekode, fordi dette i prinsippet innebærer å stole blindt på leverandøren. Det bør ikke vere begrenset hvem som kan kontrollere at systemet gjør det det skal, og dette tilsier bruk av fri programvare.

Rapporten anbefaler lukket kode fordi kjeltringer kan finne ut sikkerhetsmekanismene ved å lese kode. Det er ikke en god idé å basere seg på at sikkerhetsmekanismene er beskyttet pga. at ingen kjenner til hvordan de fungerer. Som eksempelet fra USA viser, kan man godt mistenke leverandøren for å jukse med systemet. Selve det at en slik mistanke eksisterer, og ikke kan fjernes/reduseres ved uavhengig inspeksjon, er et problem for demokratiet. Et sikkert system må være sikkert selv om noen med uærlige hensikter kjenner til hvordan det fungerer. Australia har allerede gjennomført vellykkede valg basert på et fri programvaresystem.

Driften av totalsystemet blir ofret liten oppmerksomhet i rapporten. I et driftopplegg ligger mange sikkerhetsutfordringer som bør vurderes nøye.

Definisjonen av brannmur i rapporten er feil, for eksempel sies at "brannmuren er selv immun mot inntrengning". Dette er ikke riktig. Det er fullt mulig å ha brannmurer med sikkerhetsproblemer som utnyttes til å trenge inn i dem. I tillegg antar man at all trafikk går gjennom brannmuren. I store applikasjoner, som et valgsystem vil være, kreves et system av brannmurer og andre tiltak som vi kaller sikkerhetsarkitektur. Rapporten burde komme inn på behovet for en sikkerhetsarkitektur.. Selv med en gjennomarbeidet sikkerhetsarkitektur kan det være at man overser muligheter for å unngå brannmurene. Rapporten snakker om brannmur i entall, mens det nok er nødvendig å sikre et valgsystem med flere lag av sikringstiltak, og dermed vil være behov for flere brannmurer. En brannmur kan være bygd basert på visse antagelser og standarder. En annen brannmur kan bygge på et annet sett antagelser, og stoppe trafikk som den første ikke tar høyde for.

Rapporten indikerer dårlige kunnskaper om brannmur, og dette igjen antyder dårlige kunnskaper om datasikkerhet generelt, og dette bør forbedres. For eksempel er driften ansvarlig for operativ sikkerhetsarkitektur, og vi har hatt adskillige diskusjoner i NUUG om hvor vanskelig dette er. Hva hjelper en brannmur hvis den er feil konfigurert eller ikke oppdatert?

Muligheten for sikkerhetsovervåkning kan vi ikke se er nevnt i rapporten. Dette er vanskelig og dyrt, men bør vurderes for å kunne oppdage systemavvik under valget. Sikkerhetsovervåkning kan inngå som ledd i sikkerhetsarkitekturen.

Det har blitt rapportert i pressen at USA ikke bør kjøpe Lenovo-maskiner etter at selskapet som lager dem ble solgt fra IBM til et kinesisk selskap. I Norge kan vi ikke trekke tingene like langt da vi mangler nødvendig dataindustri, men vi bør satse på at applikasjoner viktige for rikets sikkerhet i størst mulig utstrekning kjører programvare der vi har innsyn i hvordan den er satt sammen. Det er viktig at vi sikrer at programvare viktige for rikets sikkerhet kan sjekkes/verifiseres av eksperter vi selv velger. Når det gjelder valgsystemer må «vi» være velgerne, ikke bare myndighetsapparatet. I tilfelle en ikke kan bruke fri programvare, bør en ivareta en sunn kritisk sans med hensyn til hvorfra og av hvem vi kjøper. På grunn av tendenser i USA til å i uheldig stor grad fokusere på kontrollmekanismer som eksempelvis Echelon og Palladium kan det hevdes at det hefter betenkeligheter ved innkjøp herfra.

Referanser

Som alltid med valg er det ikke viktigst hva folk stemmer på, men hvem som teller opp stemmene... Hvis du er interessert i temaet e-valg, så har NUUG siden 2006 oppdatert NUUGs wikiside om høringen med aktuelle og interessante referanser og artikler. Ta en titt der hvis du vil lese mer. :)

Tags: norsk, nuug, personvern, valg.
OOXML og standardisering
25th July 2012

DIFI har en høring gående om ny versjon av statens standardkatalog, med frist 2012-09-30, der det foreslås å fjerne ODF fra katalogen og ta inn ISO OOXML. I den anledning minnes jeg notatet FAD skrev da versjon 2 av standardkatalogen var under utarbeidelse, da FAD og DIFI fortsatt forsto poenget med og verdien av frie og åpne standarder.

Det er mange som tror at OOXML er ett spesifikt format, men det brukes ofte som fellesbetegnelse for både formatet spesifisert av ECMA, ISO, og formatet produsert av Microsoft Office (aka docx), som dessverre ikke er det samme formatet. Fra en av de som implementerte støtte for docx-formatet i KDE fikk jeg høre at ISO-spesifikasjonen var en nyttig referanse, men at det var mange avvik som gjorde at en ikke kunne gå ut ifra at Microsoft Office produserte dokumenter i henhold til ISO-spesifikasjonen.

ISOs OOXML-spesifikasjon har (eller hadde, usikker på om kommentaren er oppdatert) i følge Inigo Surguy feil i mer enn 10% av eksemplene, noe som i tillegg gjør det vanskelig å bruke spesifikasjonen til å implementere støtte for ISO OOXML. Jeg har ingen erfaring med å validere OOXML-dokumenter selv, men ser at Microsoft har laget en validator som jeg ikke kan teste da den kun er tilgjengelig på MS Windows. Finner også en annen kalt Office-O-Tron som er oppdatert i fjor. Lurer på om de validerer at dokumenter er i formatet til Microsoft office, eller om de validerer at de er i henhold til formatene spesifisert av ECMA og ISO. Det hadde også vært interessant å se om docx-dokumentene publisert av det offentlige er gyldige ISO OOXML-dokumenter.

Tags: norsk, nuug, standard.
Free Culture in Norwegian - 5 chapters done, 74 percent left to do
21st July 2012

I reported earlier that I am working on a norwegian version of the book Free Culture by Lawrence Lessig. Progress is good, and yesterday I got a major contribution from Anders Hagen Jarmund completing chapter six. The source files as well as a PDF and EPUB version of this book are available from github.

I am happy to report that the draft for the first two chapters (preface, introduction) is complete, and three other chapters are also completely translated. This completes 26 percent of the number of strings (equivalent to paragraphs) in the book, and there is thus 74 percent left to translate. A graph of the progress is present at the bottom of the github project page. There is still room for more contributors. Get in touch or send github pull requests with fixes if you got time and are willing to help make this book make it to print. :)

The book translation framework could also be a good basis for other translations, if you want the book to be available in your language.

Tags: docbook, english, freeculture, nuug, opphavsrett.
Call for help from docbook expert to tag Free Culture by Lawrence Lessig
16th July 2012

I am currently working on a project to translate the book Free Culture by Lawrence Lessig to Norwegian. And the source we base our translation on is the docbook version, to allow us to use po4a and .po files to handle the translation, and for this to work well the docbook source document need to be properly tagged. The source files of this project is available from github.

The problem is that the docbook source have flaws, and we have no-one involved in the project that is a docbook expert. Is there a docbook expert somewhere that is interested in helping us create a well tagged docbook version of the book, and adjust our build process for the PDF, EPUB and HTML version of the book? This will provide a well tagged English version (our source document), and make it a lot easier for us to create a good Norwegian version. If you can and want to help, please get in touch with me or fork the github project and send pull requests with fixes. :)

Tags: docbook, english, freeculture, nuug, opphavsrett.
Fri programvare - "fri" som i "talefrihet", ikke som i "fri bar"
15th July 2012

Et ofte brukt sitat i fri programvareverden er Stallman-sitatet «Free Software, "free" as in "free speech", not as in "free beer"». Men det er ikke direkte overførbart til norsk, da det baserer seg på koblingen gratis/fri på engelsk. En direkte oversettelse ville være «Fri programvare, "fri" som i "talefrihet", ikke som "gratis øl"», og det går jo glipp av poenget. I forbindelse med at vi er igang med å oversette Free Culture av Lawrence Lessig, måtte jeg forsøke a finne en bedre oversettelse.

Mitt forslag til oversettelse blir dermed å droppe ølet, og heller fokusere på det kjente norske uttrykket "fri bar". Dermed blir oversettelsen «Fri programvare - "fri" som i "talefrihet", ikke som i "fri bar"».

Noen som har bedre forslag?

Forøvrig bruker jeg fri programvare som et samlebegrep på norsk for begge de engelske uttrykkene Free Software og Open Source, jamfør NUUGs lille folder om temaet.

Tags: freeculture, norsk, nuug.
Dugnad for å sende norsk versjon av Free Culture til stortingets representanter!
11th July 2012

Da opphavsrettsloven ble revidert i forrige runde rundt 2005, var det skummelt å se hvor lite stortingsrepresentantene forsto hvordan Internet påvirket folks forhold til kulturuttrykk, og min venn Vidar og jeg spekulert på at det hadde kanskje vært fornuftig om samtlige representanter fikk en norsk utgave av boken Free Culture av Lawrence Lessig som forklarte litt om problemstillingene. Vi endte opp med å prioritere utvikling i Skolelinux-prosjektet i stedet, så den oversatte boken så aldri dagens lys. Men i forrige uke ble jeg inspirert til å ta opp tråden og se om det er mulig å få til bokprosjektet denne gang, da det er tydelig at kulturdepartementet i sitt nye forsøk på å gjøre opphavsrettsloven enda mer ubalansert til fordel for forlag og store mediehus fortsatt trenger en annen vinkling i debatten.

Planen min er å oversette boka på dugnad, sette den opp for trykking med en av de mange trykk på forespørsel-tjenestene, skaffe sponsor til å finansiere trykking til stortingsrepresentantene og alle som har bidratt med oversettelser. Kanskje vi også kan få en avtale med et forlag om publisering når boka er ferdig? Kommentarene til Eirik Newth og Espen Andersen om erfaringene med selvpublisering og trykk på forespørsel er interessante og ikke avskrekkende, og jeg mistenker at Lulu er en grei leverandør av trykketjenester til prosjektet.

Jeg har satt opp et Github-prosjekt for a lage boken, basert på Docbook-utgaven jeg fant fra Hans Schou. Skolelinux har hatt byggesystem for å lage oversatt HTML og PDF-utgave av Docbook-bøker i en årrekke, så jeg har kopiert og utvidet dette oppsettet. Originalteksten er i Docbook, og oversettelsen gjøres i .po-filer med hjelp av vanlige oversetterverktøy brukt i fri programvareverden. Dernest tar byggesystemet over og lager PDF og EPUB-utgave av den oversatte teksten. Resultatet kan ses i Github-prosjektet. For å komme raskt igang har jeg brukt maskinoversettelse av alle tekstbitene fra engelsk til norsk, noe som grovoversatte ca. 1300 av de ca. 1700 tekstbitene boken består av. Jeg håper nå at flere kan bidra med å få oversettelsen på plass, slik at teksten kan være klar i løpet av høsten. Når alt er oversatt må teksten gjennomgås for feil og konsistent språk. Totalt er det nok mange timer som trengs for å gjennomføre oversettelsen.

Økonomien i dette er ikke avskrekkende. 169 stortingsrepresentanter og nesten like mange varamedlemmer bør få bøker, og estimert produduksjonskostnad for hver bok er rundt 6 EURO i følge et raskt estimat fra Lulu. Jeg vet ennå ikke hvor mange sider det blir i størrelsen 5,5" x 8.5" (det er ca. 140 sider i A4-format), så jeg gjettet på 400 sider. Jeg tror originalutgaven har nesten 400 sider. For 169*2 eksemplarer snakker vi om en trykkekostnad på ca. 2000 EURO, dvs. ca 15 000 NOK. Det burde være mulig å finne en sponsor for å dekke en slik sum. I tillegg kommer distribusjon og porto, som antagelig kommer på like mye.

Kan du bidra med oversettelse og docbook-typesetting? Ta kontakt og send patcher i github. Jeg legger gjerne inn folk i prosjektet slik at du kan oppdatere direkte.

Tags: docbook, freeculture, norsk, nuug, opphavsrett.
Hvorfor leverer noen sent til Offentlig Elektronisk postjournal?
5th July 2012

I forbindelse med NUUG-prosjektet for å lage en samlet postjournal, har jeg som tidligere nevnt samlet inn leveringstidspunkt for de ulike leverandørene av postjournaler til DIFIs Offentlig Elektronisk Postjournal. Leveringsfrekvensen ser i dag slik ut for de som har brukt mer enn 10 dager i snitt siden jeg startet innsamling av leveringsdato 2012-05-14

agency dayfreq count(*) lastdelivery
Norges geologiske undersøkelse 27.0866579862 4 2012-07-02T00:00:00
Kompetansesenter for distriktsutvikling 18.4488773149 3 2012-06-20T00:00:00
Toll- og avgiftsdirektoratet 18.4488773149 3 2012-07-04T00:00:00
Departementenes servicesenter 18.0866579862 4 2012-06-29T00:00:00
Medietilsynet 14.5866579862 4 2012-07-04T00:00:00
Politidirektoratet 14.3366579862 4 2012-06-20T00:00:00
Fredskorpset 12.4693263889 5 2012-06-22T00:00:00
Kunnskapsdepartementet 11.2693263889 5 2012-07-05T00:00:00
Statens legemiddelverk 10.4780902778 7 2012-06-29T00:00:00
Norsk Akkreditering 10.4488773149 3 2012-07-02T00:00:00

Basert på innsamlet leveringsfrekvens har jeg så sendt spørsmål til den offisielle epostadressen til de som har lavest leveringsfrekvens, og spurt dem hva som skjer. Her er svarene jeg har fått så langt, som et knippe forklaringer til hvorfor det kan gå lang tid før offentlige postjournaler blir tilgjengelig for innbyggerne og pressen.

Norges geologiske undersøkelse

Subject: Hvor ofte leverer Norges geologiske undersøkelse til Offentlig Elektronisk postjournal?
Date: Fri, 08 Jun 2012 09:20:57 +0200

Hei. Jeg har et lite spørsmål til dere. Fra statistikken til Offentlig Eletronisk Postjournal (OEP) ser jeg det er lenge siden NGU leverte postjournalen sin sist. Hvor ofte pleier NGU å levere til Offentlig Eletronisk Postjournal? Er dere fornøyd med dagens leveringfrekvens?


Subject: SV: Hvor ofte leverer Norges geologiske undersøkelse til Offentlig Elektronisk postjournal?
Date: Fri, 8 Jun 2012 12:49:35 +0200

Hei

NGUS fravær på OEP skyldes problemer vi har i forbindelse med oppgradering til ny versjon i vårt arkivsystem. Det jobbes med saken og jeg tror og håper at det snart skal være i orden. Normalt leverer vi til OEP 1 gang i uken.

Medietilsynet

Subject: Hvor ofte leverer Medietilsynet til Offentlig Elektronisk postjournal?
Date: Mon, 11 Jun 2012 13:29:23 +0200

Hei. Jeg har et lite spørsmål til dere. Fra statistikken til Offentlig Eletronisk Postjournal (OEP) ser jeg det er lenge siden Medietilsynet leverte postjournalen sin sist. Hvor ofte pleier Medietilsynet å levere til Offentlig Eletronisk Postjournal? Er dere fornøyd med dagens leveringfrekvens?


Subject: SV: Hvor ofte leverer Medietilsynet til Offentlig Elektronisk postjournal?
Date: Tue, 12 Jun 2012 04:55:42 +0000

Hei!

Medietilsynet leverer normalt postlister en gang i uka. Nå har vi tekniske problemer, derfor er vi forsinket. Vi regner med å levere i løpet av denne uken. Ellers er vi fornøyd med dagens leveringsfrekvens.

Kunnskapsdepartementet

Subject: Hvor ofte leverer Kunnskapsdepartementet til Offentlig Elektronisk Postjournal?
Date: Fri, 22 Jun 2012 21:03:01 +0200

Hei. Jeg har et lite spørsmål til dere. Fra statistikken til Offentlig Eletronisk Postjournal (OEP) ser jeg at Kunnskapsdepartementet har levert postjournalen sin to ganger siden 2012-05-10, og sist 2012-05-16. Hvor ofte pleier Kunnskapsdepartementet å levere til Offentlig Eletronisk Postjournal? Er dere fornøyd med dagens leveringfrekvens?


Subject: Re: Hvor ofte leverer Kunnskapsdepartementet til Offentlig Elektronisk Postjournal?
Date: Wed, 27 Jun 2012 14:42:23 +0200

Hei. Kom denne eposten frem? Har ikke sett noe svar, og andre institusjoner jeg har spurt om tilsvarende har svart i løpet av under en dag på tilsvarende spørsmål, så jeg begynner å lurer på om meldingen gikk tapt.

[... kopi av opprinnelig epost ...]


Subject: Re: VS: Hvor ofte leverer Kunnskapsdepartementet til Offentlig Elektronisk Postjournal?
Date: Wed, 27 Jun 2012 14:33:20 +0000

Hei!

Normalt leverer vi hver virkedag til OEP, med fem virkedagers forsinkelse. Kunnskapsdepartementet har imidlertid ikke kunnet levere OEP pga innføringen av nytt saksbehandlingssystem 7. Mai. Den etterfølgende streiken medførte så et større etterslep på journalføring som har gjort at vi har måttet prioritere dette fremfor offentlig journal. Dette arbeidet har av flere sammenfallende årsaker tatt noe tid. Vi håper imidlertid på at vi kan begynne å publisere offentlig journal igjen i løpet av denne uken, senest neste uke. Vi gjenopptar da vår vanlige publiseringsfrekvens i tillegg til å få på plass de manglende journalene.

Norsk Akkreditering

Subject: Hvor ofte leverer Norsk Akkreditering til Offentlig Elektronisk postjournal?
Date: Thu, 28 Jun 2012 07:35:43 +0200

Hei. Jeg har et lite spørsmål til dere. Fra statistikken til Offentlig Eletronisk Postjournal (OEP) ser jeg det går lenge hver gang Norsk Akkreditering leverer postjournalen sin. Hvor ofte pleier Norsk Akkreditering å levere til Offentlig Eletronisk Postjournal? Er dere fornøyd med dagens leveringfrekvens?


Subject: SV: Hvor ofte leverer Norsk Akkreditering til Offentlig Elektronisk postjournal?
Date: Mon, 2 Jul 2012 08:32:06 +0200

Hei,

Norsk Akkreditering har som ambisjon å levere til OEP 2 ganger i uken. Pga sykdom har dette vært vanskelig å gjennomføre i juni.

Toll- og avgiftsdirektoratet

Date: Tue, 03 Jul 2012 11:55:07 +0200
Subject: Hvor ofte leverer Toll- og avgiftsdirektoratet til Offentlig Elektronisk postjournal?

Hei. Jeg har et lite spørsmål til dere. Fra statistikken til Offentlig Eletronisk Postjournal (OEP) ser jeg det går lenge hver gang Toll- og avgiftsdirektoratet leverer postjournalen sin til OEP, og at siste levering var 2012-06-06. Hvor ofte pleier Toll- og avgiftsdirektoratet å levere til OEP? Er dere fornøyd med dagens leveringfrekvens?


Date: Wed, 4 Jul 2012 09:33:18 +0000
Subject: SV: Hvor ofte leverer Toll- og avgiftsdirektoratet til Offentlig Elektronisk postjournal?

Til: Petter Reinholdtsen

Det vises til din e-post av 3. juli 2012.

Våre rutiner tilsier at vår journal skal publiseres en gang pr. uke (hver torsdag). Vi søker så langt det er mulig å få dette til og har stort sett publisert iht rutinene siden vi kom opp på OEP.

Pga ekstraordinære forhold ved vårt arkiv har vi i de siste ukene ikke hatt kapasitet til å opprettholde den publiseringsfrekvensen vi har fastsatt. Det er et begrenset antall medarbeidere som kan og skal kunne publisere våre journaler. Vi håper imidlertid at dette raskt vil bedres og vi er tilbake til den frekvens vi har satt oss som mål å ha.

Vi beklager hvis dette har skapt vanskeligheter.

Like etter at jeg fikk svar ble OEP oppdatert med postjournaler fra alle disse etatene. Antagelig tilfeldig, men jeg ser ikke bort fra at det kan ha virket motiverende for å få på plass leveringen at de ser at det er interesse for leveringen til OEP.

Tags: norsk, nuug, offentlig innsyn.
Medietilsynets syn på om Frikanalen bør være ukryptert på det digitale bakkenettet
4th July 2012
I forgårs fikk jeg endelig svar fra Medietilsynet på min epost med spørmål om hvorfor Frikanalen er kryptert på RiksTV. De toer sine hender:

Date: Mon, 2 Jul 2012 08:15:38 +0000
From: Arve Lindboe <Arve.Lindboe (at) medietilsynet.no>
To: Petter Reinholdtsen
CC: Arthur Garnes <Arthur.Garnes (at) rikstv.no>, postmottak (at) sd.dep.no, post (at) frikanalen.no
Subject: Spørsmål om kryptering av Frikanalen i det digitale bakkenetttet for fjernsyn

Vi viser til Deres spørsmål av 27. mai i år til RiksTV, Samferdselsdepartementet og Medietilsynet, og til RiksTVs svar av 1. juli til Dem, som vi har mottatt i kopi.

For ordens skyld vil vi orientere om at Medietilsynet har visse tilsynsoppgaver knyttet til kapittel 3 i NTVs konsesjon for opprettelse og drift av det digitale bakkenettet for fjernsyn. Av pkt. 3.5 i denne konsesjonen går det bl.a. fram at NRKs kjernetilbud/allmennkringkastingstilbud... «skal være tilgjengelig uten betaling og ha lik dekning.» For distribusjon av innhold utenfor NRKs tilbud er det ikke tatt inn noen tilsvarende forutsetning i konsesjonen.

Medietilsynets mandat omfatter ikke spørsmålet om kryptering og administrasjon av engangsavgift knyttet til adgangskontrollsystem for NTVs formidling, og tilsynet kan derfor ikke ta stilling til de spørsmålene De reiser i tilknytning til det.

Mvh

Arve Lindboe

rådgiver,
Medietilsynet

Her må det tydeligvis andre aktører i sving for å bli kvitt krypteringen av Frikanalen.

Tags: frikanalen, norsk, nuug, video.
Can Zimbra be told to send autoreplies to the From: address?
3rd July 2012

In the NUUG FiksGataMi project (Norwegian version of FixMyStreet from mySociety), we have discovered a problem with the municipalities using Zimbra. When FiksGataMi send a problem report to the government, the email From: address is set to the address of the person reporting the problem, while envelope sender is set to the FiksGataMi contact address. The intention is to make sure the municipality send any replies to the person reporting the problem, while any email delivery problems are sent to us in NUUG. This work well in most cases, but not for Karmøy municipality using Zimbra. Karmøy is using the vacation message function in Zimbra to send an automatic reply to report that the message has been received, and this message is sent to the envelope sender and not the address in the From: header.

This causes the automatic message from Karmøy to go to NUUGs request-tracker instance instead of to the person reporting the problem. We can not really change the envelope sender address, as this would make it impossible for us to discover when there are problems with the MTAs receiving problem reports. We have been in contact with the people at Karmøy municipality, and they are willing to adjust Zimbra if something can be changed there to get a better behaviour.

The default behaviour of Zimbra is as far as I can tell according to the specification in RFC 3834, which recommend that vacation messages are sent to the envelope sender and not to the From: address. But I wonder if it is possible to adjust or configure Zimbra to behave differently. Anyone know? Please let us know at fiksgatami (at) nuug.no.

Tags: english, fiksgatami, nuug.
Frikanalen bør være ukryptert på det digitale bakkenettet
1st July 2012

Frikanalen er Norges landsdekkende åpne kanal, der alle innbyggerne kan sende sine innslag ut på TV-mediet, slik at alle kan se det de har laget. Det er demokratisk TV i sin mest ekstreme form, og en kan nesten si at det er Youtube på TV. NUUG har vært involvert i Frikanalen i mange år, og har bidratt til å lansere en løsning basert på åpne standarder i tillegg til den originale løsningen som er basert på Silverlight.

Frikanalen skal være tilgjengelig for alle uten hindringer, men RiksTV har av en eller annen grunn tvunget kanalen til å sendes kryptert ut på det digitale bakkenettet, og dermed tvinges de som skal se på kanalen via dette nettet å skaffe seg et kundeforhold til RiksTV. Det synes jeg er svært urimelig, og mistenker det er i strid med Stortingets intensjon fra da Stortinget vedtok at det skulle være en åpen kanal på det digitale bakkenettet. Jeg sendte derfor en epost til RiksTV, Samferdselsdepartementet og Medietilsynet, og tok opp problemstillingen. Her er det som har vært av oppfølging så langt.

From: Petter Reinholdtsen
Subject: Når blir Frikanalen ukryptert på RiksTV?
To: post (at) rikstv.no, postmottak (at) sd.dep.no, post (at) medietilsynet.no
Cc: post (at) frikanalen.no
Date: Sun, 27 May 2012 00:28:10 +0200

Hvorfor er det så dyrt a motta Frikanalen i det digitale bakkenettet? I følge nettsidene til Frikanalen er kanalen gratis, men den sendes kryptert ut på RiksTV, mens f.eks. NRK ikke er kryptert. For å få tilgang til de krypterte sendingene må en ha programkort som koster flere hundre kroner for hvert fjernsyn. Dette er jo langt fra gratis.

I Stortingsmelding 39 2007 står det:

NTVs søsterselskap RiksTV skal stå for betal-tv-operasjonen på plattformen. RiksTV har lagt opp til at det ikke-kommersielle tilbudet i bakkenettet skal distribueres som en enkeltkanal utenfor selskapets betal-tv-pakke. Kanalen vil gå som et gratistilbud til seerne og vil dele sendeflate med lokal-tv. Det er lagt opp til at de ikke-kommersielle aktørene i første omgang skal ha sendetid i perioden kl. 12 til kl. 17.30. Tilbudet vil bli sendt kryptert, men RiksTV vil påta seg å dekke alle utgifter for kundene (seerne), dvs. at programkortet seerne må ha for å kunne ta inn de krypterte sendingene vil være gratis i dette tilfellet. RiksTV vil også dekke distribusjonskostnadene for den åpne kanalen. Alle disse avtalene vil gjelde fram til midten av 2010.

Hva gjelder så etter midten av 2010? Betyr det som står i stortingsmeldingen at RiksTV fra midten av 2010 kan kreve hvilken som helst pris fra folk som ønsker å se på Frikanalen, derfor RiksTV velger å distribuere Frikanalen? Eller var det tillatelsen til å sende Frikanalen kryptert som gikk ut i 2010?

--
Vennlig hilsen
Petter Reinholdtsen

Jeg har ikke fått svar hverken fra departement eller medietilsyn, men har fått to svar fra RiksTV.

From: post (at) rikstv.no
Subject: RE:Når blir Frikanalen ukryptert på RiksTV?--ActionID:[92641] Hvis du svarer på denne henvendelsen, ikke forandre subjektet
To: Petter Reinholdtsen
Date: Mon, 28 May 2012 14:30:27 +0200

Takk for din henvendelse

Som det fremgår i Stortingsmeldingen gjelder avtalen om at RiksTV dekker kostnadene for Programkort frem til midten av 2010. Avtalen er gjengitt i sin helhet på denne lenken: http://www.regjeringen.no/nb/dep/kud/dok/regpubl/stmeld/2006-2007/Stmeld-nr-39-2007-/28/4.html?id=478517

Dersom du ønsker tilgang til Frikanalen via det digitale bakkenettet per idag trenger du et Programkort og RiksTV godkjent dekoder. Programkortet har en engangsavgift på kr 225,- og er å regne som en del av utstyret du trenger for å motta krypterte signaler.

Vennligst se mer informasjon om Programkort på denne lenken: https://www.rikstv.no/kundeservice/Utstyr/programkort/

For mer informasjon om våre produkter og priser se, www.rikstv.no

Ha en fin dag.

Med vennlig hilsen
Thomas Eikeland
RiksTV AS
Kundeservice
Telefonnummer: 09595
www.rikstv.no

Meldingen fra RiksTV svarte ikke helt på det jeg spurte om, så jeg fulgte opp med en ny epost:

From: Petter Reinholdtsen
Subject: Re: Når blir Frikanalen ukryptert på RiksTV?--ActionID:[92641] Hvis
du svarer på denne henvendelsen, ikke forandre subjektet
To: post (at) rikstv.no
Date: Fri, 08 Jun 2012 10:14:49 +0200

[Thomas Eikeland]
> Takk for din henvendelse

Takk for svaret.

> Som det fremgår i Stortingsmeldingen gjelder avtalen om at RiksTV dekker
> kostnadene for Programkort frem til midten av 2010. Avtalen er gjengitt
> i sin helhet på denne lenken:
> http://www.regjeringen.no/nb/dep/kud/dok/regpubl/stmeld/2006-2007/Stmeld
> -nr-39-2007-/28/4.html?id=478517

Jeg lurer altså på hva som gjelder etter at denne avtaleperioden er over. Er den erstattet med en ny avtale?

  • Kan RiksTV nå kreve hvilken som helst pris fra folk som ønsker å se på Frikanalen, eller var det tillatelsen til å sende Frikanalen kryptert som gikk ut i 2010?

> Dersom du ønsker tilgang til Frikanalen via det digitale bakkenettet
> per idag trenger du et Programkort og RiksTV godkjent
> dekoder. Programkortet har en engangsavgift på kr 225,- og er å regne
> som en del av utstyret du trenger for å motta krypterte signaler.
>
> Vennligst se mer informasjon om Programkort på denne lenken:
> https://www.rikstv.no/kundeservice/Utstyr/programkort/

Dette er litt på siden av det jeg lurte på, som er hva slags reguleringer departementet har gitt når det gjelder Frikanalen og RiksTV etter 2010.

--
Vennlig hilsen
Petter Reinholdtsen

Etter mange uker fikk jeg så på fredag følgende tilbakemelding.

From: Arthur Garnes
Subject: RE: Når blir Frikanalen ukryptert på RiksTV
To: Petter Reinholdtsen
Date: Fri, 29 Jun 2012 13:02:38 +0200

Hei,

Det vises til din henvendelse av 27.5.2012. Vi beklager at din henvendelse har tatt noe tid å besvare.

RiksTV har en distribusjonsavtale med Frikanalen, hvor Frikanalen vederlagsfritt får distribusjon i det digitale bakkenettet. At signalet er kryptert bygger på RiksTVs avtale med Frikanalen. At alle kanalene som RiksTV distribuerer som en del av sitt tilbud skal være kryptert har også vært forutsetningen for NTV, RiksTV, myndighetene og Frikanalen hele tiden. RiksTV og NTV har kostnader knyttet til å ha et adgangskontrollsystem og utstedelse, distribusjon og administrasjon av programkort og trenger som en kommersiell aktør å få dekket disse kostnadene.

Skulle du ha noen ytterligere spørsmål så er det selvsagt bare å ta kontakt.

Med vennlig hilsen
Arthur Garnes
Product Manager

Mobil: +47 98234224

E-post: arthur.garnes (at) rikstv.no
RiksTV AS
Besøk: Økernveien 145, 17. etg, Oslo
Post: Postboks 393 Økern, 0513 Oslo

Web: rikstv.no rikstvbloggen.no facebook.com/rikstv twitter:@rikstv

Denne e-post og informasjonen den inneholder er konfidensiell og ment kun for den korrekte adressaten. This e-mail and the information it contains is confidential and intended only for the right addressee.

Her var det mye å ta tak i, men jeg vet ikke når jeg rekker følge opp.

Tags: frikanalen, norsk, nuug, video.
DIFI foreslår å kaste ut ODF og ta inn OOXML fra statens standardkatalog
29th June 2012

DIFI har nettopp annonsert høring om revisjon av standardkatalogen, og endelig har Microsoft fått viljen sin. Se høringssiden for hele teksten.

Her er forslaget i sin helhet:

3.2 Revisjon av krav til redigerbare dokumenter

I første versjon av referansekatalogen i 2007 ble det satt krav om Open Document Format (ODF), versjon 1.1 (OASIS, 1.2.2007) for redigerbare dokumenter. Kravet var obligatorisk for stat og sterkt anbefalt for kommunal sektor. I 2009 ble kravet gjort obligatorisk for hele offentlig sektor i forskrift om IT-standarder i forvaltningen. Anvendelsesområdet for kravet har vært begrenset til publisering av dokumenter som skal bearbeides videre (§ 4 nr. 1 andre ledd). I 2011 ble anvendelsesområdet utvidet til å omfatte utveksling av dokumenter beregnet for redigering som vedlegg til e-post (§4 nr. 2).

Office Open XML ISO/IEC 29500:2011 (OOXML) er et dokumentformat opprinnelig utviklet av Microsoft med tilsvarende anvendelsesområde som ODF. Formatet er blant annet tatt i bruk i nyere versjoner av kontorstøtteprogamvaren MS Office. Difi har foretatt en revisjonsvurdering av krav som stilles til redigerbare dokumenter i Forskrift om IT-standarder i forvaltningen, og anbefaler at kravet til ODF fjernes. Dette innebærer at det ikke stilles krav til dokumentformater for redigerbare dokumenter ved publisering på offentlige virksomheters nettsider og for redigerbare vedlegg til e-post som sendes fra offentlige virksomheter til innbyggere og næringsliv. Offentlige virksomheter vil dermed stå fritt til å publisere eller sende redigerbare dokumenter i det format som ivaretar brukernes behov best.

Forslaget innebærer at krav til ODF utgår § 4 nr. 1 tredje ledd og § 4 nr. 2 første ledd

Imidlertid bør det stilles strengere krav til hvilke formater offentlige virksomheter plikter å motta redigerbare dokumenter. Vi mener at det ikke bør skilles mellom mottak av redigerbare dokumenter som sendes i ODF eller OOXML3, som begge er åpne standarder. Dette medfører at innbyggere og næringsliv skal kunne basere sitt valg av programvare på egne behov og ikke på de valg offentlige virksomheter tar. Kravet vil omfatte hele offentlig sektor, herunder utdanningssektoren, hvor det kanskje er størst bruk av ODF. Kravet er foreslått som ny § 4 nr.2 andre ledd

De satser vel på at det hele blir glemt over sommeren, og at de fleste har glemt Standard Norge og ISOs fallitt fra da OOXML ble jukset igjennom som ISO-standard. Jeg håper mine lesere sender inn høringsuttalelser til høringen.

Anbefaler alle å friske opp sine argumenter ved å lese svaret fra senator Edgar Villanueva til Microsoft i Peru. Det er en klassisk tekst som er like gyldig i dag som da det ble skrevet.

Tags: norsk, nuug, standard.
Postjournaler i det offentlige - vanskelig med vilje?
27th June 2012

Den norske offentlighetsloven er ganske bra, og inneholder rettigheter som sikrer at borgerne (og journalister) i stor grad kan holde øye med hva fellesskapets representanter i det offentlige holder på med. En kan be om kopi av alle dokumenter som finnes i offentlige etater, kommuner, departementer etc, og det kreves en konkret lovhjemmel for å nekte å levere ut en kopi. Men for å vite hva en skal be om, må en vite hva som finnes, og det er der de offentlige postjournalene kommer inn. Alle underlagt offentlighetsloven, som er alle offentlige kontorer samt selskaper som er kontrollert av det offentlige, er pliktig å føre postjournal og utlevere den på forespørsel. Underlig nok forteller Uninett AS meg at de som aksjeselskap ikke er underlagt krav om å publisere postjournalen på web når jeg spurte hvor postjournalen kan finnes, så det virker å være et hull i denne plikten hvis målet er at innbyggerne skal ha enkel mulighet til å kontrollere våre representanter. Men de må føre journal og utlevere den på forespørsel.

Men tema for denne bloggposten er hvordan en får tak i de offentlige postjournaler som finnes, og her er det mye som kunne vært bedre. Det finnes en felles portal for postjournaler til alle departementer, nasjonale direktorater, fylkesmenn etc (ca. 100 kilder), men for alle kommuner, fylkeskommuner, helseregioner, universiteter og høgskoler, offentlig styret stiftelser og selskaper, må en innom hver enkelt organisasjons nettsider og se etter postjournalen. Noen har laget fine søketjenester, andre har laget dårlige søketjenester. De fleste har kun lagt ut datobaserte lister over journaloppføringer, av og til HTML-basert, men ofte PDF-basert. Noen har kun innskannede bilder av dokumenter (f.eks i PDF-innpakning). Alt dette gjør det veldig vanskelig å holde et øye med det som skjer over hele Norge. En er nødt til å besøke flere hundre nettsteder, og lese mange tusen sider hver dag for å holde rede på hva som skjer, og resultatet er at det i stor grad ikke skjer.

Men datakildene ligger der, de er bare knot å bruke. En naturlig løsning på det problemet som det er utrolig og trist at presse-Norge ikke allerede har gjennomført, er å lage automatiske systemer for å samle inn og strukturere den tilgjengelige informasjonen og lage en innbygger og journalist-vennlig portal. I en slik portal bør en kunne søke etter nøkkelord, saker og andre egenskaper (f.eks. dokumenter som det tok lang tid å journalføre). Når informasjonen er samlet inn kan en analysere og finne ut hvilke organisasjoner som er trege til å publisere journalen sin, og hvilke som er mer flinke. En kan også koble saker på tvers av organisasjoner, når et brev i en sak sendes mellom organisasjonene, og dermed få en mer komplett oversikt over hva som blir gjort på vegne av oss alle i det offentlige. Det hadde vært morsomt å vite om alle brev som blir sendt mellom departementer eller kommuner blir journalført begge steder, og om det hender at sender og mottaker er uenige om et dokument kan unndras offentligheten. En slipper også å måtte forholde seg til når den journalførende enhet velger å fjerne journalen fra web. Her er praksis sprikende, og noen er flinke og har journalen liggende ute fra første dag publiseringen på web startet, mens andre fjerner den etter noen få dager.

Det er personvernutfordringer rundt tilgjengeliggjøring av postjournaler, da den offentlige informasjonen som er tilgjengelig i postjournalene kan gi ganske mye informasjon om enkeltpersoners kontakt med det offentlige Norge. En kan se når det bygges, søkes, klages og sertifiseres, blant mange andre aktiviteter en tvinges til å kontakte det offentlige Norge for å få gjort. Men det må veies opp mot behovet til å holde "makta" i Norge under oppsikt, og der må jeg innrømme at jeg tror behovet i Norge er enormt.

Uansett, dette er bakgrunnen for at vi i NUUG-regi har startet et prosjekt for å gjøre postjournalene tilgjengelig som åpne data på strukturert format, og bidra til at pressen og innbyggerne får en portal som gjør det mulig å bruke den innsynsmakten offentlighetsloven gir oss. Hvis du er interessert i å bidra, stikk innom IRC (#nuug på irc.freenode.net) og meld deg. :) Det innebærer å lage skrapere for flere hundre kilder. Noen er enkle og tar 10-20 minutter (hvis de f.eks. bruker ePhortes PDF-eksport), mens andre tar mer tid. Her trengs det programører. :)

PS: Hvis du vil lære litt mer om hva vi har mulighet til å få innsyn i hos det offentlige Norge, ta en titt på offentlighet.no, et samarbeidsprosjekt mellom Norsk Presseforbund, Norsk Redaktørforening, Norsk Journalistlag og Institutt for Journalistikk.

Tags: norsk, nuug, offentlig innsyn, personvern.
SQL-database med anbud publisert på Doffin
15th June 2012

Doffin er det offentlige Norges portal for annonsering av anbudsutlysninger. Nettstedet er mye brukt, men rådataene er ikke enkelt tilgjengelig for almenheten. For å bøte på det har jeg som et NUUG-prosjekt laget en Scraperwiki-skraper som lager en SQL-database med nøkkelinformasjonen fra Doffin, slik at det er mulig å søke og analysere Doffin-oppføringene. Det publiseres mellom 900-1500 anbud hver måned via Doffin. Jeg har ingen konkrete planer for analyse, men håper enklere tilgjengelighet gjør at flere griper sjansen. På sikt håper jeg å bruke denne databasen som grunnlag for å lage en database over anbudsdokumenter, som i dag ikke er tilgjengelig fra doffin, men må bestilles fra hver enkelt utlyser.

Jeg var litt usikker på om det var rettighetsproblemer knyttet til skraping av informasjon fra Doffin, men ser i vilkårene til Doffin følgende:

Opphavsrett mv

Ved innleggig av kunngjøringer på Doffin aksepterer Oppdragsgiver at opphavsrett og andre rettigheter til materialet overføres til Fornyings- og administrasjonsdepartementet, eller den departementet utnevner. Oppdragsgiver har imidlertid bruksrett til materialet, og kan benytte det til de formål de måtte ønske.

Hvis informasjonen er vernet av opphavsrettsloven (hvilket jeg tviler på, gitt lovens begrensninger om informasjon fra det offentlige), så er det FAD som har de immaterielle rettighetene. FAD er en del av staten, som opererer på vegne av folket, og enhver borger skulle dermed ha rett til å videreformidle informasjonen. Ingen av offentlighetslovens unntak kommer til anvendelse, i og med at informasjonen allerede er publisert.

Tags: norsk, nuug, offentlig innsyn.
Litt statistikk fra Offentlig Elektronisk postjournal
10th June 2012

De siste månedene har jeg sammen med andre i NUUG jobbet med å gjøre det enklere å få innsyn i offentlige dokumenter, og dette inkluderer å gjøre postjournaler enklere tilgjengelig for maskinell analyse og søk. I den forbindelse tok jeg i dag å tittet litt på Offentlig Elektronisk Postjournal (OEP), FAD/DIFIs fellesløsning for departementer og statlige etater.

Her er antall oppføringer pr. måned det siste året, summert opp ved hjelp av en Scraperwiki-database. Merk at denne Scraperwikien har ytelsesproblemer pga. mengden data.

MånedAntall
2011-07164355
2011-08153662
2011-09173134
2011-10170665
2011-11198409
2011-12175908
2012-01206875
2012-02202862
2012-03204225
2012-04207931
2012-05223754

Det er også interessant å se hvor ofte ulike etater sender inn sine journaloppføringer til OEP. OEP inneholder en liste med sist innrapporteringsdato for alle som sender til OEP, og ved å se når og hvor ofte det blir sendt inn fra etatene kan frekvensen beregnes. Her er bunnlista, dvs. de som leverer sjeldnere enn hver 10. dag beregnet fra en Scraperwiki-database:

Etat Frekvens Leveringer
Norges geologiske undersøkelse 83.7527546296 1
Medietilsynet 33.7527546296 1
Departementenes servicesenter 23.8763773148 2
Kunnskapsdepartementet 15.8763773148 2
Kompetansesenter for distriktsutvikling 15.3763773148 2
Toll- og avgiftsdirektoratet 15.3763773148 2
Fredskorpset 12.5842515432 3
Statens legemiddelverk 12.1881886574 4
Utlendingsnemnda 11.5842515432 3
Politidirektoratet 10.9175848765 3
Skattedirektoratet 10.9175848765 3
Statens innkrevingssentral 10.5842515432 3
Barne-, ungdoms- og familiedirektoratet 10.2509182099 3
Kunst i offentlige rom 10.2509182099 3

En kan beregne lignende frekvenser ved å sammenligne journalføringsdato med publiseringsdato for hver enkelt oppføring i OEP, men den lenken legger jeg ikke ved her for å unngå at søkemotorroboter begynner å overbelaste Scraperwiki-databasen.

Jeg har spurt Norges geologiske undersøkelse om hvorfor de leverer så sjelden, og det kommer av at de har problemer etter oppgradering av arkivsystemet sitt og jobber med å fikse det slik at de kan gå tilbake til å levere hver uke. Har ikke undersøkt noen av de andre.

Tags: norsk, nuug, offentlig innsyn.
Web service to look up HP and Dell computer hardware support status
6th June 2012

A few days ago I reported how to get the support status out of Dell using an unofficial and undocumented SOAP API, which I since have found out was discovered by Daniel De Marco in february. Combined with my web scraping code for HP, Dell and IBM from 2009, I got inspired and wrote a web service based on Scraperwiki to make it easy to look up the support status and get a machine readable result back.

This is what it look like at the moment when asking for the JSON output:

% GET https://views.scraperwiki.com/run/computer-hardware-support-status/?format=json&vendor=Dell&servicetag=2v1xwn1
supportstatus({"servicetag": "2v1xwn1", "warrantyend": "2013-11-24", "shipped": "2010-11-24", "scrapestamputc": "2012-06-06T20:26:56.965847", "scrapedurl": "http://143.166.84.118/services/assetservice.asmx?WSDL", "vendor": "Dell", "productid": ""})
%

It currently support Dell and HP, and I am hoping for help to add support for other vendors. The python source is available on Scraperwiki and I welcome help with adding more features.

Tags: english, nuug.
SOAP based webservice from Dell to check server support status
1st June 2012

A few years ago I wrote how to extract support status for your Dell and HP servers. Recently I have learned from colleges here at the University of Oslo that Dell have made this even easier, by providing a SOAP based web service. Given the service tag, one can now query the Dell servers and get machine readable information about the support status. This perl code demonstrate how to do it:

use strict;
use warnings;
use SOAP::Lite;
use Data::Dumper;
my $GUID = '11111111-1111-1111-1111-111111111111';
my $App = 'test';
my $servicetag = $ARGV[0] or die "Please supply a servicetag. $!\n";
my ($deal, $latest, @dates);
my $s = SOAP::Lite
    -> uri('http://support.dell.com/WebServices/')
    -> on_action( sub { join '', @_ } )
    -> proxy('http://xserv.dell.com/services/assetservice.asmx')
    ;
my $a = $s->GetAssetInformation(
    SOAP::Data->name('guid')->value($GUID)->type(''),
    SOAP::Data->name('applicationName')->value($App)->type(''),
    SOAP::Data->name('serviceTags')->value($servicetag)->type(''),
);
print Dumper($a -> result) ;

The output can look like this:

$VAR1 = {
          'Asset' => {
                     'Entitlements' => {
                                       'EntitlementData' => [
                                                            {
                                                              'EntitlementType' => 'Expired',
                                                              'EndDate' => '2009-07-29T00:00:00',
                                                              'Provider' => '',
                                                              'StartDate' => '2006-07-29T00:00:00',
                                                              'DaysLeft' => '0'
                                                            },
                                                            {
                                                              'EntitlementType' => 'Expired',
                                                              'EndDate' => '2009-07-29T00:00:00',
                                                              'Provider' => '',
                                                              'StartDate' => '2006-07-29T00:00:00',
                                                              'DaysLeft' => '0'
                                                            },
                                                            {
                                                              'EntitlementType' => 'Expired',
                                                              'EndDate' => '2007-07-29T00:00:00',
                                                              'Provider' => '',
                                                              'StartDate' => '2006-07-29T00:00:00',
                                                              'DaysLeft' => '0'
                                                            }
                                                          ]
                                     },
                     'AssetHeaderData' => {
                                          'SystemModel' => 'GX620',
                                          'ServiceTag' => '8DSGD2J',
                                          'SystemShipDate' => '2006-07-29T19:00:00-05:00',
                                          'Buid' => '2323',
                                          'Region' => 'Europe',
                                          'SystemID' => 'PLX_GX620',
                                          'SystemType' => 'OptiPlex'
                                        }
                   }
        };

I have not been able to find any documentation from Dell about this service outside the inline documentation, and according to one comment it can have stability issues, but it is a lot better than scraping HTML pages. :)

Wonder if HP and other server vendors have a similar service. If you know of one, drop me an email. :)

Tags: english, nuug.
The cost of ODF and OOXML
26th May 2012

I just come across a blog post from Glyn Moody reporting the claimed cost from Microsoft on requiring ODF to be used by the UK government. I just sent him an email to let him know that his assumption are most likely wrong. Sharing it here in case some of my blog readers have seem the same numbers float around in the UK.

Hi. I just noted your http://blogs.computerworlduk.com/open-enterprise/2012/04/does-microsoft-office-lock-in-cost-the-uk-government-500-million/index.htm comment:

"They're all in Danish, not unreasonably, but even with the help of Google Translate I can't find any figures about the savings of "moving to a flexible two standard" as claimed by the Microsoft email. But I assume it is backed up somewhere, so let's take it, and the £500 million figure for the UK, on trust."

I can tell you that the Danish reports are inflated. I believe it is the same reports that were used in the Norwegian debate around 2007, and Gisle Hannemyr (a well known IT commentator in Norway) had a look at the content. In short, the reason it is claimed that using ODF will be so costly, is based on the assumption that this mean every existing document need to be converted from one of the MS Office formats to ODF, transferred to the receiver, and converted back from ODF to one of the MS Office formats, and that the conversion will cost 10 minutes of work time for both the sender and the receiver. In reality the sender would have a tool capable of saving to ODF, and the receiver would have a tool capable of reading it, and the time spent would at most be a few seconds for saving and loading, not 20 minutes of wasted effort.

Microsoft claimed all these costs were saved by allowing people to transfer the original files from MS Office instead of spending 10 minutes converting to ODF. :)

See http://hannemyr.com/no/ms12_vl02.php and http://hannemyr.com/no/ms12.php for background information. Norwegian only, sorry. :)

Tags: english, nuug, standard.
OpenOffice.org fungerer da fint for blinde?
21st May 2012

De siste dagene har høringsuttalelsene om DIFIs forslag til standardkatalog v3.1 blitt publisert på DIFIs nettside, og jeg kunne der glede meg over at NUUGs uttalelse er kommet med. En uttalelse som overrasker og forvirrer meg er den fra Norges Blindeforbund, som 5 år etter at Klaus Knopper sammen med sin blinde kone blant annet demonstrerte høyttalende OpenOffice.org på nynorsk for blinde på et NUUG-møte.

Norges Blindeforbund skriver følgende, som for meg virker å være formulert på sviktende grunnlag:

Bruk av fri programvare

I FRIPROGSENTERET, RAPPORT 2009-02: Universell utforming http://www.kunnskapsbazaren.no/filer/Friprogsenteret-Rapport-Universell_utforming.pdf sies det "Det finnes i dag ikke mange fri programvare-rammeverk eller generelle løsninger som støtter tilgjengelighet eller som er universelt utformet."

Til tross for at det gjennom prinsippene i fri programvare åpnes for større frihet til selv å påvirke programvareløsninger i retning av universell utforming viser praksis at virkeligheten er en annen. Mange av de mest alminnelige frie programvarepakkene mangler delvis eller fullstendig tilgjengelighet for mennesker med nedsatt syn. Eksempler på dette er OpenOffice og LibreOffice m.fl.

En annen utfordring ved bruk av fri programvare kan være manglende kundestøtte og muligheter til opplæring i bruk av løsningen. Svaksynte og blinde har et høyere behov for denne typen støtte enn andre brukere ettersom mange av dem har behov for tilleggsprogramvare som skal fungere sammen med den opprinnelige programvaren, og ettersom man ikke har de samme muligheter for overblikk over grensesnittet som en seende bruker. I tillegg til dette kommer de mer tilgjengelighetstekniske utfordringene som ofte må løses i samarbeid med programvareleverandør/produsent.

Fri programvare er ikke på samme måte underlagt lovgivning gjennom for eksempel diskriminerings og tilgjengelighetsloven ettersom det ikke alltid finnes en produsent/tilbyder av tjenesten eller produktet.

Norges Blindeforbund krever at universell utforming og brukskvalitet tas med som viktige hensyn i utredninger som ligger til grunn for valg av standarder som primært leder brukeren mot fri programvare. Et eksempel på dette er bruk av dokumentformatet ODF som leder brukeren i retning av OpenOffice, som er helt eller delvis utilgjengelig for svaksynte og blinde – noe avhengig av plattform og hjelpemiddelprogramvare.

Jeg håper noen involvert i OpenOffice.org og/eller LibreOffice tar kontakt med Norges Blindeforbund og oppklarer det som for meg virker å være en misforståelse, i og med at OpenOffice.org så vidt jeg vet fungerer fint også for blinde.

Jeg ble minnet på problemstillingen da jeg leste Slashdot-saken om "The State of Linux Accessibility", som også hevder at Linux fungerer utmerket for blinde.

Tags: norsk, nuug, standard.
Dør Unix, eller lever den videre som Linux?
15th May 2012

Peter Hidas fra Gartner melder i Computerworld at Unix nedkjempes av Linux og Windows. For meg er påstanden meningsløs, da Linux er en variant av Unix, og hele diskusjonen om Linux er Unix eller ikke er utdatert og uinteressant. Jeg ser at Helge Skrivervik deler mitt syn på saken i sin kommentar fra i går om at "Unix vs. Linux = uinteressant".

I NUUG-sammenheng møter jeg av og til folk som tror NUUG er for avdankede folk som driver med den samme Unix-varianten som Peter Hidas skriver om i sin kommentar, og dermed er en foreningen for avdankede teknologer interessert i døende teknologi. Intet kunne være lengre fra sannheten.

NUUG er en forening for oss som har sans for fri programvare, åpne standarder og Unix-lignende operativsystemer, som Ubuntu, FreeBSD, Debian, Mint, Gentoo, Android, Gnome, KDE, LXDE, Firefox, LibreOffice, ODF, HTML, C++, ECMA-Script, etc. Kort sagt der nyskapning skjer på IT-fronten i dag. Det innebærer selvfølgelig også de som er interessert i de "gamle" Unix-ene som Solaris og HP-UX, men de er bare et lite mindretall blant NUUGs medlemmer. De aller fleste medlemmene har i dag fokus på Linux.

Tags: norsk, nuug.
NUUGs leverer høringsuttalelse om v3.1 av statens referansekatalog
27th April 2012

NUUG-styremedlem Hans-Petter Fjeld meldte nettopp at han har sendt inn NUUGs høringsuttalelse angående Difi sin standardkatalog v3.1. Jeg er veldig glad for at så mange bidro og sikret at vår stemme blir hørt i denne høringen. Anbefaler alle å lese våre to sider med innspill.

Tags: norsk, nuug, standard.
Holder de ord og NUUG lanserer testtjeneste med stortingsinformasjon
22nd April 2012

I januar i fjor startet vi i NUUG arbeid med å gjøre informasjon om hvem som har stemt hva på Stortinget enklere tilgjengelig. I løpet av få måneder fant vi sammen med organisasjonen Holder de ord som arbeidet mot et lignende mål.

Siden den gang har vi fått tak i maskinelt lesbart informasjon om hvem som stemte hva mellom 1990 og våren 2010, og tilgang til stortingets nye datatjeneste som har informasjon fra høsten 2011 til i dag. Det gjenstår litt arbeid med det første datasettet, men datasettet fra høsten 2011 er klart til bruk. Begge datasettene er tilgjengelig via git.

Go Open i morgen lanserer NUUG sammen med Holder de ord en test-tjeneste som viser hva som er og blir behandlet på Stortinget og hvem som har stemt hva siden oktober i fjor. Du får herved mulighet til å ta en sniktitt.

Tags: norsk, nuug, stortinget.
RAND terms - non-reasonable and discriminatory
19th April 2012

Here in Norway, the Ministry of Government Administration, Reform and Church Affairs is behind a directory of standards that are recommended or mandatory for use by the government. When the directory was created, the people behind it made an effort to ensure that everyone would be able to implement the standards and compete on equal terms to supply software and solutions to the government. Free software and non-free software could compete on the same level.

But recently, some standards with RAND (Reasonable And Non-Discriminatory) terms have made their way into the directory. And while this might not sound too bad, the fact is that standard specifications with RAND terms often block free software from implementing them. The reasonable part of RAND mean that the cost per user/unit is low,and the non-discriminatory part mean that everyone willing to pay will get a license. Both sound great in theory. In practice, to get such license one need to be able to count users, and be able to pay a small amount of money per unit or user. By definition, users of free software do not need to register their use. So counting users or units is not possible for free software projects. And given that people will use the software without handing any money to the author, it is not really economically possible for a free software author to pay a small amount of money to license the rights to implement a standard when the income available is zero. The result in these situations is that free software are locked out from implementing standards with RAND terms.

Because of this, when I see someone claiming the terms of a standard is reasonable and non-discriminatory, all I can think of is how this really is non-reasonable and discriminatory. Because free software developers are working in a global market, it does not really help to know that software patents are not supposed to be enforceable in Norway. The patent regimes in other countries affect us even here. I really hope the people behind the standard directory will pay more attention to these issues in the future.

You can find more on the issues with RAND, FRAND and RAND-Z terms from Simon Phipps (RAND: Not So Reasonable?).

Update 2012-04-21: Just came across a blog post from Glyn Moody over at Computer World UK warning about the same issue, and urging people to speak out to the UK government. I can only urge Norwegian users to do the same for the hearing taking place at the moment (respond before 2012-04-27). It proposes to require video conferencing standards including specifications with RAND terms.

Tags: english, multimedia, nuug, standard, video.
Jeg skal på konferansen Go Open 2012
13th April 2012

Jeg har tenkt meg på konferansen Go Open 2012 i Oslo 23. april. Medlemsforeningen NUUG deler ut prisen for fremme av fri programvare i Norge der i år. Kommer du?

Tags: norsk, nuug.
NUUG-presentasjon: Skolelinux - ferdig oppsatt skolenettløsning
13th March 2012

I dag presenterte jeg ny versjon av Skolelinux for NUUGs medlemmer. Lysark er tilgjengelige allerede og video-opptak kommer så snart videogruppa til NUUG får publisert den. Jeg kom på endel punkter om nye ting i Squeeze-utgaven under veis som jeg burde hatt med, og har sikkert skrevet noe tull på lysarkene som jeg ennå ikke har oppdaget. Denne presentasjonen ble smurt ihop på veldig kort tid, og jeg rakk ikke finpusse den. Håper den kan være lærerik likevel.

Tags: debian edu, norsk, nuug.
Et bilde på problemet med programvarepatenter
6th August 2011

Via en artikkel i Huffington Post om patentreform i USA fikk jeg et interessant bilde på problemet med programvarepatenter. Problemet er at staten deler ut usynlige "eiendommer" med uklare eiendomsgrenser, som gjør det umulig å vite om en er på annen manns grunn hvis en ikke har kjennskap til at "eiendommen" finnes, og selv når en vet om den usynlige "eiendommen" er det umulig å vite på hvilken side av grensen en befinner seg.

Hvis du er interessert i problemområdet programvarepatenter, så har NUUG en epostliste om temaet. Alle er hjertelig velkomne som abonnenter.

Tags: norsk, nuug.
Voteringsdata fra stortinget på plass, mye igjen
21st July 2011

Arbeidet med et nettsted som viser frem hva hver enkelt av våre folkevalgte har stemt går sakte fremover. Det har gått to måneder siden jeg skrev om prosjektet. Siden sist har vi fått kontakt med organisasjonen Holder De Ord som holder på med et lignende prosjekt, samt fått tilgang til endel voteringsinformasjon fra Stortinget.

Har fått tilgang til to datasett fra Stortinget. Det ene er en CD med voteringsdetaljer mellom 1990 og 2009, det andre er tilgang til stortingets kommende data-API der en kan hente ut informasjon om representanter, saker og voteringer. Jeg har ikke rukket se nok på noen av dem til å laste dem inn i min prototype, men jeg håper begge datasettene kan brukes.

Det første datasettet er kopiert og publisert på NUUGs filtjener, og består av to filer pr. votering. En fil med tidspunkt og hver enkelt stemme, og en annen med hvem som stemte og hvilket parti og fylke de representerte. Tegnsettet er så vidt jeg kan se Codepage 865, og jeg håper det er enkelt å koble sammen person og stemme. Har ikke rukket forsøke dette ennå. Jeg tror en god strategi her er å parse råfilene fra Stortinget og sammenstille dem med databasen over representanter, og ved hjelp av denne koble de unike ID-ene til representantene med hver enkelt stemme og publisere resultatet i XML-format. Antar det er en par dagers programmering, men har ikke funnet tid til det.

Hvis du vil bidra, ta kontakt med meg på IRC (#nuug på irc.freenode.net) eller bli med på epostlisten aktive@nuug. Det trengs både manne-timer for skraping og finansiering av utviklingstimer for å en norsk portal på plass.

Tags: norsk, nuug, stortinget.
Hvem stemte hva på Stortinget?
20th May 2011

To britiske tjenester som jeg har veldig stor sans for er TheyWorkForYou og Public Whip, som gir enkel og tilgjengelig oppdatering om hva som skjer i de britiske parlamentene. Jeg har lenge hatt lyst på noe slikt for det norske Stortinget, for å synliggjøre og ansvarliggjøre hver enkelt stortingsrepresentant. Voteringen over datalagringsdirektivet forsterket motivasjonen min tilstrekkelig til at jeg når har gått igang med å få dette på plass, og noen flere har meldt seg på. Utgangspunktet er å lage det som et NUUG-prosjekt på samme måte som med FiksGataMi.

TheyWorkForYou gir en tilgang til informasjon om hver enkelt representant, og lar en f.eks. abonnere via epost på alt en representant har sagt i stortinget. En kan også abonnere via epost på alle som har nevnt ord en er interessert i. Public Whip lar en ser hva enkeltrepresentanter har stemt i voteringer i parlamentene, lar en se hvordan representantene forholder seg til relaterte voteringer, og kan se hvem som er utbrytere og hvilke voteringer som er spesielt kontroversielle (mange utbrytere).

Hovedutfordringen nå er å få tilgang til nødvendig informasjon på strukturert og maskinlesbart format. Bak de to britiske tjenestene er skrapeprosjektet Parlament Parser, og det trengs en tilsvarende tjeneste for Stortinget som kan hente ut referater og informasjon om representanter og saker som er behandlet. På Stortingets nettsted mangler det informasjon om hvem som har stemt hva, så den informasjonen må en be eksplisitt om fra Stortinget. Jeg er i dialog med Stortingets informasjonsseksjon og håper de vil begynne å publisere denne informasjon på sikt. En annen kilde til relevant informasjon er PolSys-databasen til Norsk samfunnsvitenskapelig datatjeneste AS, men bruksvilkårene de har valgt på sine data umuliggjør at enhver kan bruke informasjonen om stortinget til hva som helst og det er et mål for meg at alle skal kunne gjøre hva som helst med datasettene når jeg lager tjenesten.

Første demonstrasjon av konseptet er nå tilgjengelig med de voteringsdata jeg har fått tak i så langt. Jeg regner med å kaste den koden når mer data er på plass, og heller basere tjenesten på lignende prosjekter som de to forannevnte, eller den polske Sejmometr.

Hvis du vil bidra, ta kontakt med meg på IRC (#nuug på irc.freenode.net) eller bli med på epostlisten aktive@nuug. Det trengs både manne-timer for skraping og finansiering av utviklingstimer for å tilpasse eksisterende portal til norsk.

Tags: dld, norsk, nuug, stortinget.
The video format most supported in web browsers?
16th January 2011

The video format struggle on the web continues, and the three contenders seem to be Ogg Theora, H.264 and WebM. Most video sites seem to use H.264, while others use Ogg Theora. Interestingly enough, the comments I see give me the feeling that a lot of people believe H.264 is the most supported video format in browsers, but according to the Wikipedia article on HTML5 video, this is not true. Check out the nice table of supprted formats in different browsers there. The format supported by most browsers is Ogg Theora, supported by released versions of Mozilla Firefox, Google Chrome, Chromium, Opera, Konqueror, Epiphany, Origyn Web Browser and BOLT browser, while not supported by Internet Explorer nor Safari. The runner up is WebM supported by released versions of Google Chrome Chromium Opera and Origyn Web Browser, and test versions of Mozilla Firefox. H.264 is supported by released versions of Safari, Origyn Web Browser and BOLT browser, and the test version of Internet Explorer. Those wanting Ogg Theora support in Internet Explorer and Safari can install plugins to get it.

To me, the simple conclusion from this is that to reach most users without any extra software installed, one uses Ogg Theora with the HTML5 video tag. Of course to reach all those without a browser handling HTML5, one need fallback mechanisms. In NUUG, we provide first fallback to a plugin capable of playing MPEG1 video, and those without such support we have a second fallback to the Cortado java applet playing Ogg Theora. This seem to work quite well, as can be seen in an example from last week.

The reason Ogg Theora is the most supported format, and H.264 is the least supported is simple. Implementing and using H.264 require royalty payment to MPEG-LA, and the terms of use from MPEG-LA are incompatible with free software licensing. If you believed H.264 was without royalties and license terms, check out "H.264 – Not The Kind Of Free That Matters" by Simon Phipps.

A incomplete list of sites providing video in Ogg Theora is available from the Xiph.org wiki, if you want to have a look. I'm not aware of a similar list for WebM nor H.264.

Update 2011-01-16 09:40: A question from Tollef on IRC made me realise that I failed to make it clear enough this text is about the <video> tag support in browsers and not the video support provided by external plugins like the Flash plugins.

Tags: english, h264, nuug, standard, video.
Hva har mine representanter stemt i Storinget?
11th January 2011

I England har MySociety laget en genial tjeneste for å holde øye med parlamentet. Tjenesten They Work For You lar borgerne få direkte og sanntidsoppdatert innsyn i sine representanters gjøren og laden i parlamentet. En kan kan få kopi av det en gitt representant har sagt på talerstolen, og få vite hva hver enkelt representant har stemt i hver enkelt sak som er tatt opp. Jeg skulle gjerne hatt en slik tjeneste for Stortinget i Norge.

Endel statistikk over representantenes stemmegivning er tilgjengelig fra Norsk sammfunnsvitenskaplig datatjeneste, men ingenting av dette er detaljert nok til at en han holde hver enkelt stortingsrepresentant ansvarlig.

For å få en idé om det finnes en datakilde fra Stortinget som kan brukes til å få oversikt over hvordan hver enkelt representant har stemt, sendte jeg et spørsmål til Stortinget:

Fra: Petter Reinholdtsen
Sendt: 11. januar 2011 10:42
Til: info (at) stortinget.no
Emne: Hvem stemte hva i de ulike sakene?

Hei.  Er det informasjon tilgjengelig på web om hvilke
stortingsrepresentanter som stemte hva i sakene som er til votering i
Stortinget?

Vennlig hilsen,
--
Petter Reinholdtsen

Svaret kom noen timer senere:

From: Postmottak Informasjonshjornet
To: Petter Reinholdtsen
Subject: RE: Hvem stemte hva i de ulike sakene?
Date: Tue, 11 Jan 2011 12:46:25 +0000

Hei.
Takk for henvendelsen.

Sommeren 2010 fikk vi nytt voteringsanlegg i stortingssalen som
muliggjør publisering av voteringsresultat på nett. dette er et
pågående prosjekt 1. halvår 2011.  Kan ikke si nøyaktig når det er i
funksjon.
http://www.stortinget.no/no/Stortinget-og-demokratiet/Historikk/Nytt-konferanseanlegg-i-stortingssalen/

Foreløpig må du finne voteringsresultatet i referatet etter at saken
har vært behandlet i Stortinget.

Ønsker du å vite hvem som stemte hva i en bestemt sak,(og hvem som
ikke var til stede), kan du kontakte oss og vi kan sende deg en
utskrift.

Med vennlig hilsen
Elin B. Relander Tømte
Stortingets Informasjonsseksjon
tlf 23313596

www.stortinget.no
www.tinget.no

Det ser dermed ut at det i fjor ble mulig å hente ut informasjonen fra Stortinget, men at Stortinget ikke legger denne informasjonen ut på web ennå. En liten brikke er dermed på plass, men mye gjenstår. Kanskje jeg får tid til å se på en norsk utgave etter at vi i NUUG har fått operativ en norsk utgave av FixMyStreet.

Tags: norsk, nuug, stortinget.
Debian Edu development gathering and General Assembly for FRiSK
29th November 2010

On friday, the first Debian Edu / Skolelinux development gathering in a long time take place here in Oslo, Norway. I really look forward to seeing all the good people working on the Squeeze release. The gathering is open for everyone interested in learning more about Debian Edu / Skolelinux.

On Saturday, the Norwegian member organization taking care of organizing these development gatherings, Fri Programvare i Skolen, will hold its General Assembly for 2010. Membership is open for all, and currently there are 388 people registered as members. Last year 32 members cast their vote in the memberdb based election system. I hope more people find time to vote this year.

Tags: debian edu, english, nuug.
Gnash buildbot slave and Debian kfreebsd
20th November 2010

Answering the call from the Gnash project for buildbot slaves to test the current source, I have set up a virtual KVM machine on the Debian Edu/Skolelinux virtualization host to test the git source on Debian/Squeeze. I hope this can help the developers in getting new releases out more often.

As the developers want less main-stream build platforms tested to, I have considered setting up a Debian/kfreebsd machine as well. I have also considered using the kfreebsd architecture in Debian as a file server in NUUG to get access to the 5 TB zfs volume we currently use to store DV video. Because of this, I finally got around to do a test installation of Debian/Squeeze with kfreebsd. Installation went fairly smooth, thought I noticed some visual glitches in the cdebconf dialogs (black cursor left on the screen at random locations). Have not gotten very far with the testing. Noticed cfdisk did not work, but fdisk did so it was not a fatal problem. Have to spend some more time on it to see if it is useful as a file server for NUUG. Will try to find time to set up a gnash buildbot slave on the Debian Edu/Skolelinux this weekend.

Tags: debian, debian edu, english, nuug.
Gjendikte sangen "Copying Is Not Theft" på Norsk?
10th November 2010

En genial liten sang om kopiering og tyveri er Copying Is Not Theft av Nina Paley. Den vil jeg at NUUG skal sende på Frikanalen, men først må vi fikse norske undertekster eller dubbing. Og i og med at det er en sang, tror jeg den kanskje bør gjendiktes. Selve teksten finner en på bloggen til tekstforfatteren og den ser slik ut:

Copying is not theft.
Stealing a thing leaves one less left
Copying it makes one thing more;
that's what copying's for.

Copying is not theft.
If I copy yours you have it too
One for me and one for you
That's what copies can do

If I steal your bicycle
you have to take the bus,
but if I just copy it
there's one for each of us!

Making more of a thing,
that is what we call "copying"
Sharing ideas with everyone
That's why copying
is
FUN!

Her er et naivt forsøk på oversettelse, uten noe forsøk på gjendiktning eller få det til å flyte sammen med melodien.

Kopiering er ikke tyveri.
Stjeler du en ting er det en mindre igjen
Kopier den og det er ting til.
det er derfor vi har kopiering.

Kopiering er ikke tyveri.
Hvis jeg kopierer din så har du den fortsatt
En for meg og en for deg.
Det er det kopier gir oss

Hvis jeg stjeler sykkelen din
så må du ta bussen,
men hvis jeg bare kopierer den,
så får vi hver vår!

Lage mer av en ting,
det er det vi kaller "kopiering".
Deler ideer med enhver
Det er derfor kopiering
er
MORSOMT!

Hvis du har forslag til bedre oversettelse eller lyst til å bidra til å få denne sangen over i norsk språkdrakt, ta kontakt med video (at) nuug.no.

Tags: fildeling, frikanalen, norsk, nuug, opphavsrett, personvern.
Making room on the Debian Edu/Sqeeze DVD
7th November 2010

Prioritising packages for the Debian Edu / Skolelinux DVD, which is supposed provide a school with all the services and user applications needed on the pupils computer network has always been hard. Even schools without Internet connections should be able to get Debian Edu working using this DVD.

The job became a lot harder when apt and aptitude started installing recommended packages by default. We want the same set of packages to be installed when using the DVD and the netinst CD, and that means all recommended packages need to be on the DVD. I created a patch for debian-cd in BTS report #601203 to do this, and since this change was applied to the Debian Edu DVD build, we have been seriously short on space.

A few days ago we decided to drop blender, wxmaxima and kicad from the default installation to save space on the DVD, believing that those needing these applications are few and can get them from the Debian archive.

Yesterday, I had a look what source packages to see which packages were using most space. A few large packages are well know; openoffice.org, openclipart and fluid-soundfont. But I also discovered that lilypond used 106 MiB and fglrx-driver used 53 MiB. The lilypond package is pulled in as a dependency for rosegarden, and when looking a bit closer I discovered that 99 MiB of the 106 MiB were the documentation package, which is recommended by the binary package. I decided to drop this documentation package from our DVD, as most of our users will use the GUI front-ends and do not need the lilypond documentation. Similarly, I dropped the non-free fglrx-driver package which might be installed by d-i when its hardware is detected, as the free X driver should work.

With this change, we finally got space for the LXDE and Gnome desktop packages as well as the language specific packages making the DVD more useful again.

Tags: debian edu, english, nuug.
Pledge for funding to the Gnash project to get AVM2 support
19th October 2010

The Gnash project is the most promising solution for a Free Software Flash implementation. It has done great so far, but there is still far to go, and recently its funding has dried up. I believe AVM2 support in Gnash is vital to the continued progress of the project, as more and more sites show up with AVM2 flash files.

To try to get funding for developing such support, I have started a pledge with the following text:

"I will pay 100$ to the Gnash project to develop AVM2 support but only if 10 other people will do the same."

- Petter Reinholdtsen, free software developer

Deadline to sign up by: 24th December 2010

The Gnash project need to get support for the new Flash file format AVM2 to work with a lot of sites using Flash on the web. Gnash already work with a lot of Flash sites using the old AVM1 format, but more and more sites are using the AVM2 format these days. The project web page is available from http://www.getgnash.org/ . Gnash is a free software implementation of Adobe Flash, allowing those of us that do not accept the terms of the Adobe Flash license to get access to Flash sites.

The project need funding to get developers to put aside enough time to develop the AVM2 support, and this pledge is my way to try to get this to happen.

The project accept donations via the OpenMediaNow foundation, http://www.openmedianow.org/?q=node/32 .

I hope you will support this effort too. I hope more than 10 people will participate to make this happen. The more money the project gets, the more features it can develop using these funds. :)

Tags: english, multimedia, nuug, video, web.
Standardkrav inn i anbudstekster?
17th October 2010

Hvis det å følge standarder skal ha noen effekt overfor leverandører, så må slike krav og ønsker komme inn i anbudstekster når systemer kjøpes inn. Har ikke sett noen slike formuleringer i anbud så langt, men har tenkt litt på hva som bør inn. Her er noen ideer og forslag. Min drøm er at en kan sette krav til slik støtte i anbudstekster, men så langt er det nok mer sannsynlig at en må nøye seg med å skrive at det er en fordel om slik støtte er tilstede i leveranser.

Som systemadministrator på Universitetet er det typisk to områder som er problematiske for meg. Det ene er admin-grensesnittene på tjenermaskiner, som vi ønsker å bruke via ssh. Det andre er nettsider som vi ønsker å bruke via en nettleser. For begge deler er det viktig at protokollene og formatene som brukes følger standarder våre verktøy støtter.

De fleste har nå støtte for SSH som overføringsprotkoll for admin-grensesnittet, men det er ikke tilstrekkelig for å kunne stille inn f.eks BIOS og RAID-kontroller via ssh-forbindelsen. Det er flere aktuelle protokoller for fremvisning av BIOS-oppsett og oppstartmeldinger, og min anbefaling ville være å kreve VT100-kompatibel protokoll, for å sikre at flest mulig terminalemulatorer kan forstå hva som kommer fra admin-grensesnittet via ssh. Andre aktuelle alternativer er ANSI-terminalemulering og VT220. Kanskje en formulering ala dette i anbudsutlysninger vil fungere:

BIOS og oppstartmeldinger i administrasjonsgrensesnittet til maskinen bør/skal være tilgjengelig via SSH-protokollen som definert av IETF (RFC 4251 mfl.) og følge terminalfremvisningprotokollen VT100 (ref?) når en kobler seg til oppstart via ssh.

Har ikke lykkes med å finne en god referanse for VT100-spesifikasjonen.

Når det gjelder nettsider, så er det det HTML, CSS og JavaScript-spesifikasjonen til W3C som gjelder.

Alle systemets nettsider bør/skal være i henhold til statens standardkatalogs krav om nettsider og følge HTML-standarden som definert av W3C, og validere uten feil hos W3Cs HTML-validator (http://validator.w3.org). Hvis det brukes CSS så bør/skal denne validere uten feil hos W3Cs CSS-validator (http://jigsaw.w3.org/css-validator/). Eventuelle JavaScript skal være i henhold til EcmaScript-standarden. I tillegg til å følge de overnevnte standardene skal websidene fungere i nettleserne (fyll inn relevant liste for organisasjonen) Firefox 3.5, Internet Explorer 8, Opera 9, etc.

Vil et slikt avsnitt være konkret nok til å få leverandørene til å lage nettsider som følger standardene og fungerer i flere nettlesere?

Tar svært gjerne imot innspill på dette temaet til aktive (at) nuug.no, og er spesielt interessert i hva andre skriver i sine anbud for å oppmuntre leverandører til å følge standardene. Kanskje NUUG burde lage et dokument med forslag til standardformuleringer å ta med i anbudsutlysninger?

Oppdatering 2010-12-03: I følge Wikipedias oppføring om ANSI escape code, så bruker VT100-terminaler ECMA-48-spesifikasjonen som basis for sin oppførsel. Det kan dermed være et alternativ når en skal spesifisere hvordan seriell-konsoll skal fungere.

Tags: norsk, nuug, standard, web.
Links for 2010-10-14
14th October 2010

Personvernet et under kontinuerlig og kraftig angrep. Her er noen stemmer i debatten.

Tags: fildeling, lenker, norsk, nuug, opphavsrett, personvern.
First version of a Perl library to control the Spykee robot
9th October 2010

This summer I got the chance to buy cheap Spykee robots, and since then I have worked on getting Linux software in place to control them. The firmware for the robot is available from the producer, and using that source it was trivial to figure out the protocol specification. I've started on a perl library to control it, and made some demo programs using this perl library to allow one to control the robots.

The library is quite functional already, and capable of controlling the driving, fetching video, uploading MP3s and play them. There are a few less important features too.

Since a few weeks ago, I ran out of time to spend on this project, but I never got around to releasing the current source. I decided today that it was time to do something about it, and uploaded the source to my Debian package store at people.skolelinux.org.

Because it was simpler for me, I made a Debian package and published the source and deb. If you got a spykee robot, grab the source or binary package:

If you are interested in helping out with developing this library, please let me know.

Tags: english, nuug, robot.
Links for 2010-10-03
3rd October 2010

Tags: english, lenker, nuug.
TED talks på norsk og NUUG-foredrag - frivillige trengs til teksting
1st October 2010

Frikanalen og NUUG jobber for å få TED talks kringkastet på Frikanalen, for å gi et mer variert innhold på kanalen som i dag sendes på RiksTV, Lyse og Uninett. Før innslagene kan sendes må det lages norske undertekster, og dette her trengs det frivillige. Det er hundrevis av innslag, men mine favoritter er James Randi og Michael Specter. Hvis du har litt tid til overs, bli med på å oversette TED-foredragene til norsk og få på plass undertekster. TED har allerede opplegg på plass for å håndtere oversettelser og undertekster. Registrer deg på sidene til TED i dag!

NUUG holder også på å få alle opptakene fra NUUG-presentasjonene publisert på Frikanalen. Foredrag på engelsk må også her tekstes og oversettes. Ta kontakt med video@nuug.no hvis du vil bidra med teksting og oversetting. Arbeidet koordineres på epostlisten og på IRC (#nuug-video på irc.oftc.org), og en wikiside brukes som notatblokk for arbeidet. Mest lovende verktøy for dette ser i dag ut til å være Universal Subtitles, som lar en bidra med teksting via en nettleser.

Tags: frikanalen, norsk, nuug, video.
Anonym ferdsel er en menneskerett
15th September 2010

Debatten rundt sporveiselskapet i Oslos (Ruter AS) ønske om å radiomerke med RFID alle sine kunder og registrere hvor hver og en av oss beveger oss pågår, og en ting som har kommet lite frem i debatten er at det faktisk er en menneskerett å kunne ferdes anonymt internt i ens eget land.

Fant en grei kilde for dette i et skriv fra Datatilsynet til Samferdselsdepartementet om tema:

Retten til å ferdes anonymt kan utledes av menneskerettskonvensjonen artikkel 8 og av EUs personverndirektiv. Her heter det at enkeltpersoners grunnleggende rettigheter og frihet må respekteres, særlig retten til privatlivets fred. I både personverndirektivet og i den norske personopplysningsloven er selvråderetten til hver enkelt et av grunnprinsippene, hovedsaklig uttrykt ved at en må gi et frivillig, informert og uttrykkelig samtykke til behandling av personopplysninger.

For meg er det viktig at jeg kan ferdes anonymt, og det er litt av bakgrunnen til at jeg handler med kontanter, ikke har mobiltelefon og forventer å kunne reise med bil og kollektivtrafikk uten at det blir registrert hvor jeg har vært. Ruter angriper min rett til å ferdes uten radiopeiler med sin innføring av RFID-kort, og dokumenterer sitt ønske om å registrere hvor kundene befant seg ved å ønske å gebyrlegge oss som ikke registrerer oss hver gang vi beveger oss med kollektivtrafikken i Oslo. Jeg synes det er hårreisende.

Tags: betalkontant, norsk, nuug, personvern, ruter, sikkerhet.
Terms of use for video produced by a Canon IXUS 130 digital camera
9th September 2010

A few days ago I had the mixed pleasure of bying a new digital camera, a Canon IXUS 130. It was instructive and very disturbing to be able to verify that also this camera producer have the nerve to specify how I can or can not use the videos produced with the camera. Even thought I was aware of the issue, the options with new cameras are limited and I ended up bying the camera anyway. What is the problem, you might ask? It is software patents, MPEG-4, H.264 and the MPEG-LA that is the problem, and our right to record our experiences without asking for permissions that is at risk.

On page 27 of the Danish instruction manual, this section is written:

This product is licensed under AT&T patents for the MPEG-4 standard and may be used for encoding MPEG-4 compliant video and/or decoding MPEG-4 compliant video that was encoded only (1) for a personal and non-commercial purpose or (2) by a video provider licensed under the AT&T patents to provide MPEG-4 compliant video.

No license is granted or implied for any other use for MPEG-4 standard.

In short, the camera producer have chosen to use technology (MPEG-4/H.264) that is only provided if I used it for personal and non-commercial purposes, or ask for permission from the organisations holding the knowledge monopoly (patent) for technology used.

This issue has been brewing for a while, and I recommend you to read "Why Our Civilization's Video Art and Culture is Threatened by the MPEG-LA" by Eugenia Loli-Queru and "H.264 Is Not The Sort Of Free That Matters" by Simon Phipps to learn more about the issue. The solution is to support the free and open standards for video, like Ogg Theora, and avoid MPEG-4 and H.264 if you can.

Tags: digistan, english, fildeling, h264, multimedia, nuug, opphavsrett, personvern, standard, video, web.
Navteq bruker 3-12 måneder, OpenStreetmap.org trenger noen dager
7th September 2010

Jeg ble riktig fascinert av en artikkel i Aftenposten om hvor hardt Navteq jobber for å oppdatere kartene som brukes i navigasjons-GPSer, der det blant annet heter at "på grunn av teknikken tar det alt fra tre til tolv måneder før kartene er oppdatert". Når en kjenner hva slags oppdateringshastighet som er tilgjengelig på OpenStreetmap som oppdateres på dugnad, blir det litt trist å se hva noe av det beste en kan kjøpe for penger får til.

Fra en endrer kartdataene i databasen til OpenStreetmap tar det ca. 15 minutter før endringen er synlig på kartet som alle kan se på web. Dernest overføres det daglig til en kartdump som lastes ned av personen som lager Garmin-kart for Norge ca. en gang i uken. Med OpenStreetmap.org og Frikart.no kan en altså ha korreksjonene på plass i sin Garmin-GPS i løpet av en uke. Det er også av tekniske årsaker at det tar så langt tid. Jobbene som tegner kartene, henter ut kartdumpene og konverterer til Garmin-format tar minutter og timer å gjennomføre, slik at de ikke gjøres kontinuerlig men kun regelmessing.

Tags: kart, norsk, nuug.
My first perl GUI application - controlling a Spykee robot
1st September 2010

This evening I made my first Perl GUI application. The last few days I have worked on a Perl module for controlling my recently aquired Spykee robots, and the module is now getting complete enought that it is possible to use it to control the robot driving at least. It was now time to figure out how to use it to create some GUI to allow me to drive the robot around. I picked PerlQt as I have had positive experiences with the Qt API before, and spent a few minutes browsing the web for examples. Using Qt Designer seemed like a short cut, so I ended up writing the perl GUI using Qt Designer and compiling it into a perl program using the puic program from libqt-perl. Nothing fancy yet, but it got buttons to connect and drive around.

The perl module I have written provide a object oriented API for controlling the robot. Here is an small example on how to use it:

use Spykee;
Spykee::discover(sub {$robot{$_[0]} = $_[1]});
my $host = (keys %robot)[0];
my $spykee = Spykee->new();
$spykee->contact($host, "admin", "admin");
$spykee->left();
sleep 2;
$spykee->right();
sleep 2;
$spykee->forward();
sleep 2;
$spykee->back();
sleep 2;
$spykee->stop();

Thanks to the release of the source of the robot firmware, I could peek into the implementation at the other end to figure out how to implement the protocol used by the robot. I've implemented several of the commands the robot understand, but is still missing the camera support to make it possible to control the robot from remote. First I want to implement support for uploading new firmware and configuring the wireless network, to make it possible to bootstrap a Spykee robot without the producers Windows and MacOSX software (I only have Linux, so I had to ask a friend to come over to get the robot testing going. :).

Will release the source to the public soon, but need to figure out where to make it available first. I will add a link to the NUUG wiki for those that want to check back later to find it.

Tags: english, nuug, robot.
Forslag i stortinget om å stoppe elektronisk stemmegiving i Norge
31st August 2010

Ble tipset i dag om at et forslag om å stoppe forsøkene med elektronisk stemmegiving utenfor valglokaler er til behandling i Stortinget. Forslaget er fremmet av Erna Solberg, Michael Tetzschner og Trond Helleland.

Håper det får flertall.

Tags: norsk, nuug, sikkerhet, valg.
Broken hard link handling with sshfs
30th August 2010

Just got an email from Tobias Gruetzmacher as a followup on my previous post about sshfs. He reported another problem with sshfs. It fail to handle hard links properly. A simple way to spot this is to look at the . and .. entries in the directory tree. These should have a link count >1, but on sshfs the count is 1. I just tested to see what happen when trying to hardlink, and this fail as well:

% ln foo bar
ln: creating hard link `bar' => `foo': Function not implemented
%

I have not yet found time to implement a test for this in my file system test code, but believe having working hard links is useful to avoid surprised unix programs. Not as useful as working file locking and symlinks, which are required to get a working desktop, but useful nevertheless. :)

The latest version of the file system test code is available via git from http://github.com/gebi/fs-test

Tags: debian edu, english, nuug.
Sikkerhetsteateret på flyplassene fortsetter
28th August 2010

Jeg skrev for et halvt år siden hvordan samfunnet kaster bort ressurser på sikkerhetstiltak som ikke fungerer. Kom nettopp over en historie fra en pilot fra USA som kommenterer det samme. Jeg mistenker det kun er uvitenhet og autoritetstro som gjør at så få protesterer. Har veldig sans for piloten omtalt i Aftenposten 2007-10-23, og skulle ønske flere rettet oppmerksomhet mot problemet. Det gir ikke meg trygghetsfølelse på flyplassene når jeg ser at flyplassadministrasjonen kaster bort folk, penger og tid på tull i stedet for ting som bidrar til reell økning av sikkerheten. Det forteller meg jo at vurderingsevnen til de som burde bidra til økt sikkerhet er svært sviktende, noe som ikke taler godt for de andre tiltakene.

Mon tro hva som skjer hvis det fantes en enkel brosjyre å skrive ut fra Internet som forklarte hva som er galt med sikkerhetsopplegget på flyplassene, og folk skrev ut og la en bunke på flyplassene når de passerte. Kanskje det ville fått flere til å få øynene opp for problemet.

Personlig synes jeg flyopplevelsen er blitt så avskyelig at jeg forsøker å klare meg med tog, bil og båt for å slippe ubehaget. Det er dog noe vanskelig i det langstrakte Norge og for å kunne besøke de delene av verden jeg ønsker å nå. Mistenker at flere har det slik, og at dette går ut over inntjeningen til flyselskapene. Det er antagelig en god ting sett fra et miljøperspektiv, men det er en annen sak.

Tags: norsk, nuug, personvern, sikkerhet.
Broken umask handling with sshfs
26th August 2010

My file system sematics program presented a few days ago is very useful to verify that a file system can work as a unix home directory,and today I had to extend it a bit. I'm looking into alternatives for home directory access here at the University of Oslo, and one of the options is sshfs. My friend Finn-Arne mentioned a while back that they had used sshfs with Debian Edu, but stopped because of problems. I asked today what the problems where, and he mentioned that sshfs failed to handle umask properly. Trying to detect the problem I wrote this addition to my fs testing script:

mode_t touch_get_mode(const char *name, mode_t mode) {
  mode_t retval = 0;
  int fd = open(name, O_RDWR|O_CREAT|O_LARGEFILE, mode);
  if (-1 != fd) {
    unlink(name);
    struct stat statbuf;
    if (-1 != fstat(fd, &statbuf)) {
      retval = statbuf.st_mode & 0x1ff;
    }
    close(fd);
  }
  return retval;
}

/* Try to detect problem discovered using sshfs */
int test_umask(void) {
  printf("info: testing umask effect on file creation\n");

  mode_t orig_umask = umask(000);
  mode_t newmode;
  if (0666 != (newmode = touch_get_mode("foobar", 0666))) {
    printf("  error: Wrong file mode %o when creating using mode 666 and umask 000\n",
           newmode);
  }
  umask(007);
  if (0660 != (newmode = touch_get_mode("foobar", 0666))) {
    printf("  error: Wrong file mode %o when creating using mode 666 and umask 007\n",
           newmode);
  }

  umask (orig_umask);
  return 0;
}

int main(int argc, char **argv) {
  [...]
  test_umask();
  return 0;
}

Sure enough. On NFS to a netapp, I get this result:

Testing POSIX/Unix sematics on file system
info: testing symlink creation
info: testing subdirectory creation
info: testing fcntl locking
  Read-locking 1 byte from 1073741824
  Read-locking 510 byte from 1073741826
  Unlocking 1 byte from 1073741824
  Write-locking 1 byte from 1073741824
  Write-locking 510 byte from 1073741826
  Unlocking 2 byte from 1073741824
info: testing umask effect on file creation

When mounting the same directory using sshfs, I get this result:

Testing POSIX/Unix sematics on file system
info: testing symlink creation
info: testing subdirectory creation
info: testing fcntl locking
  Read-locking 1 byte from 1073741824
  Read-locking 510 byte from 1073741826
  Unlocking 1 byte from 1073741824
  Write-locking 1 byte from 1073741824
  Write-locking 510 byte from 1073741826
  Unlocking 2 byte from 1073741824
info: testing umask effect on file creation
  error: Wrong file mode 644 when creating using mode 666 and umask 000
  error: Wrong file mode 640 when creating using mode 666 and umask 007

So, I can conclude that sshfs is better than smb to a Netapp or a Windows server, but not good enough to be used as a home directory.

Update 2010-08-26: Reported the issue in BTS report #594498

Update 2010-08-27: Michael Gebetsroither report that he found the script so useful that he created a GIT repository and stored it in http://github.com/gebi/fs-test.

Tags: debian edu, english, nuug.
Elektronisk stemmegiving er ikke til å stole på - heller ikke i Norge
23rd August 2010

I Norge pågår en prosess for å innføre elektronisk stemmegiving ved kommune- og stortingsvalg. Dette skal introduseres i 2011. Det er all grunn til å tro at valg i Norge ikke vil være til å stole på hvis dette blir gjennomført. Da det hele var oppe til høring i 2006 forfattet jeg en høringsuttalelse fra NUUG (og EFN som hengte seg på) som skisserte hvilke punkter som må oppfylles for at en skal kunne stole på et valg, og elektronisk stemmegiving mangler flere av disse. Elektronisk stemmegiving er for alle praktiske formål å putte ens stemme i en sort boks under andres kontroll, og satse på at de som har kontroll med boksen er til å stole på - uten at en har mulighet til å verifisere dette selv. Det er ikke slik en gjennomfører demokratiske valg.

Da problemet er fundamentalt med hvordan elektronisk stemmegiving må fungere for at også ikke-krypografer skal kunne delta, har det vært mange rapporter om hvordan elektronisk stemmegiving har sviktet i land etter land. En liten samling referanser finnes på NUUGs wiki. Den siste er fra India, der valgkomisjonen har valgt å pusse politiet på en forsker som har dokumentert svakheter i valgsystemet.

Her i Norge har en valgt en annen tilnærming, der en forsøker seg med teknobabbel for å få befolkningen til å tro at dette skal bli sikkert. Husk, elektronisk stemmegiving underminerer de demokratiske valgene i Norge, og bør ikke innføres.

Den offentlige diskusjonen blir litt vanskelig av at media har valgt å kalle dette "evalg", som kan sies å både gjelde elektronisk opptelling av valget som Norge har gjort siden 60-tallet og som er en svært god ide, og elektronisk opptelling som er en svært dårlig ide. Diskusjonen gir ikke mening hvis en skal diskutere om en er for eller mot "evalg", og jeg forsøker derfor å være klar på at jeg snakker om elektronisk stemmegiving og unngå begrepet "evalg".

Tags: norsk, nuug, sikkerhet, valg.
Robot, reis deg...
21st August 2010

I dag fikk jeg endelig tittet litt på mine nyinnkjøpte roboter, og har brukt noen timer til å google etter interessante referanser og aktuell kildekode for bruk på Linux. Det mest lovende så langt er ispykee, som har en BSD-lisensiert linux-daemon som står som mellomledd mellom roboter på lokalnettet og en sentral tjeneste der en iPhone kan koble seg opp for å fjernstyre roboten. Linux-daemonen implementerer deler av protokollen som roboten forstår. Etter å ha knotet litt med å oppnå kontakt med roboten (den oppretter et eget ad-hoc wifi-nett, så jeg måtte gå av mitt vanlige nett for å få kontakt), og kommet frem til at den lytter på IP-port 9000 og 9001, gikk jeg i gang med å finne ut hvordan jeg kunne snakke med roboten vha. disse portene. Robotbiten av protokollen er publisert av produsenten med GPL-lisens, slik at det er mulig å se hvordan protokollen fungerer. Det finnes en java-klient for Android som så ganske snasen ut, men fant ingen kildekode for denne. Derimot hadde iphone-løsningen kildekode, så jeg tok utgangspunkt i den.

Daemonen ville i utgangspunktet forsøke å kontakte den sentrale tjenesten som iphone-programmet kobler seg til. Jeg skrev dette om til i stedet å sette opp en nettverkstjeneste på min lokale maskin, som jeg kan koble meg opp til med telnet og gi kommandoer til roboten (act, forward, right, left, etc). Det involverte i praksis å bytte ut socket()/connect() med socket()/bind()/listen()/accept() for å gjøre klienten om til en tjener.

Mens jeg har forsøkt å få roboten til å bevege seg har min samboer skrudd sammen resten av roboten for å få montert kamera og plastpynten (armer, plastfiber for lys). Nå er det hele montert, og roboten er klar til bruk. Må få flyttet den over til mitt vanlige trådløsnett før det blir praktisk, men de bitene av protokollen er ikke implementert i ispykee-daemonen, så der må jeg enten få tak i en mac eller en windows-maskin, eller implementere det selv.

Vi var tre som kjøpte slike roboter, og vi har blitt enige om å samle notater og referanser på NUUGs wiki. Ta en titt der hvis du er nysgjerrig.

Tags: norsk, nuug, robot.
2 Spykee-roboter i hus, nå skal det lekes
18th August 2010

Jeg kjøpte nettopp to Spykee-roboter, for test og leking. Kjøpte to da det var så billige, og gir meg mulighet til å eksperimentere uten å være veldig redd for å ødelegge alt ved å bytte ut firmware og slikt. Oppdaget at lekebutikken på Bryn senter hadde en liten stabel på lager som de ikke hadde klart å selge ut etter fjorårets juleinnkjøp, og var villig til å selge for en femtedel av vanlig pris. Jeg, Ronny og Jarle har skaffet oss restbeholdningen, og det blir morsomt å se hva vi får ut av dette.

Roboten har belter styrt av to motorer, kamera, høytaler, mikrofon og wifi-tilkobling. Det hele styrt av en GPL-lisensiert databoks som jeg mistenker kjører linux. Firmware-kildekoden ble visst publisert i mai. Eneste utfordringen er at kontroller-programvaren kun finnes til Windows, men det må en kunne jobbe seg rundt når vi har kildekoden til firmwaren. :)

Tags: norsk, nuug, robot.
Rob Weir: How to Crush Dissent
15th August 2010

I found the notes from Rob Weir on how to crush dissent matching my own thoughts on the matter quite well. Highly recommended for those wondering which road our society should go down. In my view we have been heading the wrong way for a long time.

Tags: english, lenker, nuug, personvern, sikkerhet.
No hardcoded config on Debian Edu clients
9th August 2010

As reported earlier, the last few days I have looked at how Debian Edu clients are configured, and tried to get rid of all hardcoded configuration settings on the clients. I believe the work to be mostly done, and the clients seem to work just fine with dynamically generated configuration.

What is the point, you might ask? The point is to allow a Debian Edu desktop to integrate into an existing network infrastructure without any manual configuration.

This is what happens when installing a Debian Edu client here at the University of Oslo using PXE. With the PXE installation, I am asked for language (Norwegian Bokmål), locality (Norway) and keyboard layout (no-latin1), Debian Edu profile (Roaming Workstation), if I accept to reformat the hard drive (yes), if I want to submit info to popcon.debian.org (no) and root password (secret). After answering these questions, the installer goes ahead and does its thing, and after around 50 minutes it is done. I press enter to finish the installation, and the machine reboots into KDE. When the machine is ready and kdm asks for login information, I enter my university username and password, am told by kdm that a local home directory has been created and that I must log in again, and finally log in with the same username and password to the KDE 4.4 desktop. At no point during this process did it ask for university specific settings, and all the required configuration was dynamically detected using information fetched via DHCP and DNS. The roaming workstation is now ready for use.

How was this done, you might wonder? First of all, here is the list of things that need to be configured on the client to get it working properly out of the box:

(Hm, did I forget anything? Let me knew if I did.)

The points marked (*) are not required to be able to use the machine, but needed to provide central storage and allowing system administrators to track their machines. Since yesterday, everything but the sitesummary collector URL is dynamically discovered at boot and installation time in the svn version of Debian Edu.

The IP and DNS setup is fetched during boot using DHCP as usual. When a DHCP update arrives, the proxy setup is updated by looking for http://wpat/wpad.dat and using the content of this WPAD file to configure the http and ftp proxy in /etc/environment and /etc/apt/apt.conf. I decided to update the proxy setup using a DHCP hook to ensure that the client stops using the Debian Edu proxy when it is moved outside the Debian Edu network, and instead uses any local proxy present on the new network when it moves around.

The DNS names of the LDAP, Kerberos and syslog server and related configuration are generated using DNS information at boot. First the installer looks for a host named ldap in the current DNS domain. If not found, it looks for _ldap._tcp SRV records in DNS instead. If an LDAP server is found, its root DSE entry is requested and the attributes namingContexts and defaultNamingContext are used to determine which LDAP base to use for NSS. If there are several namingContexts attibutes and the defaultNamingContext is present, that LDAP subtree is used as the base. If defaultNamingContext is missing, the subtrees listed as namingContexts are searched in sequence for any object with class posixAccount or posixGroup, and the first one with such an object is used as the LDAP base. For Kerberos, a similar search is done by first looking for a host named kerberos, and then for the _kerberos._tcp SRV record. I've been unable to find a way to look up the Kerberos realm, so for this the upper case string of the current DNS domain is used.

For the syslog server, the hosts syslog and loghost are searched for, and the _syslog._udp SRV record is consulted if no such host is found. This algorithm works for both Debian Edu and the University of Oslo. A similar strategy would work for locating the sitesummary server, but have not been implemented yet. I decided to fetch and save these settings during installation, to make sure moving to a different network does not change the set of users being allowed to log in nor the passwords required to log in. Usernames and passwords will be cached by sssd when the user logs in on the Debian Edu network, and will not change as the laptop move around. For a non-roaming machine, there is no caching, but given that it is supposed to stay in place it should not matter much. Perhaps we should switch those to use sssd too?

The user's SMB mount point for the network home directory is located when the user logs in for the first time. The LDAP server is consulted to look for the user's LDAP object and the sambaHomePath attribute is used if found. If it isn't found, the home directory path fetched from NSS is used instead. Assuming the path is of the form /site/server/directory/username, the second part is looked up in DNS and used to generate a SMB URL of the form smb://server.domain/username. This algorithm works for both Debian edu and the University of Oslo. Perhaps there are better attributes to use or a better algorithm that works for more sites, but this will do for now. :)

This work should make it easier to integrate the Debian Edu clients into any LDAP/Kerberos infrastructure, and make the current setup even more flexible than before. I suspect it will also work for thin client servers, allowing one to easily set up LTSP and hook it into a existing network infrastructure, but I have not had time to test this yet.

If you want to help out with implementing these things for Debian Edu, please contact us on debian-edu@lists.debian.org.

Update 2010-08-09: Simon Farnsworth gave me a heads-up on how to detect Kerberos realm from DNS, by looking for _kerberos TXT entries before falling back to the upper case DNS domain name. Will have to implement it for Debian Edu. :)

Tags: debian edu, english, nuug.
Testing if a file system can be used for home directories...
8th August 2010

A few years ago, I was involved in a project planning to use Windows file servers as home directory servers for Debian Edu/Skolelinux machines. This was thought to be no problem, as the access would be through the SMB network file system protocol, and we knew other sites used SMB with unix and samba as the file server to mount home directories without any problems. But, after months of struggling, we had to conclude that our goal was impossible.

The reason is simply that while SMB can be used for home directories when the file server is Samba running on Unix, this only work because of Samba have some extensions and the fact that the underlying file system is a unix file system. When using a Windows file server, the underlying file system do not have POSIX semantics, and several programs will fail if the users home directory where they want to store their configuration lack POSIX semantics.

As part of this work, I wrote a small C program I want to share with you all, to replicate a few of the problematic applications (like OpenOffice.org and GCompris) and see if the file system was working as it should. If you find yourself in spooky file system land, it might help you find your way out again. This is the fs-test.c source:

/*
 * Some tests to check the file system sematics.  Used to verify that
 * CIFS from a windows server do not work properly as a linux home
 * directory.
 * License: GPL v2 or later
 * 
 * needs libsqlite3-dev and build-essential installed
 * compile with: gcc -Wall -lsqlite3 -DTEST_SQLITE fs-test.c -o fs-test
*/

#define _FILE_OFFSET_BITS 64
#define _LARGEFILE_SOURCE 1
#define _LARGEFILE64_SOURCE 1

#define _GNU_SOURCE /* for asprintf() */

#include <errno.h>
#include <fcntl.h>
#include <stdio.h>
#include <string.h>
#include <stdlib.h>
#include <sys/file.h>
#include <sys/stat.h>
#include <sys/types.h>
#include <unistd.h>

#ifdef TEST_SQLITE
/*
 * Test sqlite open, as done by gcompris require the libsqlite3-dev
 * package and linking with -lsqlite3.  A more low level test is
 * below.
 * See also <URL: http://www.sqlite.org./faq.html#q5 >.
 */
#include <sqlite3.h>
#define CREATE_TABLE_USERS                                              \
  "CREATE TABLE users (user_id INT UNIQUE, login TEXT, lastname TEXT, firstname TEXT, birthdate TEXT, class_id INT ); "
int test_sqlite_open(void) {
  char *zErrMsg;
  char *name = "testsqlite.db";
  sqlite3 *db=NULL;
  unlink(name);
  int rc = sqlite3_open(name, &db);
  if( rc ){
    printf("error: sqlite open of %s failed: %s\n", name, sqlite3_errmsg(db));
    sqlite3_close(db);
    return -1;
  }

  /* create tables */
  rc = sqlite3_exec(db,CREATE_TABLE_USERS, NULL,  0, &zErrMsg);
  if( rc != SQLITE_OK ){
    printf("error: sqlite table create failed: %s\n", zErrMsg);
    sqlite3_close(db);
    return -1;
  }
  printf("info: sqlite worked\n");
  sqlite3_close(db);
  return 0;
}
#endif /* TEST_SQLITE */

/*
 * Demonstrate locking issue found in gcompris using sqlite3.  This
 * work with ext3, but not with cifs server on Windows 2003.  This is
 * done in the sqlite3 library.
 * See also
 * <URL:http://www.cygwin.com/ml/cygwin/2001-08/msg00854.html> and the
 * POSIX specification
 * <URL:http://www.opengroup.org/onlinepubs/009695399/functions/fcntl.html>.
 */
int test_gcompris_locking(void) {
  struct flock fl;
  char *name = "testsqlite.db";
  unlink(name);
  int fd = open(name, O_RDWR|O_CREAT|O_LARGEFILE, 0644);
  printf("info: testing fcntl locking\n");

  fl.l_whence = SEEK_SET;
  fl.l_pid    = getpid();
  printf("  Read-locking 1 byte from 1073741824");
  fl.l_start  = 1073741824;
  fl.l_len    = 1;
  fl.l_type   = F_RDLCK;
  if (0 != fcntl(fd, F_SETLK, &fl) ) printf(" - error!\n"); else printf("\n");

  printf("  Read-locking 510 byte from 1073741826");
  fl.l_start  = 1073741826;
  fl.l_len    = 510;
  fl.l_type   = F_RDLCK;
  if (0 != fcntl(fd, F_SETLK, &fl) ) printf(" - error!\n"); else printf("\n");

  printf("  Unlocking 1 byte from 1073741824");
  fl.l_start  = 1073741824;
  fl.l_len    = 1;
  fl.l_type   = F_UNLCK;
  if (0 != fcntl(fd, F_SETLK, &fl) ) printf(" - error!\n"); else printf("\n");

  printf("  Write-locking 1 byte from 1073741824");
  fl.l_start  = 1073741824;
  fl.l_len    = 1;
  fl.l_type   = F_WRLCK;
  if (0 != fcntl(fd, F_SETLK, &fl) ) printf(" - error!\n"); else printf("\n");

  printf("  Write-locking 510 byte from 1073741826");
  fl.l_start  = 1073741826;
  fl.l_len    = 510;
  if (0 != fcntl(fd, F_SETLK, &fl) ) printf(" - error!\n"); else printf("\n");

  printf("  Unlocking 2 byte from 1073741824");
  fl.l_start  = 1073741824;
  fl.l_len    = 2;
  fl.l_type   = F_UNLCK;
  if (0 != fcntl(fd, F_SETLK, &fl) ) printf(" - error!\n"); else printf("\n");

  close(fd);
  return 0;
}

/*
 * Test if permissions of freshly created directories allow entries
 * below them.  This was a problem with OpenOffice.org and gcompris.
 * Mounting with option 'sync' seem to solve this problem while
 * slowing down file operations.
 */
int test_subdirectory_creation(void) {
#define LEVELS 5
  char *path = strdup("test");
  char *dirs[LEVELS];
  int level;
  printf("info: testing subdirectory creation\n");
  for (level = 0; level < LEVELS; level++) {
    char *newpath = NULL;
    if (-1 == mkdir(path, 0777)) {
      printf("  error: Unable to create directory '%s': %s\n",
	     path, strerror(errno));
      break;
    }
    asprintf(&newpath, "%s/%s", path, "test");
    free(path);
    path = newpath;
  }
  return 0;
}

/*
 * Test if symlinks can be created.  This was a problem detected with
 * KDE.
 */
int test_symlinks(void) {
  printf("info: testing symlink creation\n");
  unlink("symlink");
  if (-1 == symlink("file", "symlink"))
    printf("  error: Unable to create symlink\n");
  return 0;
}

int main(int argc, char **argv) {
  printf("Testing POSIX/Unix sematics on file system\n");
  test_symlinks();
  test_subdirectory_creation();
#ifdef TEST_SQLITE
  test_sqlite_open();
#endif /* TEST_SQLITE */
  test_gcompris_locking();
  return 0;
}

When everything is working, it should print something like this:

Testing POSIX/Unix sematics on file system
info: testing symlink creation
info: testing subdirectory creation
info: sqlite worked
info: testing fcntl locking
  Read-locking 1 byte from 1073741824
  Read-locking 510 byte from 1073741826
  Unlocking 1 byte from 1073741824
  Write-locking 1 byte from 1073741824
  Write-locking 510 byte from 1073741826
  Unlocking 2 byte from 1073741824

I do not remember the exact details of the problems we saw, but one of them was with locking, where if I remember correctly, POSIX allow a read-only lock to be upgraded to a read-write lock without unlocking the read-only lock (while Windows do not). Another was a bug in the CIFS/SMB client implementation in the Linux kernel where directory meta information would be wrong for a fraction of a second, making OpenOffice.org fail to create its deep directory tree because it was not allowed to create files in its freshly created directory.

Anyway, here is a nice tool for your tool box, might you never need it. :)

Update 2010-08-27: Michael Gebetsroither report that he found the script so useful that he created a GIT repository and stored it in http://github.com/gebi/fs-test.

Tags: debian edu, english, nuug.
Autodetecting Client setup for roaming workstations in Debian Edu
7th August 2010

A few days ago, I tried to install a Roaming workation profile from Debian Edu/Squeeze while on the university network here at the University of Oslo, and noticed how much had to change to get it operational using the university infrastructure. It was fairly easy, but it occured to me that Debian Edu would improve a lot if I could get the client to connect without any changes at all, and thus let the client configure itself during installation and first boot to use the infrastructure around it. Now I am a huge step further along that road.

With our current squeeze-test packages, I can select the roaming workstation profile and get a working laptop connecting to the university LDAP server for user and group and our active directory servers for Kerberos authentication. All this without any configuration at all during installation. My users home directory got a bookmark in the KDE menu to mount it via SMB, with the correct URL. In short, openldap and sssd is correctly configured. In addition to this, the client look for http://wpad/wpad.dat to configure a web proxy, and when it fail to find it no proxy settings are stored in /etc/environment and /etc/apt/apt.conf. Iceweasel and KDE is configured to look for the same wpad configuration and also do not use a proxy when at the university network. If the machine is moved to a network with such wpad setup, it would automatically use it when DHCP gave it a IP address.

The LDAP server is located using DNS, by first looking for the DNS entry ldap.$domain. If this do not exist, it look for the _ldap._tcp.$domain SRV records and use the first one as the LDAP server. Next, it connects to the LDAP server and search all namingContexts entries for posixAccount or posixGroup objects, and pick the first one as the LDAP base. For Kerberos, a similar algorithm is used to locate the LDAP server, and the realm is the uppercase version of $domain.

So, what is not working, you might ask. SMB mounting my home directory do not work. No idea why, but suspected the incorrect Kerberos settings in /etc/krb5.conf and /etc/samba/smb.conf might be the cause. These are not properly configured during installation, and had to be hand-edited to get the correct Kerberos realm and server, but SMB mounting still do not work. :(

With this automatic configuration in place, I expect a Debian Edu roaming profile installation would be able to automatically detect and connect to any site using LDAP and Kerberos for NSS directory and PAM authentication. It should also work out of the box in a Active Directory environment providing posixAccount and posixGroup objects with UID and GID values.

If you want to help out with implementing these things for Debian Edu, please contact us on debian-edu@lists.debian.org.

Tags: debian edu, english, nuug.
Debian Edu roaming workstation - at the university of Oslo
3rd August 2010

The new roaming workstation profile in Debian Edu/Squeeze is fairly similar to the laptop setup am I working on using Ubuntu for the University of Oslo, and just for the heck of it, I tested today how hard it would be to integrate that profile into the university infrastructure. In this case, it is the university LDAP server, Active Directory Kerberos server and SMB mounting from the Netapp file servers.

I was pleasantly surprised that the only three files needed to be changed (/etc/sssd/sssd.conf, /etc/ldap.conf and /etc/mklocaluser.d/20-debian-edu-config) and one file had to be added (/usr/share/perl5/Debian/Edu_Local.pm), to get the client working. Most of the changes were to get the client to use the university LDAP for NSS and Kerberos server for PAM, but one was to change a hard coded DNS domain name in the mklocaluser hook from .intern to .uio.no.

This testing was so encouraging, that I went ahead and adjusted the Debian Edu scripts and setup in subversion to centralise the roaming workstation setup a bit more and avoid the hardcoded DNS domain name, so that when I test this tomorrow, I expect to get away with modifying only /etc/sssd/sssd.conf and /etc/ldap.conf to get it to use the university servers.

My goal is to get the clients to have no hardcoded settings and fetch all their initial setup during installation and first boot, to allow them to be inserted also into environments where the default setup in Debian Edu has been changed or as with the university, where the environment is different but provides the protocols Debian Edu uses.

Tags: debian edu, english, nuug.
Circular package dependencies harms apt recovery
27th July 2010

I discovered this while doing automated testing of upgrades from Debian Lenny to Squeeze. A few packages in Debian still got circular dependencies, and it is often claimed that apt and aptitude should be able to handle this just fine, but some times these dependency loops causes apt to fail.

An example is from todays upgrade of KDE using aptitude. In it, a bug in kdebase-workspace-data causes perl-modules to fail to upgrade. The cause is simple. If a package fail to unpack, then only part of packages with the circular dependency might end up being unpacked when unpacking aborts, and the ones already unpacked will fail to configure in the recovery phase because its dependencies are unavailable.

In this log, the problem manifest itself with this error:

dpkg: dependency problems prevent configuration of perl-modules:
 perl-modules depends on perl (>= 5.10.1-1); however:
  Version of perl on system is 5.10.0-19lenny2.
dpkg: error processing perl-modules (--configure):
 dependency problems - leaving unconfigured

The perl/perl-modules circular dependency is already reported as a bug, and will hopefully be solved as soon as possible, but it is not the only one, and each one of these loops in the dependency tree can cause similar failures. Of course, they only occur when there are bugs in other packages causing the unpacking to fail, but it is rather nasty when the failure of one package causes the problem to become worse because of dependency loops.

Thanks to the tireless effort by Bill Allombert, the number of circular dependencies left in Debian is dropping, and perhaps it will reach zero one day. :)

Todays testing also exposed a bug in update-notifier and different behaviour between apt-get and aptitude, the latter possibly caused by some circular dependency. Reported both to BTS to try to get someone to look at it.

Tags: debian, english, nuug.
First Debian Edu test release (alpha0) based on Squeeze is released
27th July 2010

I just posted this announcement culminating several months of work with the next Debian Edu release. Not nearly done, but one major step completed.

This is the first test release based on Squeeze. The focus of this release is to test the user application selection. To have a look, install the standalone profile and let the developers know if the set of installed packages i.e. applications should be modified. If some user application is missing, or if there are some applications that no longer make sense to be included in Debian Edu, please let us know. Also, if a useful application is missing the translation for your language of choice, please let us know too.

In addition, feedback and help to polish the desktop (menus, artwork, starters, etc.) is appreciated. We would like to ship a nice and handy KDE4 desktop targeted for schools out of the box.

The other profiles should be installable, but there is a lot more work left to be done before they are ready, so do not expect to much.

Changes compared to the lenny based version

  • Everything from Debian Squeeze
    • Desktop environment KDE 4.4 => the new KDE desktop in combination with some new artwork
    • Web browser Iceweasel 3.5
    • OpenOffice.org 3.2
    • Educational toolbox GCompris 9.3
    • Music creator Rosegarden 10.04.2
    • Image editor Gimp 2.6.10
    • Virtual universe Celestia 1.6.0
    • Virtual stargazer Stellarium 0.10.4
    • 3D modeler Blender 2.49.2 (new application)
    • Video editor Kdenlive 0.7.7 (new application)
  • Now using Kerberos for password checking (migration not finished). Enabled for:
    • PAM
    • LDAP
    • IMAP
    • SMTP (sender verification)
  • New experimental roaming workstation profile for laptops.
  • Show welcome page to users when they first log in. The URL is fetched from LDAP.
  • New LXDE desktop option, in addition to KDE (default) and Gnome.
  • General cleanup (not finished)

The following features are not working as they should

  • No web based administration tool for creating users and groups. The scripts ldap-createuser-krb and ldap-add-user-to-group can be used for testing.
  • DVD installs are missing debian-installer images for the PXE boot, and do not set up the PXE menu on eth0 because of this. LTSP clients should still boot from eth1 on thin client servers.
  • The restructured KDE menu is not implemented.
  • The LDAP server setup need to be reviewed for security.
  • The LDAP directory structure need to be reworked.
  • Different sets of packages are installed when using the DVD and the netinst CD. More packages are installed using the netinst CD.
  • The jackd package fail to install. This is believed to be caused by some ongoing transition, and hopefully should be solved soon. The jackd1 package can be installed manually for those that need it.
  • Some packages lack translations. See http://wiki.debian.org/DebianEdu/Status/Squeeze for updated status, and help out with translations.

To download this multiarch netinstall release you can use

To download this multiarch dvd release you can use

There is no source DVD available yet. It will be prepared when we get closer to the final release.

The MD5SUM of these images are

  • 3dbf45d59f42a53518b6e3c9ec3b5eb6 debian-edu-6.0.0+edua0-CD.iso
  • 22f2cbfce281d1c6e478be452638675d debian-edu-6.0.0+edua0-DVD.iso

The SHA1SUM of these images are

  • c53d1b69b40cf37cd27aefaf33f6f6a3821bedf0 debian-edu-6.0.0+edua0-CD.iso
  • 2ec29d7db676d59d32197b05c277ffe16348376c debian-edu-6.0.0+edua0-DVD.iso

How to report bugs: http://wiki.debian.org/DebianEdu/HowTo/ReportBugsInBugzilla

Please direct replies to debian-edu@lists.debian.org

Tags: debian edu, english, nuug.
One step closer to single signon in Debian Edu
25th July 2010

The last few months me and the other Debian Edu developers have been working hard to get the Debian/Squeeze based version of Debian Edu/Skolelinux into shape. This future version will use Kerberos for authentication, and services are slowly migrated to single signon, getting rid of password questions one at the time.

It will also feature a roaming workstation profile with local home directory, for laptops that are only some times on the Skolelinux network, and for this profile a shortcut is created in Gnome and KDE to gain access to the users home directory on the file server. This shortcut uses SMB at the moment, and yesterday I had time to test if SMB mounting had started working in KDE after we added the cifs-utils package. I was pleasantly surprised how well it worked.

Thanks to the recent changes to our samba configuration to get it to use Kerberos for authentication, there were no question about user password when mounting the SMB volume. A simple click on the shortcut in the KDE menu, and a window with the home directory popped up. :)

One step closer to a single signon solution out of the box in Debian Edu. We already had PAM, LDAP, IMAP and SMTP in place, and now also Samba. Next step is Cups and hopefully also NFS.

We had planned a alpha0 release of Debian Edu for today, but thanks to the autobuilder administrators for some architectures being slow to sign packages, we are still missing the fixed LTSP package we need for the release. It was uploaded three days ago with urgency=high, and if it had entered testing yesterday we would have been able to test it in time for a alpha0 release today. As the binaries for ia64 and powerpc still not uploaded to the Debian archive, we need to delay the alpha release another day.

If you want to help out with implementing Kerberos for Debian Edu, please contact us on debian-edu@lists.debian.org.

Tags: debian edu, english, nuug, sikkerhet.
Digitale restriksjonsmekanismer fikk meg til å slutte å kjøpe musikk
22nd July 2010

For mange år siden slutte jeg å kjøpe musikk-CDer. Årsaken var at musikkbransjen var godt i gang med å selge platene sine med DRM som gjorde at jeg ikke fikk spilt av musikken jeg kjøpte på utstyret jeg hadde tilgjengelig, dvs. min datamaskin. Det var umulig å se på en plate om den var ødelagt eller ikke, og jeg hadde jo allerede en anseelig samling med plater, så jeg bestemme meg for å slutte å gi penger til en bransje som åpenbart ikke respekterte meg.

Jeg har mange titalls dager med musikk på CD i dag. Det meste er lagt i et stort arkiv som kan spilles av fra husets datamaskiner (har ikke rukket rippe alt). Jeg ser dermed ikke behovet for å skaffe mer musikk. De fleste av mine favoritter er i hus, og jeg er dermed godt fornøyd.

Hvis musikkbransjen ønsker mine penger, så må de demonstrere at de setter pris på meg som kunde, og ikke skremme meg bort med DRM og antydninger om at kundene er kriminelle.

Filmbransjen er like ille, men mens musikk gjerne varer lenge, er filmer mer ferskvare. Har dermed ikke helt sluttet å kjøpe filmer, men holder meg til DVD-filmer som kan spilles av på mine Linuxbokser. Kommer neppe til å ta i bruk Blueray, og ei heller de nye DRM-greiene «Ultraviolet» som be annonsert her om dagen.

Tags: fildeling, norsk, nuug, opphavsrett, personvern.
What are they searching for - PowerDNS and ISC DHCP in LDAP
17th July 2010

This is a followup on my previous work on merging all the computer related LDAP objects in Debian Edu.

As a step to try to see if it possible to merge the DNS and DHCP LDAP objects, I have had a look at how the packages pdns-backend-ldap and dhcp3-server-ldap in Debian use the LDAP server. The two implementations are quite different in how they use LDAP.

To get this information, I started slapd with debugging enabled and dumped the debug output to a file to get the LDAP searches performed on a Debian Edu main-server. Here is a summary.

powerdns

Clues on how to set up PowerDNS to use a LDAP backend is available on the web.

PowerDNS have two modes of operation using LDAP as its backend. One "strict" mode where the forward and reverse DNS lookups are done using the same LDAP objects, and a "tree" mode where the forward and reverse entries are in two different subtrees in LDAP with a structure based on the DNS names, as in tjener.intern and 2.2.0.10.in-addr.arpa.

In tree mode, the server is set up to use a LDAP subtree as its base, and uses a "base" scoped search for the DNS name by adding "dc=tjener,dc=intern," to the base with a filter for "(associateddomain=tjener.intern)" for the forward entry and "dc=2,dc=2,dc=0,dc=10,dc=in-addr,dc=arpa," with a filter for "(associateddomain=2.2.0.10.in-addr.arpa)" for the reverse entry. For forward entries, it is looking for attributes named dnsttl, arecord, nsrecord, cnamerecord, soarecord, ptrrecord, hinforecord, mxrecord, txtrecord, rprecord, afsdbrecord, keyrecord, aaaarecord, locrecord, srvrecord, naptrrecord, kxrecord, certrecord, dsrecord, sshfprecord, ipseckeyrecord, rrsigrecord, nsecrecord, dnskeyrecord, dhcidrecord, spfrecord and modifytimestamp. For reverse entries it is looking for the attributes dnsttl, arecord, nsrecord, cnamerecord, soarecord, ptrrecord, hinforecord, mxrecord, txtrecord, rprecord, aaaarecord, locrecord, srvrecord, naptrrecord and modifytimestamp. The equivalent ldapsearch commands could look like this:

ldapsearch -h ldap \
  -b dc=tjener,dc=intern,ou=hosts,dc=skole,dc=skolelinux,dc=no \
  -s base -x '(associateddomain=tjener.intern)' dNSTTL aRecord nSRecord \
  cNAMERecord sOARecord pTRRecord hInfoRecord mXRecord tXTRecord \
  rPRecord aFSDBRecord KeyRecord aAAARecord lOCRecord sRVRecord \
  nAPTRRecord kXRecord certRecord dSRecord sSHFPRecord iPSecKeyRecord \
  rRSIGRecord nSECRecord dNSKeyRecord dHCIDRecord sPFRecord modifyTimestamp

ldapsearch -h ldap \
  -b dc=2,dc=2,dc=0,dc=10,dc=in-addr,dc=arpa,ou=hosts,dc=skole,dc=skolelinux,dc=no \
  -s base -x '(associateddomain=2.2.0.10.in-addr.arpa)'
  dnsttl, arecord, nsrecord, cnamerecord soarecord ptrrecord \
  hinforecord mxrecord txtrecord rprecord aaaarecord locrecord \
  srvrecord naptrrecord modifytimestamp

In Debian Edu/Lenny, the PowerDNS tree mode is used with ou=hosts,dc=skole,dc=skolelinux,dc=no as the base, and these are two example LDAP objects used there. In addition to these objects, the parent objects all th way up to ou=hosts,dc=skole,dc=skolelinux,dc=no also exist.

dn: dc=tjener,dc=intern,ou=hosts,dc=skole,dc=skolelinux,dc=no
objectclass: top
objectclass: dnsdomain
objectclass: domainrelatedobject
dc: tjener
arecord: 10.0.2.2
associateddomain: tjener.intern

dn: dc=2,dc=2,dc=0,dc=10,dc=in-addr,dc=arpa,ou=hosts,dc=skole,dc=skolelinux,dc=no
objectclass: top
objectclass: dnsdomain2
objectclass: domainrelatedobject
dc: 2
ptrrecord: tjener.intern
associateddomain: 2.2.0.10.in-addr.arpa

In strict mode, the server behaves differently. When looking for forward DNS entries, it is doing a "subtree" scoped search with the same base as in the tree mode for a object with filter "(associateddomain=tjener.intern)" and requests the attributes dnsttl, arecord, nsrecord, cnamerecord, soarecord, ptrrecord, hinforecord, mxrecord, txtrecord, rprecord, aaaarecord, locrecord, srvrecord, naptrrecord and modifytimestamp. For reverse entires it also do a subtree scoped search but this time the filter is "(arecord=10.0.2.2)" and the requested attributes are associateddomain, dnsttl and modifytimestamp. In short, in strict mode the objects with ptrrecord go away, and the arecord attribute in the forward object is used instead.

The forward and reverse searches can be simulated using ldapsearch like this:

ldapsearch -h ldap -b ou=hosts,dc=skole,dc=skolelinux,dc=no -s sub -x \
  '(associateddomain=tjener.intern)' dNSTTL aRecord nSRecord \
  cNAMERecord sOARecord pTRRecord hInfoRecord mXRecord tXTRecord \
  rPRecord aFSDBRecord KeyRecord aAAARecord lOCRecord sRVRecord \
  nAPTRRecord kXRecord certRecord dSRecord sSHFPRecord iPSecKeyRecord \
  rRSIGRecord nSECRecord dNSKeyRecord dHCIDRecord sPFRecord modifyTimestamp

ldapsearch -h ldap -b ou=hosts,dc=skole,dc=skolelinux,dc=no -s sub -x \
  '(arecord=10.0.2.2)' associateddomain dnsttl modifytimestamp

In addition to the forward and reverse searches , there is also a search for SOA records, which behave similar to the forward and reverse lookups.

A thing to note with the PowerDNS behaviour is that it do not specify any objectclass names, and instead look for the attributes it need to generate a DNS reply. This make it able to work with any objectclass that provide the needed attributes.

The attributes are normally provided in the cosine (RFC 1274) and dnsdomain2 schemas. The latter is used for reverse entries like ptrrecord and recent DNS additions like aaaarecord and srvrecord.

In Debian Edu, we have created DNS objects using the object classes dcobject (for dc), dnsdomain or dnsdomain2 (structural, for the DNS attributes) and domainrelatedobject (for associatedDomain). The use of structural object classes make it impossible to combine these classes with the object classes used by DHCP.

There are other schemas that could be used too, for example the dnszone structural object class used by Gosa and bind-sdb for the DNS attributes combined with the domainrelatedobject object class, but in this case some unused attributes would have to be included as well (zonename and relativedomainname).

My proposal for Debian Edu would be to switch PowerDNS to strict mode and not use any of the existing objectclasses (dnsdomain, dnsdomain2 and dnszone) when one want to combine the DNS information with DHCP information, and instead create a auxiliary object class defined something like this (using the attributes defined for dnsdomain and dnsdomain2 or dnszone):

objectclass ( some-oid NAME 'dnsDomainAux'
    SUP top
    AUXILIARY
    MAY ( ARecord $ MDRecord $ MXRecord $ NSRecord $ SOARecord $ CNAMERecord $
          DNSTTL $ DNSClass $ PTRRecord $ HINFORecord $ MINFORecord $
          TXTRecord $ SIGRecord $ KEYRecord $ AAAARecord $ LOCRecord $
          NXTRecord $ SRVRecord $ NAPTRRecord $ KXRecord $ CERTRecord $
          A6Record $ DNAMERecord
    ))

This will allow any object to become a DNS entry when combined with the domainrelatedobject object class, and allow any entity to include all the attributes PowerDNS wants. I've sent an email to the PowerDNS developers asking for their view on this schema and if they are interested in providing such schema with PowerDNS, and I hope my message will be accepted into their mailing list soon.

ISC dhcp

The DHCP server searches for specific objectclass and requests all the object attributes, and then uses the attributes it want. This make it harder to figure out exactly what attributes are used, but thanks to the working example in Debian Edu I can at least get an idea what is needed without having to read the source code.

In the DHCP server configuration, the LDAP base to use and the search filter to use to locate the correct dhcpServer entity is stored. These are the relevant entries from /etc/dhcp3/dhcpd.conf:

ldap-base-dn "dc=skole,dc=skolelinux,dc=no";
ldap-dhcp-server-cn "dhcp";

The DHCP server uses this information to nest all the DHCP configuration it need. The cn "dhcp" is located using the given LDAP base and the filter "(&(objectClass=dhcpServer)(cn=dhcp))". The search result is this entry:

dn: cn=dhcp,dc=skole,dc=skolelinux,dc=no
cn: dhcp
objectClass: top
objectClass: dhcpServer
dhcpServiceDN: cn=DHCP Config,dc=skole,dc=skolelinux,dc=no

The content of the dhcpServiceDN attribute is next used to locate the subtree with DHCP configuration. The DHCP configuration subtree base is located using a base scope search with base "cn=DHCP Config,dc=skole,dc=skolelinux,dc=no" and filter "(&(objectClass=dhcpService)(|(dhcpPrimaryDN=cn=dhcp,dc=skole,dc=skolelinux,dc=no)(dhcpSecondaryDN=cn=dhcp,dc=skole,dc=skolelinux,dc=no)))". The search result is this entry:

dn: cn=DHCP Config,dc=skole,dc=skolelinux,dc=no
cn: DHCP Config
objectClass: top
objectClass: dhcpService
objectClass: dhcpOptions
dhcpPrimaryDN: cn=dhcp, dc=skole,dc=skolelinux,dc=no
dhcpStatements: ddns-update-style none
dhcpStatements: authoritative
dhcpOption: smtp-server code 69 = array of ip-address
dhcpOption: www-server code 72 = array of ip-address
dhcpOption: wpad-url code 252 = text

Next, the entire subtree is processed, one level at the time. When all the DHCP configuration is loaded, it is ready to receive requests. The subtree in Debian Edu contain objects with object classes top/dhcpService/dhcpOptions, top/dhcpSharedNetwork/dhcpOptions, top/dhcpSubnet, top/dhcpGroup and top/dhcpHost. These provide options and information about netmasks, dynamic range etc. Leaving out the details here because it is not relevant for the focus of my investigation, which is to see if it is possible to merge dns and dhcp related computer objects.

When a DHCP request come in, LDAP is searched for the MAC address of the client (00:00:00:00:00:00 in this example), using a subtree scoped search with "cn=DHCP Config,dc=skole,dc=skolelinux,dc=no" as the base and "(&(objectClass=dhcpHost)(dhcpHWAddress=ethernet 00:00:00:00:00:00))" as the filter. This is what a host object look like:

dn: cn=hostname,cn=group1,cn=THINCLIENTS,cn=DHCP Config,dc=skole,dc=skolelinux,dc=no
cn: hostname
objectClass: top
objectClass: dhcpHost
dhcpHWAddress: ethernet 00:00:00:00:00:00
dhcpStatements: fixed-address hostname

There is less flexiblity in the way LDAP searches are done here. The object classes need to have fixed names, and the configuration need to be stored in a fairly specific LDAP structure. On the positive side, the invidiual dhcpHost entires can be anywhere without the DN pointed to by the dhcpServer entries. The latter should make it possible to group all host entries in a subtree next to the configuration entries, and this subtree can also be shared with the DNS server if the schema proposed above is combined with the dhcpHost structural object class.

Conclusion

The PowerDNS implementation seem to be very flexible when it come to which LDAP schemas to use. While its "tree" mode is rigid when it come to the the LDAP structure, the "strict" mode is very flexible, allowing DNS objects to be stored anywhere under the base cn specified in the configuration.

The DHCP implementation on the other hand is very inflexible, both regarding which LDAP schemas to use and which LDAP structure to use. I guess one could implement ones own schema, as long as the objectclasses and attributes have the names used, but this do not really help when the DHCP subtree need to have a fairly fixed structure.

Based on the observed behaviour, I suspect a LDAP structure like this might work for Debian Edu:

ou=services
  cn=machine-info (dhcpService) - dhcpServiceDN points here
    cn=dhcp (dhcpServer)
    cn=dhcp-internal (dhcpSharedNetwork/dhcpOptions)
      cn=10.0.2.0 (dhcpSubnet)
        cn=group1 (dhcpGroup/dhcpOptions)
    cn=dhcp-thinclients (dhcpSharedNetwork/dhcpOptions)
      cn=192.168.0.0 (dhcpSubnet)
        cn=group1 (dhcpGroup/dhcpOptions)
    ou=machines - PowerDNS base points here
      cn=hostname (dhcpHost/domainrelatedobject/dnsDomainAux)

This is not tested yet. If the DHCP server require the dhcpHost entries to be in the dhcpGroup subtrees, the entries can be stored there instead of a common machines subtree, and the PowerDNS base would have to be moved one level up to the machine-info subtree.

The combined object under the machines subtree would look something like this:

dn: dc=hostname,ou=machines,cn=machine-info,dc=skole,dc=skolelinux,dc=no
dc: hostname
objectClass: top
objectClass: dhcpHost
objectclass: domainrelatedobject
objectclass: dnsDomainAux
associateddomain: hostname.intern
arecord: 10.11.12.13
dhcpHWAddress: ethernet 00:00:00:00:00:00
dhcpStatements: fixed-address hostname.intern

One could even add the LTSP configuration associated with a given machine, as long as the required attributes are available in a auxiliary object class.

Tags: debian, debian edu, english, ldap, nuug.
Combining PowerDNS and ISC DHCP LDAP objects
14th July 2010

For a while now, I have wanted to find a way to change the DNS and DHCP services in Debian Edu to use the same LDAP objects for a given computer, to avoid the possibility of having a inconsistent state for a computer in LDAP (as in DHCP but no DNS entry or the other way around) and make it easier to add computers to LDAP.

I've looked at how powerdns and dhcpd is using LDAP, and using this information finally found a solution that seem to work.

The old setup required three LDAP objects for a given computer. One forward DNS entry, one reverse DNS entry and one DHCP entry. If we switch powerdns to use its strict LDAP method (ldap-method=strict in pdns-debian-edu.conf), the forward and reverse DNS entries are merged into one while making it impossible to transfer the reverse map to a slave DNS server.

If we also replace the object class used to get the DNS related attributes to one allowing these attributes to be combined with the dhcphost object class, we can merge the DNS and DHCP entries into one. I've written such object class in the dnsdomainaux.schema file (need proper OIDs, but that is a minor issue), and tested the setup. It seem to work.

With this test setup in place, we can get away with one LDAP object for both DNS and DHCP, and even the LTSP configuration I suggested in an earlier email. The combined LDAP object will look something like this:

  dn: cn=hostname,cn=group1,cn=THINCLIENTS,cn=DHCP Config,dc=skole,dc=skolelinux,dc=no
  cn: hostname
  objectClass: dhcphost
  objectclass: domainrelatedobject
  objectclass: dnsdomainaux
  associateddomain: hostname.intern
  arecord: 10.11.12.13
  dhcphwaddress: ethernet 00:00:00:00:00:00
  dhcpstatements: fixed-address hostname
  ldapconfigsound: Y

The DNS server uses the associateddomain and arecord entries, while the DHCP server uses the dhcphwaddress and dhcpstatements entries before asking DNS to resolve the fixed-adddress. LTSP will use dhcphwaddress or associateddomain and the ldapconfig* attributes.

I am not yet sure if I can get the DHCP server to look for its dhcphost in a different location, to allow us to put the objects outside the "DHCP Config" subtree, but hope to figure out a way to do that. If I can't figure out a way to do that, we can still get rid of the hosts subtree and move all its content into the DHCP Config tree (which probably should be renamed to be more related to the new content. I suspect cn=dnsdhcp,ou=services or something like that might be a good place to put it.

If you want to help out with implementing this for Debian Edu, please contact us on debian-edu@lists.debian.org.

Tags: debian, debian edu, english, ldap, nuug.
Idea for storing LTSP configuration in LDAP
11th July 2010

Vagrant mentioned on IRC today that ltsp_config now support sourcing files from /usr/share/ltsp/ltsp_config.d/ on the thin clients, and that this can be used to fetch configuration from LDAP if Debian Edu choose to store configuration there.

Armed with this information, I got inspired and wrote a test module to get configuration from LDAP. The idea is to look up the MAC address of the client in LDAP, and look for attributes on the form ltspconfigsetting=value, and use this to export SETTING=value to the LTSP clients.

The goal is to be able to store the LTSP configuration attributes in a "computer" LDAP object used by both DNS and DHCP, and thus allowing us to store all information about a computer in one place.

This is a untested draft implementation, and I welcome feedback on this approach. A real LDAP schema for the ltspClientAux objectclass need to be written. Comments, suggestions, etc?

# Store in /opt/ltsp/$arch/usr/share/ltsp/ltsp_config.d/ldap-config
#
# Fetch LTSP client settings from LDAP based on MAC address
#
# Uses ethernet address as stored in the dhcpHost objectclass using
# the dhcpHWAddress attribute or ethernet address stored in the
# ieee802Device objectclass with the macAddress attribute.
#
# This module is written to be schema agnostic, and only depend on the
# existence of attribute names.
#
# The LTSP configuration variables are saved directly using a
# ltspConfig prefix and uppercasing the rest of the attribute name.
# To set the SERVER variable, set the ltspConfigServer attribute.
#
# Some LDAP schema should be created with all the relevant
# configuration settings.  Something like this should work:
# 
# objectclass ( 1.1.2.2 NAME 'ltspClientAux'
#     SUP top
#     AUXILIARY
#     MAY ( ltspConfigServer $ ltsConfigSound $ ... )

LDAPSERVER=$(debian-edu-ldapserver)
if [ "$LDAPSERVER" ] ; then
    LDAPBASE=$(debian-edu-ldapserver -b)
    for MAC in $(LANG=C ifconfig |grep -i hwaddr| awk '{print $5}'|sort -u) ; do
	filter="(|(dhcpHWAddress=ethernet $MAC)(macAddress=$MAC))"
	ldapsearch -h "$LDAPSERVER" -b "$LDAPBASE" -v -x "$filter" | \
	    grep '^ltspConfig' | while read attr value ; do
	    # Remove prefix and convert to upper case
	    attr=$(echo $attr | sed 's/^ltspConfig//i' | tr a-z A-Z)
	    # bass value on to clients
	    eval "$attr=$value; export $attr"
	done
    done
fi

I'm not sure this shell construction will work, because I suspect the while block might end up in a subshell causing the variables set there to not show up in ltsp-config, but if that is the case I am sure the code can be restructured to make sure the variables are passed on. I expect that can be solved with some testing. :)

If you want to help out with implementing this for Debian Edu, please contact us on debian-edu@lists.debian.org.

Update 2010-07-17: I am aware of another effort to store LTSP configuration in LDAP that was created around year 2000 by PC Xperience, Inc., 2000. I found its files on a personal home page over at redhat.com.

Tags: debian, debian edu, english, ldap, nuug.
jXplorer, a very nice LDAP GUI
9th July 2010

Since my last post about available LDAP tools in Debian, I was told about a LDAP GUI that is even better than luma. The java application jXplorer is claimed to be capable of moving LDAP objects and subtrees using drag-and-drop, and can authenticate using Kerberos. I have only tested the Kerberos authentication, but do not have a LDAP setup allowing me to rewrite LDAP with my test user yet. It is available in Debian testing and unstable at the moment. The only problem I have with it is how it handle errors. If something go wrong, its non-intuitive behaviour require me to go through some query work list and remove the failing query. Nothing big, but very annoying.

Tags: debian, debian edu, english, ldap, nuug.
Caching password, user and group on a roaming Debian laptop
1st July 2010

For a laptop, centralized user directories and password checking is a bit troubling. Laptops are typically used also when not connected to the network, and it is vital for a user to be able to log in or unlock the screen saver also when a central server is unavailable. This is possible by caching passwords and directory information (user and group attributes) locally, and the packages to do so are available in Debian. Here follow two recipes to set this up in Debian/Squeeze. It is also possible to set up in Debian/Lenny, but require more manual setup there because pam-auth-update is missing in Lenny.

LDAP/Kerberos + nscd + libpam-ccreds + libpam-mklocaluser/pam_mkhomedir

This is the traditional method with a twist. The password caching is provided by libpam-ccreds (version 10-4 or later is needed on Squeeze), and the directory caching is done by nscd. The directory lookup and password checking is done using LDAP. If one want to use Kerberos for password checking the libpam-ldapd package can be replaced with libpam-krb5 or libpam-heimdal. If one is happy having a local home directory with the path listed in LDAP, one can use the pam_mkhomedir module from pam-modules to make this happen instead of using libpam-mklocaluser. A setup for pam-auth-update to enable pam_mkhomedir will have to be written until a fix for bug #568577 is in the archive. Because I believe it is a bad idea to have local home directories using misleading paths like /site/server/partition/, I prefer to create a local user with the home directory in /home/. This is done using the libpam-mklocaluser package.

These packages need to be installed and configured

libnss-ldapd libpam-ldapd nscd libpam-ccreds libpam-mklocaluser

The ldapd packages will ask for LDAP connection information, and one have to fill in the values that fits ones own site. Make sure the PAM part uses encrypted connections, to make sure the password is not sent in clear text to the LDAP server. I've been unable to get TLS certificate checking for a self signed certificate working, which make LDAP authentication unsafe for Debian Edu (nslcd is not checking if it is talking to the correct LDAP server), and very much welcome feedback on how to get this working.

Because nscd do not have a default configuration fit for offline caching until bug #485282 is fixed, this configuration should be used instead of the one currently in /etc/nscd.conf. The changes are in the fields reload-count and positive-time-to-live, and is based on the instructions I found in the LDAP for Mobile Laptops instructions by Flyn Computing.

	debug-level		0
	reload-count		unlimited
	paranoia		no

	enable-cache		passwd		yes
	positive-time-to-live	passwd		2592000
	negative-time-to-live	passwd		20
	suggested-size		passwd		211
	check-files		passwd		yes
	persistent		passwd		yes
	shared			passwd		yes
	max-db-size		passwd		33554432
	auto-propagate		passwd		yes

	enable-cache		group		yes
	positive-time-to-live	group		2592000
	negative-time-to-live	group		20
	suggested-size		group		211
	check-files		group		yes
	persistent		group		yes
	shared			group		yes
	max-db-size		group		33554432
	auto-propagate		group		yes

	enable-cache		hosts		no
	positive-time-to-live	hosts		2592000
	negative-time-to-live	hosts		20
	suggested-size		hosts		211
	check-files		hosts		yes
	persistent		hosts		yes
	shared			hosts		yes
	max-db-size		hosts		33554432

	enable-cache		services	yes
	positive-time-to-live	services	2592000
	negative-time-to-live	services	20
	suggested-size		services	211
	check-files		services	yes
	persistent		services	yes
	shared			services	yes
	max-db-size		services	33554432

While we wait for a mechanism to update /etc/nsswitch.conf automatically like the one provided in bug #496915, the file content need to be manually replaced to ensure LDAP is used as the directory service on the machine. /etc/nsswitch.conf should normally look like this:

passwd:         files ldap
group:          files ldap
shadow:         files ldap
hosts:          files mdns4_minimal [NOTFOUND=return] dns mdns4
networks:       files
protocols:      files
services:       files
ethers:         files
rpc:            files
netgroup:       files ldap

The important parts are that ldap is listed last for passwd, group, shadow and netgroup.

With these changes in place, any user in LDAP will be able to log in locally on the machine using for example kdm, get a local home directory created and have the password as well as user and group attributes cached.

LDAP/Kerberos + nss-updatedb + libpam-ccreds + libpam-mklocaluser/pam_mkhomedir

Because nscd have had its share of problems, and seem to have problems doing proper caching, I've seen suggestions and recipes to use nss-updatedb to copy parts of the LDAP database locally when the LDAP database is available. I have not tested such setup, because I discovered sssd.

LDAP/Kerberos + sssd + libpam-mklocaluser

A more flexible and robust setup than the nscd combination mentioned earlier that has shown up recently, is the sssd package from Redhat. It is part of the FreeIPA project to provide a Active Directory like directory service for Linux machines. The sssd system combines the caching of passwords and user information into one package, and remove the need for nscd and libpam-ccreds. It support LDAP and Kerberos, but not NIS. Version 1.2 do not support netgroups, but it is said that it will support this in version 1.5 expected to show up later in 2010. Because the sssd package was missing in Debian, I ended up co-maintaining it with Werner, and version 1.2 is now in testing.

These packages need to be installed and configured to get the roaming setup I want

libpam-sss libnss-sss libpam-mklocaluser
The complete setup of sssd is done by editing/creating /etc/sssd/sssd.conf.
[sssd]
config_file_version = 2
reconnection_retries = 3
sbus_timeout = 30
services = nss, pam
domains = INTERN

[nss]
filter_groups = root
filter_users = root
reconnection_retries = 3

[pam]
reconnection_retries = 3

[domain/INTERN]
enumerate = false
cache_credentials = true

id_provider = ldap
auth_provider = ldap
chpass_provider = ldap

ldap_uri = ldap://ldap
ldap_search_base = dc=skole,dc=skolelinux,dc=no
ldap_tls_reqcert = never
ldap_tls_cacert = /etc/ssl/certs/ca-certificates.crt

I got the same problem here with certificate checking. Had to set "ldap_tls_reqcert = never" to get it working.

With the libnss-sss package in testing at the moment, the nsswitch.conf file is update automatically, so there is no need to modify it manually.

If you want to help out with implementing this for Debian Edu, please contact us on debian-edu@lists.debian.org.

Tags: debian edu, english, ldap, nuug.
LUMA, a very nice LDAP GUI
28th June 2010

The last few days I have been looking into the status of the LDAP directory in Debian Edu, and in the process I started to miss a GUI tool to browse the LDAP tree. The only one I was able to find in Debian/Squeeze and Lenny is LUMA, which has proved to be a great tool to get a overview of the current LDAP directory populated by default in Skolelinux. Thanks to it, I have been able to find empty and obsolete subtrees, misplaced objects and duplicate objects. It will be installed by default in Debian/Squeeze. If you are working with LDAP, give it a go. :)

I did notice one problem with it I have not had time to report to the BTS yet. There is no .desktop file in the package, so the tool do not show up in the Gnome and KDE menus, but only deep down in in the Debian submenu in KDE. I hope that can be fixed before Squeeze is released.

I have not yet been able to get it to modify the tree yet. I would like to move objects and remove subtrees directly in the GUI, but have not found a way to do that with LUMA yet. So in the mean time, I use ldapvi for that.

If you have tips on other GUI tools for LDAP that might be useful in Debian Edu, please contact us on debian-edu@lists.debian.org.

Update 2010-06-29: Ross Reedstrom tipped us about the gq package as a useful GUI alternative. It seem like a good tool, but is unmaintained in Debian and got a RC bug keeping it out of Squeeze. Unless that changes, it will not be an option for Debian Edu based on Squeeze.

Tags: debian, debian edu, english, ldap, nuug.
Idea for a change to LDAP schemas allowing DNS and DHCP info to be combined into one object
24th June 2010

A while back, I complained about the fact that it is not possible with the provided schemas for storing DNS and DHCP information in LDAP to combine the two sets of information into one LDAP object representing a computer.

In the mean time, I discovered that a simple fix would be to make the dhcpHost object class auxiliary, to allow it to be combined with the dNSDomain object class, and thus forming one object for one computer when storing both DHCP and DNS information in LDAP.

If I understand this correctly, it is not safe to do this change without also changing the assigned number for the object class, and I do not know enough about LDAP schema design to do that properly for Debian Edu.

Anyway, for future reference, this is how I believe we could change the DHCP schema to solve at least part of the problem with the LDAP schemas available today from IETF.

--- dhcp.schema    (revision 65192)
+++ dhcp.schema    (working copy)
@@ -376,7 +376,7 @@
 objectclass ( 2.16.840.1.113719.1.203.6.6
        NAME 'dhcpHost'
        DESC 'This represents information about a particular client'
-       SUP top
+       SUP top AUXILIARY
        MUST cn
        MAY  (dhcpLeaseDN $ dhcpHWAddress $ dhcpOptionsDN $ dhcpStatements $ dhcpComments $ dhcpOption)
        X-NDS_CONTAINMENT ('dhcpService' 'dhcpSubnet' 'dhcpGroup') )

I very much welcome clues on how to do this properly for Debian Edu/Squeeze. We provide the DHCP schema in our debian-edu-config package, and should thus be free to rewrite it as we see fit.

If you want to help out with implementing this for Debian Edu, please contact us on debian-edu@lists.debian.org.

Tags: debian, debian edu, english, ldap, nuug.
Calling tasksel like the installer, while still getting useful output
16th June 2010

A few times I have had the need to simulate the way tasksel installs packages during the normal debian-installer run. Until now, I have ended up letting tasksel do the work, with the annoying problem of not getting any feedback at all when something fails (like a conffile question from dpkg or a download that fails), using code like this:

export DEBIAN_FRONTEND=noninteractive
tasksel --new-install
This would invoke tasksel, let its automatic task selection pick the tasks to install, and continue to install the requested tasks without any output what so ever. Recently I revisited this problem while working on the automatic package upgrade testing, because tasksel would some times hang without any useful feedback, and I want to see what is going on when it happen. Then it occured to me, I can parse the output from tasksel when asked to run in test mode, and use that aptitude command line printed by tasksel then to simulate the tasksel run. I ended up using code like this:
export DEBIAN_FRONTEND=noninteractive
cmd="$(in_target tasksel -t --new-install | sed 's/debconf-apt-progress -- //')"
$cmd

The content of $cmd is typically something like "aptitude -q --without-recommends -o APT::Install-Recommends=no -y install ~t^desktop$ ~t^gnome-desktop$ ~t^laptop$ ~pstandard ~prequired ~pimportant", which will install the gnome desktop task, the laptop task and all packages with priority standard , required and important, just like tasksel would have done it during installation.

A better approach is probably to extend tasksel to be able to install packages without using debconf-apt-progress, for use cases like this.

Tags: debian, english, nuug.
Åpne trådløsnett er et samfunnsgode
12th June 2010

Veldig glad for å oppdage via Slashdot at folk i Finland har forstått at åpne trådløsnett er et samfunnsgode. Jeg ser på åpne trådløsnett som et fellesgode på linje med retten til ferdsel i utmark og retten til å bevege seg i strandsonen. Jeg har glede av åpne trådløsnett når jeg finner dem, og deler gladelig nett med andre så lenge de ikke forstyrrer min bruk av eget nett. Nettkapasiteten er sjelden en begrensning ved normal browsing og enkel SSH-innlogging (som er min vanligste nettbruk), og nett kan brukes til så mye positivt og nyttig (som nyhetslesing, sjekke været, kontakte slekt og venner, holde seg oppdatert om politiske saker, kontakte organisasjoner og politikere, etc), at det for meg er helt urimelig å blokkere dette for alle som ikke gjør en flue fortred. De som mener at potensialet for misbruk er grunn nok til å hindre all den positive og lovlydige bruken av et åpent trådløsnett har jeg dermed ingen forståelse for. En kan ikke la eksistensen av forbrytere styre hvordan samfunnet skal organiseres. Da får en et kontrollsamfunn de færreste ønsker å leve i, og det at vi har et samfunn i Norge der tilliten til hverandre er høy gjør at samfunnet fungerer ganske godt. Det bør vi anstrenge oss for å beholde.

Tags: fildeling, norsk, nuug, opphavsrett, personvern, sikkerhet.
Skolelinux er laget for sentraldrifting, naturligvis
9th June 2010

Det er merkelig hvordan myter om Skolelinux overlever. En slik myte er at Skolelinux ikke kan sentraldriftes og ha sentralt plasserte tjenermaskiner. I siste Computerworld Norge er IT-sjef Viggo Billdal i Steinkjer intervjuet, og forteller uten blygsel:

Vi hadde Skolelinux, men det har vi sluttet med. Vi testet om det lønte seg med Microsoft eller en åpen plattform. Vi fant ut at Microsoft egentlig var totalt sett bedre egnet. Det var store driftskostnader med Skolelinux, blant annet på grunn av desentraliserte servere. Det var komplisert, så vi gikk vekk fra det og bruker nå bare Windows.

En rask sjekk mot den norske brukerlista i Skolelinuxprosjektet forteller at Steinkjers forsøk foregikk fram til 2004/2005, og at Røysing skole i Steinkjer skal ha vært svært fornøyd med Skolelinux men at kommunen overkjørte skolen og krevde at de gikk over til Windows. Et søk på nettet sendte meg til Dagens IT nr. 18 2005 hvor en kan lese på side 18:

Inge Tømmerås ved Røysing skole i Steinkjer kjører ennå Microsoft, men forteller at kompetanseutfordringen med Skolelinux ikke var så stor. ­ Jeg syntes Skolelinux var utrolig lett å drifte uten forkunnskaper. Men man må jo selvsagt ha tilgang på ekstern kompetanse til installasjoner og maskinvarefeil, sier Tømmerås.

Som systemarkitekten bak Skolelinux, kan jeg bare riste på hodet over påstanden om at Skolelinux krever desentraliserte tjenere. Skolelinux-arkitekturen er laget for sentralisert drift og plassering av tjenerne lokalt eller sentralt alt etter behov og nettkapasitet. Den er modellert på nettverks- og tjenerløsningen som brukes på Universitetet i Tromsø og Oslo, der jeg jobber med utvikling av driftstjenester. Dette er det heldigvis noen som har fått med seg, og jeg er glad for å kunne sitere fra en kommentar på den overnevnte artikkelen. Min venn og gamle kollega Sturle Sunde forteller der:

I Flora kommune køyrer vi Skulelinux på skular med alt frå 15 til meir enn 500 elevar. Dei store skulane har eigen tenar, for det er mest praktisk. Eg, som er driftsansvarleg for heile nettet, ser sjeldan dei tenarane fysisk, men at dei står der gjer skulane mindre avhengige av eksterne linjer som er trege eller dyre. Dei minste skulane har ikkje eigen tenar. Å bruke sentral tenar er heller ikkje noko problem. Småskulane klarar seg fint med 1 mbit-linje til ein sentral tenar eller tenaren på ein større skule.

Det beste med Skulelinux er halvtjukke klientar. Dei treng ikkje harddisk og brukar minimalt med ressursar på tenaren fordi dei køyrer programma lokalt. Eit klasserom med 30 sju-åtte år gamle maskiner har mykje meir CPU og RAM totalt enn nokon moderne tenar til under millionen. Det trengst to kommandoar på den sentrale tenaren for å oppdatere alle klientane, både tynne og halvtjukke. Vi har ingen problem med diskar som ryk heller, som var eit problem før fordi elevane sat og sparka i maskinene. Og dei krev lite bandbreidde i nettet, so det er fullt mogleg å køyre slike på småskular med trege linjer mot tenaren på ein større skule.

Flora kommune har nesten 800 Linux-maskiner i sitt skulenett, og ein person som tek seg av drift av heile nettet, inkludert tenarar, klientar, operativsystem, programvare, heimekontorløysing og administrasjon av brukarar.

No skal det seiast at vi ikkje køyrer rein Skulelinux ut av boksen. Vi har gjort ein del tilpassingar mot noko Novell-greier som var der frå før, og som har komplisert installasjonen vår. Etter at oppsettet var gjort har løysinga vore stabil og kravd minimalt med arbeid.

Jeg vet at Narvik, Harstad og Oslo er kommuner der Skolelinux sentraldriftes med sentrale tjenere. Det forteller meg at Steinkjers IT-sjef neppe bør skylde på Skolelinux-løsningen for sine 5 år gamle minner.

Tags: debian edu, norsk, nuug.
Magnetstripeinnhold i billetter fra Flytoget og Hurtigruten
21st May 2010

For en stund tilbake kjøpte jeg en magnetkortleser for å kunne titte på hva som er skrevet inn på magnetstripene til ulike kort. Har ikke hatt tid til å analysere mange kort så langt, men tenkte jeg skulle dele innholdet på to kort med mine lesere.

For noen dager siden tok jeg flyet til Harstad og Hurtigruten til Bergen. Flytoget fra Oslo S til flyplassen ga meg en billett med magnetstripe. Påtrykket finner jeg følgende informasjon:

Flytoget Airport Express Train

Fra - Til        : Oslo Sentralstasjon
Kategori         : Voksen
Pris             : Nok 170,00
Herav mva. 8,00% : NOK 12,59
Betaling         : Kontant
Til - Fra        : Oslo Lufthavn
Utstedt:         : 08.05.10
Gyldig Fra-Til   : 08.05.10-07.11.10
Billetttype      : Enkeltbillett

102-1015-100508-48382-01-08

På selve magnetstripen er innholdet ;E?+900120011=23250996541068112619257138248441708433322932704083389389062603279671261502492655?. Aner ikke hva innholdet representerer, og det er lite overlapp mellom det jeg ser trykket på billetten og det jeg ser av tegn i magnetstripen. Håper det betyr at de bruker kryptografiske metoder for å gjøre det vanskelig å forfalske billetter.

Den andre billetten er fra Hurtigruten, der jeg mistenker at strekkoden på fronten er mer brukt enn magnetstripen (det var i hvert fall den biten vi stakk inn i dørlåsen).

Påtrykket forsiden er følgende:

Romnummer 727
Hurtigruten
Midnatsol
Reinholdtsen
Petter
Bookingno: SAX69   0742193
Harstad-Bergen
Dep: 09.05.2010 Arr: 12.05.2010
Lugar fra Risøyhamn
Kost: FRO=4

På selve magnetstripen er innholdet ;1316010007421930=00000000000000000000?+E?. Heller ikke her ser jeg mye korrespondanse mellom påtrykk og magnetstripe.

Tags: norsk, nuug, sikkerhet.
Pieces of the roaming laptop puzzle in Debian
19th May 2010

Today, the last piece of the puzzle for roaming laptops in Debian Edu finally entered the Debian archive. Today, the new libpam-mklocaluser package was accepted. Two days ago, two other pieces was accepted into unstable. The pam-python package needed by libpam-mklocaluser, and the sssd package passed NEW on Monday. In addition, the libpam-ccreds package we need is in experimental (version 10-4) since Saturday, and hopefully will be moved to unstable soon.

This collection of packages allow for two different setups for roaming laptops. The traditional setup would be using libpam-ccreds, nscd and libpam-mklocaluser with LDAP or Kerberos authentication, which should work out of the box if the configuration changes proposed for nscd in BTS report #485282 is implemented. The alternative setup is to use sssd with libpam-mklocaluser to connect to LDAP or Kerberos and let sssd take care of the caching of passwords and group information.

I have so far been unable to get sssd to work with the LDAP server at the University, but suspect the issue is some SSL/GnuTLS related problem with the server certificate. I plan to update the Debian package to version 1.2, which is scheduled for next week, and hope to find time to make sure the next release will include both the Debian/Ubuntu specific patches. Upstream is friendly and responsive, and I am sure we will find a good solution.

The idea is to set up the roaming laptops to authenticate using LDAP or Kerberos and create a local user with home directory in /home/ when a usre in LDAP logs in via KDM or GDM for the first time, and cache the password for offline checking, as well as caching group memberhips and other relevant LDAP information. The libpam-mklocaluser package was created to make sure the local home directory is in /home/, instead of /site/server/directory/ which would be the home directory if pam_mkhomedir was used. To avoid confusion with support requests and configuration, we do not want local laptops to have users in a path that is used for the same users home directory on the home directory servers.

One annoying problem with gdm is that it do not show the PAM message passed to the user from libpam-mklocaluser when the local user is created. Instead gdm simply reject the login with some generic message. The message is shown in kdm, ssh and login, so I guess it is a bug in gdm. Have not investigated if there is some other message type that can be used instead to get gdm to also show the message.

If you want to help out with implementing this for Debian Edu, please contact us on debian-edu@lists.debian.org.

Tags: debian edu, english, nuug.
systemd, an interesting alternative to upstart
13th May 2010

The last few days a new boot system called systemd has been introduced to the free software world. I have not yet had time to play around with it, but it seem to be a very interesting alternative to upstart, and might prove to be a good alternative for Debian when we are able to switch to an event based boot system. Tollef is in the process of getting systemd into Debian, and I look forward to seeing how well it work. I like the fact that systemd handles init.d scripts with dependency information natively, allowing them to run in parallel where upstart at the moment do not.

Unfortunately do systemd have the same problem as upstart regarding platform support. It only work on recent Linux kernels, and also need some new kernel features enabled to function properly. This means kFreeBSD and Hurd ports of Debian will need a port or a different boot system. Not sure how that will be handled if systemd proves to be the way forward.

In the mean time, based on the input on debian-devel@ regarding parallel booting in Debian, I have decided to enable full parallel booting as the default in Debian as soon as possible (probably this weekend or early next week), to see if there are any remaining serious bugs in the init.d dependencies. A new version of the sysvinit package implementing this change is already in experimental. If all go well, Squeeze will be released with parallel booting enabled by default.

Tags: bootsystem, debian, english, nuug.
Forcing new users to change their password on first login
2nd May 2010

One interesting feature in Active Directory, is the ability to create a new user with an expired password, and thus force the user to change the password on the first login attempt.

I'm not quite sure how to do that with the LDAP setup in Debian Edu, but did some initial testing with a local account. The account and password aging information is available in /etc/shadow, but unfortunately, it is not possible to specify an expiration time for passwords, only a maximum age for passwords.

A freshly created account (using adduser test) will have these settings in /etc/shadow:

root@tjener:~# chage -l test
Last password change                                    : May 02, 2010
Password expires                                        : never
Password inactive                                       : never
Account expires                                         : never
Minimum number of days between password change          : 0
Maximum number of days between password change          : 99999
Number of days of warning before password expires       : 7
root@tjener:~#

The only way I could come up with to create a user with an expired account, is to change the date of the last password change to the lowest value possible (January 1th 1970), and the maximum password age to the difference in days between that date and today. To make it simple, I went for 30 years (30 * 365 = 10950) and January 2th (to avoid testing if 0 is a valid value).

After using these commands to set it up, it seem to work as intended:

root@tjener:~# chage -d 1 test; chage -M 10950 test
root@tjener:~# chage -l test
Last password change                                    : Jan 02, 1970
Password expires                                        : never
Password inactive                                       : never
Account expires                                         : never
Minimum number of days between password change          : 0
Maximum number of days between password change          : 10950
Number of days of warning before password expires       : 7
root@tjener:~#  

So far I have tested this with ssh and console, and kdm (in Squeeze) login, and all ask for a new password before login in the user (with ssh, I was thrown out and had to log in again).

Perhaps we should set up something similar for Debian Edu, to make sure only the user itself have the account password?

If you want to comment on or help out with implementing this for Debian Edu, please contact us on debian-edu@lists.debian.org.

Update 2010-05-02 17:20: Paul Tötterman tells me on IRC that the shadow(8) page in Debian/testing now state that setting the date of last password change to zero (0) will force the password to be changed on the first login. This was not mentioned in the manual in Lenny, so I did not notice this in my initial testing. I have tested it on Squeeze, and 'chage -d 0 username' do work there. I have not tested it on Lenny yet.

Update 2010-05-02-19:05: Jim Paris tells me via email that an equivalent command to expire a password is 'passwd -e username', which insert zero into the date of the last password change.

Tags: debian edu, english, nuug, sikkerhet.
Thoughts on roaming laptop setup for Debian Edu
28th April 2010

For some years now, I have wondered how we should handle laptops in Debian Edu. The Debian Edu infrastructure is mostly designed to handle stationary computers, and less suited for computers that come and go.

Now I finally believe I have an sensible idea on how to adjust Debian Edu for laptops, by introducing a new profile for them, for example called Roaming Workstations. Here are my thought on this. The setup would consist of the following:

I believe all the pieces to implement this are in Debian/testing at the moment. If we work quickly, we should be able to get this ready in time for the Squeeze release to freeze. Some of the pieces need tweaking, like libpam-ccreds should get support for pam-auth-update (#566718) and nslcd (or perhaps debian-edu-config) should get some integration code to stop its daemon when the LDAP server is unavailable to avoid long timeouts when disconnected from the net. If we get Kerberos enabled, we need to make sure we avoid long timeouts there too.

If you want to help out with implementing this for Debian Edu, please contact us on debian-edu@lists.debian.org.

Tags: debian edu, english, nuug.
Great book: "Content: Selected Essays on Technology, Creativity, Copyright, and the Future of the Future"
19th April 2010

The last few weeks i have had the pleasure of reading a thought-provoking collection of essays by Cory Doctorow, on topics touching copyright, virtual worlds, the future of man when the conscience mind can be duplicated into a computer and many more. The book titled "Content: Selected Essays on Technology, Creativity, Copyright, and the Future of the Future" is available with few restrictions on the web, for example from his own site. I read the epub-version from feedbooks using fbreader and my N810. I strongly recommend this book.

Tags: english, fildeling, nuug, opphavsrett, personvern, sikkerhet, web.
Kerberos for Debian Edu/Squeeze?
14th April 2010

Yesterdays NUUG presentation about Kerberos was inspiring, and reminded me about the need to start using Kerberos in Skolelinux. Setting up a Kerberos server seem to be straight forward, and if we get this in place a long time before the Squeeze version of Debian freezes, we have a chance to migrate Skolelinux away from NFSv3 for the home directories, and over to an architecture where the infrastructure do not have to trust IP addresses and machines, and instead can trust users and cryptographic keys instead.

A challenge will be integration and administration. Is there a Kerberos implementation for Debian where one can control the administration access in Kerberos using LDAP groups? With it, the school administration will have to maintain access control using flat files on the main server, which give a huge potential for errors.

A related question I would like to know is how well Kerberos and pam-ccreds (offline password check) work together. Anyone know?

Next step will be to use Kerberos for access control in Lwat and Nagios. I have no idea how much work that will be to implement. We would also need to document how to integrate with Windows AD, as such shared network will require two Kerberos realms that need to cooperate to work properly.

I believe a good start would be to start using Kerberos on the skolelinux.no machines, and this way get ourselves experience with configuration and integration. A natural starting point would be setting up ldap.skolelinux.no as the Kerberos server, and migrate the rest of the machines from PAM via LDAP to PAM via Kerberos one at the time.

If you would like to contribute to get this working in Skolelinux, I recommend you to see the video recording from yesterdays NUUG presentation, and start using Kerberos at home. The video show show up in a few days.

Tags: debian edu, english, nuug.
After 6 years of waiting, the Xreset.d feature is implemented
6th March 2010

6 years ago, as part of the Debian Edu development I am involved in, I asked for a hook in the kdm and gdm setup to run scripts as root when the user log out. A bug was submitted against the xfree86-common package in 2004 (#230422), and revisited every time Debian Edu was working on a new release. Today, this finally paid off.

The framework for this feature was today commited to the git repositry for the xorg package, and the git repository for xdm has been updated to use this framework. Next on my agenda is to make sure kdm and gdm also add code to use this framework.

In Debian Edu, we want to ability to run commands as root when the user log out, to get rid of runaway processes and do general cleanup after a user. With this framework in place, we finally can do that in a generic way that work with all display managers using this framework. My goal is to get all display managers in Debian use it, similar to how they use the Xsession.d framework today.

Tags: debian edu, english, nuug.
Digitale bøker uten digitale restriksjonsmekanismer (DRM) bør få mva-fritak
3rd March 2010

Den norske bokbransjen har bedt om at digitale bøker må få mva-fritak slik papirbøker har det, og finansdepartementet har sagt nei. Det er et interessant spørsmål om digitale bøker bør ha mva-fritak eller ikke, og svaret er ikke så enkelt som et ja eller nei. Enkelte medlemmer av bokbransjen truer med å droppe den planlagte lanseringen av norske digitale bøker med digitale restriksjonsmekanismer (DRM) som de har snakket om å gjennomføre nå i vår, og det må de gjerne gjøre for min del.

Papirbøker har mva-fritak pga. at de fremmer kultur- og kunnskapsspredning. Digitale bøker uten digitale restriksjonsmekanismer (DRM) fremmer kultur- og kunnskapsspredning, mens digitale bøker med DRM hindrer kultur og kunnskapsspredning. Digitale bøker uten DRM bør få mva-fritak da det er salg av bøker på lik linje med salg av papirbøker, mens digitale bøker med DRM ikke bør få det da det er utleie av bøker og ikke salg.

Jeg foretrekker å kjøpe bøker, og velger dermed å la være å bruke DRM-belastede digitale bøker. Vet ikke helt hva jeg ville være villig til å betale for å leie en bok, men tror ikke det er mange kronene. Heldigvis er det mye bøker tilgjengelig uten slike restriksjoner, og de som vil ha tak i engelske bøker kan laste ned bøker som er tilgjengelig uten bruksbegresninger fra The Internet Archive. Der er det pr. i dag 1 889 313 bøker tilgjengelig. De er tilgjengelig i flere formater. Besøk oversikten over tekster der for å se hva de har.

Tags: norsk, nuug, opphavsrett.
Debian Edu / Skolelinux based on Lenny released, work continues
11th February 2010

On Tuesday, the Debian/Lenny based version of Skolelinux was finally shipped. This was a major leap forward for the project, and I am very pleased that we finally got the release wrapped up. Work on the first point release starts imediately, as we plan to get that one out a month after the major release, to include all fixes for bugs we found and fixed too late in the release process to include last Tuesday.

Perhaps it even is time for some partying?

After this first point release, my plan is to focus again on the next major release, based on Squeeze. We will try to get as many of the fixes we need into the official Debian packages before the freeze, and have just a few weeks or months to make it happen.

Tags: debian edu, english, nuug.
Danmark går for ODF?
29th January 2010

Ble nettopp gjort oppmerksom på en nyhet fra Version2 fra Danmark, der det hevdes at Folketinget har vedtatt at ODF skal brukes som dokumentutvekslingsformat i Staten.

Hyggelig lesning, spesielt hvis det viser seg at de av vedtatt kravlisten for hva som skal aksepteres som referert i kommentarfeltet til artikkelen og en annen artikkel i samme nett-avis. Liker spesielt godt denne:

Det skal demonstreres, at standarden i sin helhed kan implementeres af alle direkte i sin helhed på flere platforme.

Noe slikt burde være et krav også i Norge.

Tags: norsk, nuug, standard.
Automatic Munin and Nagios configuration
27th January 2010

One of the new features in the next Debian/Lenny based release of Debian Edu/Skolelinux, which is scheduled for release in the next few days, is automatic configuration of the service monitoring system Nagios. The previous release had automatic configuration of trend analysis using Munin, and this Lenny based release take that a step further.

When installing a Debian Edu Main-server, it is automatically configured as a Munin and Nagios server. In addition, it is configured to be a server for the SiteSummary system I have written for use in Debian Edu. The SiteSummary system is inspired by a system used by the University of Oslo where I work. In short, the system provide a centralised collector of information about the computers on the network, and a client on each computer submitting information to this collector. This allow for automatic information on which packages are installed on each machine, which kernel the machines are using, what kind of configuration the packages got etc. This also allow us to automatically generate Munin and Nagios configuration.

All computers reporting to the sitesummary collector with the munin-node package installed is automatically enabled as a Munin client and graphs from the statistics collected from that machine show up automatically on http://www/munin/ on the Main-server.

All non-laptop computers reporting to the sitesummary collector are automatically monitored for network presence (ping and any network services detected). In addition, all computers (also laptops) with the nagios-nrpe-server package installed and configured the way sitesummary would configure it, are monitored for full disks, software raid status, swap free and other checks that need to run locally on the machine.

The result is that the administrator on a school using Debian Edu based on Lenny will be able to check the health of his installation with one look at the Nagios settings, without having to spend any time keeping the Nagios configuration up-to-date.

The only configuration one need to do to get Nagios up and running is to set the password used to get access via HTTP. The system administrator need to run "htpasswd /etc/nagios3/htpasswd.users nagiosadmin" to create a nagiosadmin user and set a password for it to be able to log into the Nagios web pages. After that, everything is taken care of.

Tags: debian edu, english, nuug, sitesummary.
Sikkerhet, teater, og hvordan gjøre verden sikrere
30th December 2009

Via Slashdot fant jeg en nydelig kommentar fra Bruce Schneier som ble publisert hos CNN i går. Den forklarer forbilledlig hvorfor sikkerhetsteater og innføring av totalitære politistatmetoder ikke er løsningen for å gjøre verden sikrere. Anbefales på det varmeste.

Oppdatering: Kom over nok en kommentar om den manglende effekten av dagens sikkerhetsteater på flyplassene.

Tags: norsk, nuug, personvern, sikkerhet.
Opphavet til Skolelinux-prosjektet
17th December 2009

De færreste er klar over at Skolelinux-prosjektet kom som et resultat av en avgjørelse på årsmøtet i NUUG i 2000-06-29, der Håkon Wium Lie, da varamedlem i styret, tok på seg oppdraget om å starte et initiativ kalt "Teach the Teacher", som skulle være et initiativ for å få fri programvare og unix-lignende operativsystemer inn i Skolen. Tanken var at en måtte starte med lærerne for at ungene skulle få mulighet til å møte en bedre IT-hverdag. Jeg var tilstede på møtet, og hadde sans for ideen, men intet skjedde. På vårparten 2001 ble det arrangert en demonstrasjon i anledning at First Tuesday hadde invitert Microsoft til et møte for å fortelle om fremtidens Internet. Dette provoserte endel av oss, og EFN og NUUG tok initiativ til å arrangere en demonstrasjon utenfor lokalene 2001-05-21. Blant de som sto bak demonstrasjonen var Vidar Bakke fra NUUG og Håkon W. Lie fra EFN. Etter demonstrasjonen arrangerte Håkon en fest hjemme hos seg der alle som hadde vært aktive i demonstrasjonsplanlegging og gjennomføringen deltok. Før festen var jeg blitt lei av å vente på at Håkon skulle ta initiativ til "Teach the Teacher", og for å forsøke å få litt fremgang besteme jeg meg for å benytte anledningen hos Håkon til å snakke om behovet for å hjelpe skolene i gang med bedre datasystemer bestående av fri programvare og unix-lignende operativsystemer. Flere var interessert, og Knut Yrvin tenkte på ideen. Han ropte sammen til et stiftelsesmøte i prosjektet i sin arbeidsgivers Objectwares lokaler ved Ullevål stadion 2001-07-02, og jeg ble med. Resten er historie. :)

Tags: debian edu, norsk, nuug.
Første NUUG-fordrag sendt på TV
8th December 2009

Endelig har NUUG klart å få kringkastet ut et av sine fordrag på TV. Foredraget om utskriftsløsningen Biforst var først ute, pga. at det var det nyeste foredraget som var holdt på norsk, og dermed slapp vi å finne ut av hvordan teksting av video skulle gjøres.

NUUG har vært involvert i Frikanalen en stund nå, for å forsøke å få ut budskapet vårt også på TV, og dette første foredraget er en sped start på det vi har planlagt.

NUUGs første foredrag sendes ut via frikanelen på digitalt bakkenett, og alle abonnenter av riks-TV skal dermed ha mulighet til å ta inn sendingen. Slå på TVen 5/12 16:05 (for sent), 12/12 14:00, 19/12 16:00, 24/12 15:37 eller 26/12 16:11 i år, så skal du få se meg, Tollef og alle andre de som deltok på møtet på TV.

Tags: frikanalen, norsk, nuug, video.
Kartverket "frigjør" data men er fortsatt ikke interessante
12th November 2009

Dagens kartnyhet er at kartverket gir ikke-kommersiell tilgang til en WMS-tjeneste der en til privat bruk kan hente ut bilder av kartutsnitt så lenge disse ikke lagres lokalt, brukes i begrenset oppløsning og ikke skader kartverket og rettighetshavernes omdømme og interesse.

I går publiserte Ivan Sanchez kaketesten som et forslag til en (av forhåpentligvis flere) måter å teste om kart eller kartdata er fritt tilgjengelige på. Testen er enkel, og sier enkelt (oversatt av meg): Et sett med geodata, eller en kart, er kun fritt tilgjengelig hvis noen kan gi deg en kake med det kartet på toppen, som en gave. Kartverkets publisering av kart feiler så vidt jeg kan se denne testen fullstendig. En kan slik jeg leser vilkårene ikke be en konditor om å lage en kake (brudd på kravet om ikke-kommersiell bruk) med kartverkets kart.

De som vil lage karttjenester basert på denne nye tjenesten fra kartverket vil gjøre det på kartverkets nåde og med sterke bindinger og begresninger. Det blir dermed helt uinteressant for meg. Jeg vil nok fortsette å bruke data fra OpenStreetmap.org, der jeg har kontrollen med tilgang til kartdataene, og kan endre på de underliggende dataene som jeg ønsker.

Som et eksempel, så trenger vi til en norsk FixMyStreet-installasjon tilgang til vektorutgaven av kommunegrensene. Denne nye karttjenesten er ubrukelig til dette.

Oppdatering 2011-01-14: Link til kaketesten er forsvunnet, bruk denne nye i stedet.

Tags: kart, norsk, nuug, opphavsrett.
Internet-leverandører er ikke vokterne av sine kunders nettbruk
6th November 2009

Det er svært gledelig å se at retten fant at Telenor ikke skal fungere som Internet-voktere på vegne av opphavsrettsmafiaen. TONO påstår ikke overraskende "rettighetshaverne er rettsløse". De burde jo vite alt om hvordan rettighetshaverne blir behandlet, som har nektet å hjelpe et av sine medlemmer i en plagiatsak mot Universal i Polen.

Ved opphavsrettsbrudd så er det jo den som offentliggjort kulturuttrykk ulovlig som må stilles til ansvar, og ikke noen andre. Hverken Telenor eller Pirate Bay publiserer innholdet. Telenor lager en Internet-tjeneste som brukes av borgerne til sitt daglige virke, det være seg å holde kontakt med barnebarn, skaffe medisinsk viten eller holde seg orientert i samfunnsdebatten. Det bør de gjøre uten å tvinges til å være overvåkningsinstans. Og Pirate Bay lager en katalog over hvor lovlig og ulovlig innhold på Internet er å få tak i. De publiserer ikke innholdet, de lager kun en katalog over det. Hvis en ikke liker det som blir publisert, så må det tas opp med den som publiserer, ikke noen andre.

Personlig velger jeg å stort sett bruke kulturuttrykk som publiseres med mer brukervennlige vilkår, som CC-BY og lignende.

Tags: fildeling, norsk, nuug, opphavsrett.
Internet-sensur skal i retten på mandag
10th October 2009

DagensIT melder at Telenor og Tono skal i retten på mandag for å diskutere hvorvidt Tonos krav om at Telenor skal blokkere for tilgang til The Pirate Bay er i tråd med norsk rett. Det blir interessant å se resultatet fra den rettsaken.

Jeg bet meg dog merke i en av påstandene fra Tonos advokat Cato Strøm, som forteller at "Pirate Bay inneholder 95 prosent ulovlig utlagt materiale, og å stanse tilgangen til det kan ikke kalles sensur". Jeg tok en titt på forsiden til The Pirate Bay, som forteller at det pr. i dag er 1 884 694 torrenter på trackeren. Dette tilsvarer antall filer en kan søke blant og hente ned ved hjelp av The Pirate Bay. 5% av dette antallet er 94 235. Det kan dermed virke som om Tonos advokat mener at det ikke er sensur å blokkere for tilgang til nesten 100 000 lovlige filer. Jeg lurer på om han er korrekt sitert.

Lurer også på hvor 95%-tallet kommer fram. Er det seriøs og etterprøvbar forskning på området som viser at dette er andelen ulovlige filer tilgjengelig via The Pirate Bay, eller er det musikkbransjenes egne tall? De har jo demonstrert at de ikke er i stand til å skille lovlig og ulovlig bruk av musikk.

Tags: fildeling, norsk, nuug, opphavsrett.
MVA på bøker med DRM, ikke MVA på bøker uten DRM?
23rd September 2009

Elektroniske bøker diskuteres for tiden, etter at bokbransjen hevder det er usikkert om de kommer til å gi ut elektroniske bøker så lenge det er merverdiavgift på elektroniske bøker og ikke på papirbøker. I den forbindelse så jeg et interessant forslag i en digi-debatt jeg hadde sans for. "einarr" foreslo at DRM-infiserte elektroniske bøker bør ha merverdiavgift, da "de ikke bidrar til kunnskapsspredning på samme måte" som papirbøker og dermed går imot intensjonene bak mva-fritaket. Bøker uten DRM derimot bør ha mva-fritak da de "kan overføres mellom enheter, leses på ulike plattformer, lånes ut og siteres og kopieres fra" slik en kan med papirbøker.

En oppfølgerkommentar sier seg enig i dette, da DRM-infisert materiale må anses som leid og dermed en tjeneste, mens materiale uten DRM må anses som et kjøp.

Tags: norsk, nuug, opphavsrett.
Sikkerhet til sjøs trenger sjøkart uten bruksbegresninger
23rd August 2009

Sikkerhet til sjøs burde være noe som opptar mange etter den siste oljeutslippsulykken med Full City, som har drept mye liv langs sjøen. En viktig faktor for å bedre sikkerheten til sjøs er at alle som ferdes på sjøen har tilgang til oppdaterte sjøkart som forteller hvor det grunner og annet en må ta hensyn til på sjøen.

Hvis en er enig i at tilgang til oppdaterte sjøkart er viktig for sikkerheten på sjøen, så er det godt å vite at det i dag er teknisk mulig å sikre alle enkel tilgang til oppdaterte digitale kart over Internet. Det trenger heller ikke være spesielt kostbart.

Både ved Rocknes-ulykken i Vatlestraumen, der 18 mennesker mistet livet, og ved Full City-ulykken utenfor Langesund, der mange tonn olje lekket ut i havet, var det registrert problemer relatert til oppdaterte sjøkart. Ved Rocknes-ulykken var de elektroniske kartene som ble brukt ikke oppdatert med informasjon om nyoppdagede grunner og losen kjente visst ikke til disse nye grunnene. Papirkartene var dog oppdaterte. Ved Full City-ulykken hadde en kontroll av skipet noen uker tidligere konstatert manglende sjøkart.

Jeg tror en løsning der digitale sjøkart kunne lastes ned direkte fra sjøkartverket av alle som ønsket oppdaterte sjøkart, uten brukerbetaling og uten bruksbegresninger knyttet til kartene, vil gjøre at flere folk på sjøen vil holde seg med oppdaterte sjøkart, eller sjøkart i det hele tatt. Resultatet av dette vil være økt sikkerhet på sjøen. En undersøkelse gjennomført av Opinion for Gjensidige i 2008 fortalte at halvparten av alle båteierne i landet ikke har sjøkart i båten.

Formatet på de digitale sjøkartene som gjøres tilgjengelig fra sjøkartverket må være i henhold til en fri og åpen standard, slik at en ikke er låst til enkeltaktørers godvilje når datafilene skal tolkes og forstås, men trenger ikke publiseres fra sjøkartverket i alle formatene til verdens skips-GPS-er i tillegg. Hvis det ikke er kostbart for sjøkartverket bør de gjerne gjøre det selv, men slik konvertering kan andre ta seg av hvis det er et marked for det.

Hvis staten mener alvor med å forbedre sikkerheten til sjøs, må de gjøre sitt for at alle båteiere har oppdaterte kart, ikke bare snakke om hvor viktig det er at de har oppdaterte kart. Det bør være viktigere for staten at båtene har oppdaterte kart enn at de er pålagt å ha oppdaterte kart.

Sjøkartene er tilgjengelig på web fra kystverket, men så vidt jeg har klart å finne, uten bruksvilkår som muliggjør gjenbruk uten bruksbegresninger.

OpenStreetmap.org-folk er lei av mangel på sjøkart, og har startet på et dugnadsbasert fribrukskart for havet, OpenSeaMap. Datagrunnlaget er OpenStreetmap, mens framvisningen er tilpasset bruk på sjøen. Det gjenstår mye før en kan bruke dette til å seile sikkert på havet, men det viser at behovet for fribruks-sjøkart er til stedet.

Tags: kart, norsk, nuug, opphavsrett, sikkerhet.
Relative popularity of document formats (MS Office vs. ODF)
12th August 2009

Just for fun, I did a search right now on Google for a few file ODF and MS Office based formats (not to be mistaken for ISO or ECMA OOXML), to get an idea of their relative usage. I searched using 'filetype:odt' and equvalent terms, and got these results:

TypeODFMS Office
Tekst odt:282000 docx:308000
Presentasjon odp:75600 pptx:183000
Regneark ods:26500 xlsx:145000

Next, I added a 'site:no' limit to get the numbers for Norway, and got these numbers:

TypeODFMS Office
Tekst odt:2480 docx:4460
Presentasjon odp:299 pptx:741
Regneark ods:187 xlsx:372

I wonder how these numbers change over time.

I am aware of Google returning different results and numbers based on where the search is done, so I guess these numbers will differ if they are conduced in another country. Because of this, I did the same search from a machine in California, USA, a few minutes after the search done from a machine here in Norway.

TypeODFMS Office
Tekst odt:129000 docx:308000
Presentasjon odp:44200 pptx:93900
Regneark ods:26500 xlsx:82400

And with 'site:no':

TypeODFMS Office
Tekst odt:2480 docx:3410
Presentasjon odp:175 pptx:604
Regneark ods:186 xlsx:296

Interesting difference, not sure what to conclude from these numbers.

Tags: english, nuug, standard, web.
ISO still hope to fix OOXML
8th August 2009

According to a blog post from Torsten Werner, the current defect report for ISO 29500 (ISO OOXML) is 809 pages. His interesting point is that the defect report is 71 pages more than the full ODF 1.1 specification. Personally I find it more interesting that ISO still believe ISO OOXML can be fixed in ISO. Personally, I believe it is broken beyon repair, and I completely lack any trust in ISO for being able to get anywhere close to solving the problems. I was part of the Norwegian committee involved in the OOXML fast track process, and was not impressed with Standard Norway and ISO in how they handled it.

These days I focus on ODF instead, which seem like a specification with the future ahead of it. We are working in NUUG to organise a ODF seminar this autumn.

Tags: english, nuug, standard.
Debian has switched to dependency based boot sequencing
27th July 2009

Since this evening, with the upload of sysvinit version 2.87dsf-2, and the upload of insserv version 1.12.0-10 yesterday, Debian unstable have been migrated to using dependency based boot sequencing. This conclude work me and others have been doing for the last three days. It feels great to see this finally part of the default Debian installation. Now we just need to weed out the last few problems that are bound to show up, to get everything ready for Squeeze.

The next step is migrating /sbin/init from sysvinit to upstart, and fixing the more fundamental problem of handing the event based non-predictable kernel in the early boot.

Tags: bootsystem, debian, english, nuug.
Taking over sysvinit development
22nd July 2009

After several years of frustration with the lack of activity from the existing sysvinit upstream developer, I decided a few weeks ago to take over the package and become the new upstream. The number of patches to track for the Debian package was becoming a burden, and the lack of synchronization between the distribution made it hard to keep the package up to date.

On the new sysvinit team is the SuSe maintainer Dr. Werner Fink, and my Debian co-maintainer Kel Modderman. About 10 days ago, I made a new upstream tarball with version number 2.87dsf (for Debian, SuSe and Fedora), based on the patches currently in use in these distributions. We Debian maintainers plan to move to this tarball as the new upstream as soon as we find time to do the merge. Since the new tarball was created, we agreed with Werner at SuSe to make a new upstream project at Savannah, and continue development there. The project is registered and currently waiting for approval by the Savannah administrators, and as soon as it is approved, we will import the old versions from svn and continue working on the future release.

It is a bit ironic that this is done now, when some of the involved distributions are moving to upstart as a syvinit replacement.

Tags: bootsystem, debian, english, nuug.
Regjerningens oppsummering av høringen om standardkatalogen versjon 2
9th July 2009

For å forstå mer om hvorfor standardkatalogens versjon 2 ble som den ble, har jeg bedt om kopi fra FAD av dokumentene som ble lagt frem for regjeringen da de tok sin avgjørelse. De er nå lagt ut på NUUGs wiki, direkte tilgjengelig via "Referansekatalogen v2.0 - Oppsummering av høring" og "Referansekatalog for IT-standarder i offentlig sektor Versjon 2.0, dd.mm.åååå - UTKAST".

Det er tre ting jeg merker meg i oppsummeringen fra høringsuttalelsen da jeg skummet igjennom den. Det første er at forståelsen av hvordan programvarepatenter påvirker fri programvareutvikling også i Norge når en argumenterer med at royalty-betaling ikke er et relevant problem i Norge. Det andre er at FAD ikke har en prinsipiell forståelse av verdien av en enkelt standard innenfor hvert område. Det siste er at påstander i høringsuttalelsene ikke blir etterprøvd (f.eks. påstanden fra Microsoft om hvordan Ogg blir standardisert og påstanden fra politidirektoratet om patentproblemer i Theora).

Tags: multimedia, norsk, nuug, standard, video.
Regjerningen forlater prinsippet om ingen royalty-betaling i standardkatalogen versjon 2
6th July 2009

Jeg ble glad da regjeringen annonserte versjon 2 av statens referansekatalog over standarder, men trist da jeg leste hva som faktisk var vedtatt etter høringen. De fleste av de valgte åpne standardene er gode og vil bidra til at alle kan delta på like vilkår i å lage løsninger for staten, men noen av dem blokkerer for de som ikke har anledning til å benytte spesifikasjoner som krever betaling for bruk (såkalt royalty-betaling). Det gjelder spesifikt for H.264 for video og MP3 for lyd. Så lenge bruk av disse var valgfritt mens Ogg Theora og Ogg Vorbis var påkrevd, kunne alle som ønsket å spille av video og lyd fra statens websider gjøre dette uten å måtte bruke programmer der betaling for bruk var nødvendig. Når det nå er gjort valgfritt for de statlige etatene å bruke enten H.264 eller Theora (og MP3 eler Vorbis), så vil en bli tvunget til å forholde seg til royalty-belastede standarder for å få tilgang til videoen og lyden.

Det gjør meg veldig trist at regjeringen har forlatt prinsippet om at alle standarder som ble valgt til å være påkrevd i katalogen skulle være uten royalty-betaling. Jeg håper det ikke betyr at en har mistet all forståelse for hvilke prinsipper som må følges for å oppnå likeverdig konkurranse mellom aktørene i IT-bransjen. NUUG advarte mot dette i sin høringsuttalelse, men ser ut til å ha blitt ignorert.

Oppdatering 2012-06-29: Kom over en rapport til FAD fra da versjon 1 av katalogen ble vedtatt, og der er det tydelig at problemstillingen var kjent og forstått.

Tags: h264, multimedia, norsk, nuug, standard, video.
Litt om valgfusk og problemet med elektronisk stemmegiving
17th June 2009

Aftenposten melder at det kan se ut til at Iran ikke har lært av USA når det gjelder valgfusk. En bør endre tallene før de publiseres, slik at en kandidat aldri får færre stemmer under opptellingen, ellers blir det veldig tydelig at tallene ikke er til å stole på. I USA er det derimot rapporter om at tallene har vært endret på tur mot opptellingen, ikke etter at tallene er publiserte (i tillegg til en rekke andre irregulariteter). En ting Iran åpenbart har forstått, er verdien av å kunne kontrolltelle stemmer. Det ligger an til kontrolltelling i hvert fall i noen områder. Hvorvidt det har verdi, kommer an på hvordan stemmene har vært oppbevart.

Universitetet i Oslo derimot, har ikke forstått verdien av å kunne kontrolltelle. Her har en valgt å ta i bruk elektronisk stemmegiving over Internet, med et system som ikke kan kontrolltelles hvis det kommer anklager om juks med stemmene. Systemet har flere kjente problemer og er i mine øyne ikke bedre enn en spørreundersøkelse, og jeg har derfor latt være å stemme ved valg på UiO siden det ble innført.

Universitet i Bergen derimot har klart det kunststykket å aktivt gå inn for å gjøre det kjent at det elektroniske stemmegivingssystemet over Internet kan spore hvem som stemmer hva (det kan en forøvrig også ved UiO), og tatt kontakt med stemmegivere for å spørre hvorfor de stemte som de gjorde. Hemmelige valg står for fall. Mon tro hva stemmesedlenne hadde inneholdt i Iran hvis de ikke hadde hemmelige valg?

Tags: norsk, nuug, personvern, sikkerhet, valg.
Standarder fungerer best når en samler seg rundt dem
19th May 2009

En standard er noe man samler seg rundt, ut fra ideen om at en får fordeler når mange står sammen. Jo flere som står sammen, jo bedre. Når en vet dette, blir det litt merkelig å lese noen av uttalelsene som er kommet inn til høringen om versjon 2 av statens referansekatalog over standarder. Blant annet Abelia, NHO og Microsoft tror det er lurt med flere standarder innenfor samme område. Det blir som å si at det er fint om Norge standardiserte både på A4- og Letter-størrelser på arkene, ulik sporvidde på jernbaneskinnene, meter og fot som lengemål, eller høyre- og venstrekjøring - slik at en kan konkurrere på hvilken standard som er best. De fleste forstår heldigvis at dette ikke bidrar positivt.

Tags: norsk, nuug, standard.
BSAs påstander om piratkopiering møter motstand
17th May 2009

Hvert år de siste årene har BSA, lobbyfronten til de store programvareselskapene som Microsoft og Apple, publisert en rapport der de gjetter på hvor mye piratkopiering påfører i tapte inntekter i ulike land rundt om i verden. Resultatene er tendensiøse. For noen dager siden kom siste rapport, og det er flere kritiske kommentarer publisert de siste dagene. Et spesielt interessant kommentar fra Sverige, BSA höftade Sverigesiffror, oppsummeres slik:

I sin senaste rapport slår BSA fast att 25 procent av all mjukvara i Sverige är piratkopierad. Det utan att ha pratat med ett enda svenskt företag. "Man bör nog kanske inte se de här siffrorna som helt exakta", säger BSAs Sverigechef John Hugosson.

Mon tro om de er like metodiske når de gjetter på andelen piratkopiering i Norge? To andre kommentarer er BSA piracy figures need a shot of reality og Does The WIPO Copyright Treaty Work?

Fant lenkene via oppslag på Slashdot.

Tags: bsa, debian, fildeling, norsk, nuug, opphavsrett, personvern.
Massiv overvåkning av kollektivtrafikken i Oslo planlegges
16th May 2009

Flere og flere protesterer på den massive overvåkningen og registrering av trafikkmønster i kollektivtrafikken som planlegges i Oslo. Det er bra. Jeg mister lysten til å bruke kollektivtransport når jeg ser hvordan trafikkselskapet holder på. Jeg forventer og forlanger å ikke bli overvåket med mindre jeg mistenkes for å ha gjort noe alvorlig galt. Den massive registreringen av hvor og når passasjerene reiser med kollektivtrafikk som planegges av Ruter i Oslo er et grotesk overgrep mot alle som bruker buss, trikk T-bane og tog i Osloområdet.

Tags: norsk, nuug, personvern, ruter.
3D-printing brer om seg - fabrikkene består
10th May 2009

I 2004 fikk jeg med meg en forelesning om 3D-printing under euro foo camp der jeg lærte mye nytt om 3D-printing. Fikk se et lite sjakktårn skrevet ut i plast, med vindeltrapp på innsiden av tårnet, og en hul gummiball som også var skrevet ut (med et lite hull for å få ut fyllmassen). Ble fortalt at det amerikanske kavaleriet skriver ut reservedeler i metall i felt, og at det fantes amerikanske husbyggere som eksperimenterer med utskrift av hus. De to siste har jeg ikke funnet noen referanser til i ettertid, og har derfor lurt på om det stemmer. Teknologisk skulle det ikke være noe i veien for slike løsninger, det er kun et spørmål om pris på skrivehoder og skrivere. I dag ble jeg tipset om en løsning som kan skrive ut hus, med sand og bindemiddel i 25 DPI oppløsning. Mon tro om det er fremtidens byggemetode.

Jeg er ikke i tvil om at 3D-utskrift vil føre til endringer i hvordan produksjon gjøres, og at tilgjengeligheten på en rekke produkter som i dag er vanskelig eller umulig å få tak i vil bedre seg. Men de som tror at 3D-skrivere vil gjøre fabrikkene overflødige, tror jeg har forregnet seg. 3D-skrivere er fantastisk bra til å lage spesielle dingser på forespørsel, f.eks. etter å ha lastet ned et 3D-design fra tjenester som Thingiverse. De er derimot ikke spesielt bra til å lage mange eksemplarer av samme dings. Lav pris pr. enhet er fabrikkenes fortrinn. Hvis det skal lages tusenvis, eller millioner av en dings, så vil fabrikkene sannsynligvis fortsette å slå 3D-skriving ned i støvlene økonomisk, selv om en tar hensyn til transport og logistikk. Hvis det derimot skal lages en håndfull, så vil 3D-skriving fremstå som et suverent alternativ. 3D-skriving er i så måte løsning for den lange halen, mens fabrikker nok fortsatt vil være løsningen for massemarkedet.

Tags: 3d-printer, norsk, nuug.
Lenker samlet 2009-05-09
9th May 2009
Tags: lenker, norsk, nuug.
IDG mener linux i servermarkedet vil vokse med 21% i 2009
7th May 2009

Kom over interessante tall fra IDG om utviklingen av linuxservermarkedet. Fikk meg til å tenke på antall tjenermaskiner ved Universitetet i Oslo der jeg jobber til daglig. En rask opptelling forteller meg at vi har 490 (61%) fysiske unix-tjener (mest linux men også noen solaris) og 196 (25%) windowstjenere, samt 112 (14%) virtuelle unix-tjenere. Med den bakgrunnskunnskapen kan jeg godt tro at IDG er inne på noe.

Tags: debian, norsk, nuug.
Kryptert harddisk - naturligvis
2nd May 2009

Dagens IT melder at Intel hevder at det er dyrt å miste en datamaskin, når en tar tap av arbeidstid, fortrolige dokumenter, personopplysninger og alt annet det innebærer. Det er ingen tvil om at det er en kostbar affære å miste sin datamaskin, og det er årsaken til at jeg har kryptert harddisken på både kontormaskinen og min bærbare. Begge inneholder personopplysninger jeg ikke ønsker skal komme på avveie, den første informasjon relatert til jobben min ved Universitetet i Oslo, og den andre relatert til blant annet foreningsarbeide. Kryptering av diskene gjør at det er lite sannsynlig at dophoder som kan finne på å rappe maskinene får noe ut av dem. Maskinene låses automatisk etter noen minutter uten bruk, og en reboot vil gjøre at de ber om passord før de vil starte opp. Jeg bruker Debian på begge maskinene, og installasjonssystemet der gjør det trivielt å sette opp krypterte disker. Jeg har LVM på toppen av krypterte partisjoner, slik at alt av datapartisjoner er kryptert. Jeg anbefaler alle å kryptere diskene på sine bærbare. Kostnaden når det er gjort slik jeg gjør det er minimale, og gevinstene er betydelige. En bør dog passe på passordet. Hvis det går tapt, må maskinen reinstalleres og alt er tapt.

Krypteringen vil ikke stoppe kompetente angripere som f.eks. kjøler ned minnebrikkene før maskinen rebootes med programvare for å hente ut krypteringsnøklene. Kostnaden med å forsvare seg mot slike angripere er for min del høyere enn gevinsten. Jeg tror oddsene for at f.eks. etteretningsorganisasjoner har glede av å titte på mine maskiner er minimale, og ulempene jeg ville oppnå ved å forsøke å gjøre det vanskeligere for angripere med kompetanse og ressurser er betydelige.

Tags: debian, norsk, nuug, sikkerhet.
No patch is not better than a useless patch
28th April 2009

Julien Blache claim that no patch is better than a useless patch. I completely disagree, as a patch allow one to discuss a concrete and proposed solution, and also prove that the issue at hand is important enough for someone to spent time on fixing it. No patch do not provide any of these positive properties.

Tags: debian, english, nuug.
EU-parlamentet raner fellesskapet for musikk
26th April 2009

Slashdot melder at EU-parlamentet har vedtatt å øke vernetiden for musikkopptak fra 50 til 70 år, og dermed rane fellesskapet for 20 år med musikk som ville vært tilgjengelig uten bruksbegresninger. Mon tro hvor mye musikk som vil gå tapt pga. at ingen tar vare på den (opphavsrettsinnehaver er forsvunnet), mens ingen andre har lov til å kopiere og distribuere den. Mon tro hvor mange musikkstykker som ikke kan brukes uten bruksbegresninger av folket, som skulle falt i det fri men som i stedet forblir under rettighetshavers monopol. Opphavsrettslovgivingen blir mer og mer urimelig. Tenke seg til at vernetiden startet i USA med 7 år og mulighet for forlengelse med 7 år. Nå er den 95 år der, og en stor mengde verk blir foreldreløse og umulig å få tak i. Har ikke lykkes med å finne ut hvor lang opphavsretten var i utgangspunktet i Norge. I dag er den 70 år.

Jeg er glad det finnes så mye musikk tilgjengelig uten bruksbegresninger at en kan klare seg uten musikk med bruksbegresninger.

Tags: norsk, nuug, opphavsrett.
Hvor flyter Microsofts penger?
24th April 2009

Dagens nyhet er at omsetningen til Microsoft for første gang er synkende. Ikke spesielt uventet med den generelle nedgangen i økonomien som vi ser verden over. Det fikk meg dog til å tenke på en ting fra noen år tilbake.

Da jeg besøkte en kamerat i Beijing sommeren 2000, ble jeg fortalt at påstanden til Microsoft om at de brakte inn enorme pengesummer til USA nok var litt overdrevet, da de fleste inntektene fra lisenssalg rundt om i verden ble kanalisert inn til skatteparadiset Cayman Island. Jeg har aldri lykkes med å få bekreftet dette påstanden, men tok i dag en titt på hvilke selskaper som eier de norske delene av Microsoft som jeg kjenner til, dvs. Microsoft Norge AS og FAST, A Microsoft Subsidiary (tidligere FAST Search & Transfer ASA).

Førstnevnte er eid av "Microsoft International Holdings Spain S.R.L.", mens sistnevnte i følge Wikipedia nå eies av Microsoft-underselskapet "MACS Holdings Limited". Jeg har ikke klart å finne mer informasjon om noen av disse. Mon tro om noen av dem sender pengene til Cayman Island? Finner det jeg tror er informasjon om spaniaselskapet på spansk, men jeg kan ikke lese spansk. :(

Tags: norsk, nuug.
Hvorfor jeg ikke bruker eFaktura
23rd April 2009

Telenors annonsering om å kreve 35 kroner i gebyr fra alle som ønsker papirfaktura har satt sinnene i kok, og pressedekningen så langt snakker om at eldre og folk som ikke behersker data vil få en urimelig ekstrakostnad. Jeg tror ikke jeg passer inn i noen av de kategoriene, men velger å holde meg unna eFaktura - som er det Telenor ønsker å få folk over på - pga. systemets egenskaper.

Slik jeg har sett eFaktura til forbrukere så langt, så sender selger en elektronisk beskjed til kundens bank, som legger ut informasjon om fakturaen i nettbanken for godkjenning. Personlig ville jeg sett det som mer naturlig at det gikk en elektronisk beskjed fra selger til kunde, dvs meg, og at jeg så kunne bruke den videre mot banken eller andre hvis jeg ønsket dette. Mine innkjøp og regninger er jo en sak mellom meg og mine leverandører, ikke en sak mellom min bank og mine leverandører. Kun hvis jeg ønsker å betale fakturaen skal banken involveres. En faktura bør jo inn i regnskapet, og jeg ønsker mulighet til å legge det inn der. Når fakturaen sendes til banken i stedet for meg, blir det vanskeligere. Hele eFaktura-modellen virker på meg som en umyndiggjøring av meg som kunde.

I tillegg har jeg ikke vært i stand til å finne eFaktura-formatets spesifikasjon, og det ser ut til at utsending av slike krever dyre avtaler med bankene for å få lov til å sende ut eFaktura til kunder. Jeg ser vel helst at fakturering på elektroniske formater kan gjøres f.eks. via epost eller HTTP uten å måtte betale mellommenn for retten til å lever ut en faktura, og liker rett og slett ikke dagens faktureringsmodeller.

Tags: norsk, nuug, standard.
Nasjonalbiblioteket legger ut bøker på web
23rd April 2009

Aftenposten melder at nasjonalbiblioteket og Kopinor har gjort en avtale som gjør at eldre bøker kan gjøres digitalt tilgjengelig fra nasjonalbiblioteket mot at Kopinor får 56 øre for hver side som legges ut. Utvalget er litt merkelig: 1790-, 1890- og 1990-tallet. Jeg synes det er absurd hvis det er slik at Kopinor skal ha betalt for utlegging av bøker som ikke lenger er beskyttet av opphavsretten. Jeg antar her at det er mer enn 90 år siden forfatterne av bøker som ble publisert 1790-1799 døde, slik at disse bøkene er falt i det fri og enhver kan kopiere så mye de vil fra dem uten å bryte opphavsrettsloven. Bruk av slike verk har ikke Kopinor noe med å gjøre. Jeg håper jeg har misforstått. En melding fra nasjonalbiblioteket i 2007 tyder på at tekster i det fri ikke trenger avtale med Kopinor.

Et annet problem er at bøkene kun legges ut som bildefiler, noe som vil gjøre at søketjenester ikke vil finne disse bøkene når en søker etter fragmenter i teksten. En risikerer dermed at de blir liggende på en slik måte at folk som bruker Google ikke finner dem.

Da skulle jeg heller sett at nasjonalbiblioteket gjorde alvor av sin aprilspøk, og la ut bøkene som faller i det fri fortløpende.

Tags: fildeling, norsk, nuug, opphavsrett, web.
Fildeling er lovlig - ulovlig fildeling er ulovlig
17th April 2009

Jeg hadde glede av å overvære FADs lansering av Debattsentralen deltemeninger.no under Go Open 2009, og må si jeg ble skuffet over en kommentar fra podiet om ulovlig fildeling. Fikk ikke med meg hvem som holdt innlegget, men det startet med å snakke om ulovlig fildeling og gikk så over til å snakke om fildeling som om fildeling i seg er ulovlig. Intet er lengre fra sannheten. Fildeling er en nyttig teknologi som benyttes av NRK, Debian, Ubuntu, NUUG og andre for distribusjon av filer. Det er ingenting med denne fildelingen som gjør den ulovlig. Fildeling er i seg selv en fullt ut lovlig teknologisk anvendelse. Noe fildeling er ulovlig, og noe er lovlig. De som tror at fildeling er ulovlig har misforstått grovt. Hvorvidt den er ulovlig kommer jo an på hvem som har opphavsretten til filene som deles og hvilke bruksbegrensninger som gjelder for filene. En rekke filer er lagt ut av rettighetsinnehaver for deling på Internet, og fildeling av slike filer er fullt ut lovlig.

Tags: fildeling, norsk, nuug, opphavsrett, web.
Reprap-bygging i påsken
12th April 2009

Vi har brukt påsken til å bygge Reprap, i håp om å ha den operativ til Go Open 2009 uka etter påske. Da første test med motorkjøring avslørte at motorvibrasjonene fikk skruer og muttere til å løsne, så var første punkt på programmet å skru til alle skruer slik at det ble mindre sjanse for slikt. Det er nå nesten komplett (X-aksen gjenstår, men der må det justeres litt på montering i tillegg). Må også lime Z-aksebandet. Har skaffet Loctite Super Attak Flex Gel elastisk superlim som jeg håper vil fungere til dette formålet. I prosessen har jeg blitt bitt av den sprø plasten noen ganger. Har knekket/sprukket 3 plastbiter så langt. Håper jeg får skrevet ut nye før skriveren bryter sammen pga. dette. :)

I prosessen har jeg oppdaget en svakhet med Z-aksen, og funnet en måte å jobbe meg rundt det. Etter tegningen, skal tannhjulene på Z-aksene være tett omslynget av et par stjernehjul som holder båndet mellom alle Z-aksene på plass. Problemet er at båndet er 6mm, mens alle plastdelene er 5mm brede. Det betyr at et 6mm band skal inn i et 5mm spor, noe som ikke passer spesielt godt. Jeg har løst dette ved å legge en 1mm skive mellom tannhjulene og stjernehjulene over tannhjulet, slik at det blir plass til båndet.

Skrivehodet er har vi så vidt startet på. Mari har oppdaget at hullene i baseplaten er for grunn, slik at skruen som skal inn i disse hullene ikke får plass. Har avtalt å låne en Dremel for å frese unna litt plast for å løse dette problemet. Da vi begynte å se på skrivehodet, oppdaget vi et alvorlig problem. Det varmesikre sparkelen som skal brukes til å holde varmetråden på plass er stivnet. Var ikke klar over at dette er ferskvare, men en forumposting viser at dette er et kjent problem. Det var ikke helt enkelt å finne ut hva "Fire cement" heter på norsk. Mange Google-søk senere var jeg fortsatt like blank. Hadde funnet flere alternativer som kunne fungere, som eksosmonteringspasta, brannfugemasse, klebemørtel for pipe, ildmørtel og ildfast sparkel, men ingen av disse så ut til å være helt riktige for dette bruket. Fire cement håndterer temperaturer opp til 1200 grader celsius, og krever ikke utblanding i vann. Konsulterte, våre venner ved Høgskolen i Halden, og det viste seg at de hadde hatt samme problem. De hadde besøkt en peisbutikk og kjøpt ildfast sparkel. Jeg sjekket med Maxbo, og de hadde noe slikt som het ovnskitt, og det ser ut til å være det norske navnet på det jeg er ute etter. Dro så innom Clas Olsson (som er nærmere meg enn Maxbo), og kjøpte Stovex ovnskitt, og er nå klar til å lage varmeelement til skrivehodet. Like før jeg dro ut for å kjøpe ovnskitt, fant jeg en reprap-blogpost som fortalte om et bedre vidundermiddel for å lage varmeelement, Kapton tape, men dette hadde de ikke på Clas Olsson, så det får bli til neste gang. En reprap-variant ved navn Plastruder MK3 kommer til å bruke denne plasttypen som håndterer temperaturer mellom -100 og +400 grader og brukes av astronautene for å tette drakten.

Tags: 3d-printer, norsk, nuug, reprap.
Fransk idiotlovforslag hinker gjennom parlamentet
10th April 2009

Dagbladet melder at det franske idiotforslaget om å kutte Internet-forbindelsen til alle som blir anklaget for å ha brutt opphavsretten 3 ganger ble nedstemt i dag med 21 mot 15 stemmer. Vinklingen i Dagbladet er litt merkelig når en vet at det samme forslaget ble vedtatt i parlamentets andre kammer med 12 mot 4 stemmer, etter at det overraskende ble foreslått å ta saken opp til votering 22:45 sist torsdag, etter sigende i strid med vanlige rutiner i det franske parlamentet.

Det hele blir ennå mer komisk når et vet at presidentens parti er blitt anklaget for å ha brutt opphavsretten. Mon tro om partet skal miste internet-forbindelsen hvis de får 2 anklager til rettet mot seg.

Tags: norsk, nuug, personvern.
Recording video from cron using VLC
5th April 2009

One think I have wanted to figure out for a along time is how to run vlc from cron to do recording of video streams on the net. The task is trivial with mplayer, but I do not really trust the security of mplayer (it crashes too often on strange input), and thus prefer vlc. I finally found a way to do it today. I spent an hour or so searching the web for recipes and reading the documentation. The hardest part was to get rid of the GUI window, but after finding the dummy interface, the command line finally presented itself:

URL=http://www.ping.uio.no/video/rms-oslo_2009.ogg
SAVEFILE=rms.ogg
DISPLAY= vlc -q $URL \
  --sout="#duplicate{dst=std{access=file,url='$SAVEFILE'},dst=nodisplay}" \
  --intf=dummy

The command stream the URL and store it in the SAVEFILE by duplicating the output stream to "nodisplay" and the file, using the dummy interface. The dummy interface and the nodisplay output make sure no X interface is needed.

The cron job then need to start this job with the appropriate URL and file name to save, sleep for the duration wanted, and then kill the vlc process with SIGTERM. Here is a complete script vlc-record to use from at or cron:

#!/bin/sh
set -e
URL="$1"
SAVEFILE="$2"
DURATION="$3"
DISPLAY= vlc -q "$URL" \
  --sout="#duplicate{dst=std{access=file,url='$SAVEFILE'},dst=nodisplay}" \
  --intf=dummy < /dev/null > /dev/null 2>&1 &
pid=$!
sleep $DURATION
kill $pid
wait $pid
Tags: english, nuug, video.
Standardize on protocols and formats, not vendors and applications
30th March 2009

Where I work at the University of Oslo, one decision stand out as a very good one to form a long lived computer infrastructure. It is the simple one, lost by many in todays computer industry: Standardize on open network protocols and open exchange/storage formats, not applications. Applications come and go, while protocols and files tend to stay, and thus one want to make it easy to change application and vendor, while avoiding conversion costs and locking users to a specific platform or application.

This approach make it possible to replace the client applications independently of the server applications. One can even allow users to use several different applications as long as they handle the selected protocol and format. In the normal case, only one client application is recommended and users only get help if they choose to use this application, but those that want to deviate from the easy path are not blocked from doing so.

It also allow us to replace the server side without forcing the users to replace their applications, and thus allow us to select the best server implementation at any moment, when scale and resouce requirements change.

I strongly recommend standardizing - on open network protocols and open formats, but I would never recommend standardizing on a single application that do not use open network protocol or open formats.

Tags: debian, english, nuug, standard.
Returning from Skolelinux developer gathering
29th March 2009

I'm sitting on the train going home from this weekends Debian Edu/Skolelinux development gathering. I got a bit done tuning the desktop, and looked into the dynamic service location protocol implementation avahi. It look like it could be useful for us. Almost 30 people participated, and I believe it was a great environment to get to know the Skolelinux system. Walter Bender, involved in the development of the Sugar educational platform, presented his stuff and also helped me improve my OLPC installation. He also showed me that his Turtle Art application can be used in standalone mode, and we agreed that I would help getting it packaged for Debian. As a standalone application it would be great for Debian Edu. We also tried to get the video conferencing working with two OLPCs, but that proved to be too hard for us. The application seem to need more work before it is ready for me. I look forward to getting home and relax now. :)

Tags: debian, debian edu, english, nuug.
Time for new LDAP schemas replacing RFC 2307?
29th March 2009

The state of standardized LDAP schemas on Linux is far from optimal. There is RFC 2307 documenting one way to store NIS maps in LDAP, and a modified version of this normally called RFC 2307bis, with some modifications to be compatible with Active Directory. The RFC specification handle the content of a lot of system databases, but do not handle DNS zones and DHCP configuration.

In Debian Edu/Skolelinux, we would like to store information about users, SMB clients/hosts, filegroups, netgroups (users and hosts), DHCP and DNS configuration, and LTSP configuration in LDAP. These objects have a lot in common, but with the current LDAP schemas it is not possible to have one object per entity. For example, one need to have at least three LDAP objects for a given computer, one with the SMB related stuff, one with DNS information and another with DHCP information. The schemas provided for DNS and DHCP are impossible to combine into one LDAP object. In addition, it is impossible to implement quick queries for netgroup membership, because of the way NIS triples are implemented. It just do not scale. I believe it is time for a few RFC specifications to cleam up this mess.

I would like to have one LDAP object representing each computer in the network, and this object can then keep the SMB (ie host key), DHCP (mac address/name) and DNS (name/IP address) settings in one place. It need to be efficently stored to make sure it scale well.

I would also like to have a quick way to map from a user or computer and to the net group this user or computer is a member.

Active Directory have done a better job than unix heads like myself in this regard, and the unix side need to catch up. Time to start a new IETF work group?

Tags: debian, debian edu, english, ldap, nuug.
Hva er egentlig en åpen standard?
28th March 2009

Jeg møter alle slags interessante mennesker på min vei, og et møte jeg lærte mye av var å treffe på en svært kompetent IT-fyr som benektet ting jeg anser som åpenbart og selvfølgelig når det gjelder standarder. Det var interessant, da det fikk meg til å tenke litt nøyere på hvilke mekanismer som ligger til grunn for at noe oppfattes som en standard. Det hele startet med arbeid rundt integrering av NSS LDAP mot Active Directory, og problemer som oppstår pga. at Active Directory ikke følger LDAP-spesifikasjonen som dokumentert i RFCer fra IETF (konkret, AD returnerer kun et subset av attributter hvis det er mer enn 1500 atributter av en gitt type i et LDAP-objekt, og en må be om resten i bolker av 1500). Jeg hevdet måten dette ble gjort på brøt med LDAP-spesifikasjonen, og henviste til hvor i LDAP-spesifikasjonen fra IETF det sto at oppførselen til AD ikke fulgte LDAP-spesifikasjonen. AD-spesialisten overrasket meg da ved å fortelle at IETF var ikke de som definerte LDAP-spesifikasjonen, og at Active Directory ikke brøt den virkelige LDAP-spesifikasjonen som han mente lå til grunn. Jeg ble spesielt overrasket over denne tilnærmingen til problemstillingen, da til og med Microsoft så vidt jeg kan se anerkjenner IETF som organisasjonen som definerer LDAP-spesifikasjonen. Jeg fikk aldri spurt hvem han mente sto bak den egentlige LDAP-spesifikasjonen, da det var irrelevant for problemet vi måtte løse (få Linux og AD til å fungere sammen). Dette møtet fortalte meg uansett at det ikke er gitt at alle aktører er enige om hva en standard er, og hva som er kilden til en gitt standard. Det er vanskelig å enes om felles standarder før en først enes om hvem som bestemmer hva en gitt standard innebærer.

Hva er så en standard? I sin abstrakte form er det noe å samles om. På engelsk er en av betydningene fane brukt i krig, du vet, den type fane en samlet seg rundt på kamplassen i riddertiden. En standard definerer altså et felleskap, noen som har noe felles. Det er naturligvis mange måter å utgjøre et felleskap på. En kan f.eks. enes om å gjøre alt slik som Ole gjør det, og dermed si at Oles oppførsel er standard. Hver gang Ole endrer oppførsel endrer også standarden seg uten noe mer organisering og prosedyre. En variant av dette er å gjøre slik som Ole har gjort det i stedet for slik Ole til enhver til gjør noe. Dette er ofte litt enklere å forholde seg til, da en slipper å sjekke med Ole hver gang for å vite hvordan ting skal gjøres nå, men hvis det Ole gjorde noe dumt den gang en bestemte seg for å følge Ole, så er det vanskeligere å få endret oppførsel for å unngå dette dumme.

En kan også ta det et skritt videre, og istedet for å basere seg på enkeltpersoners oppførsel sette seg ned og bli enige om hvordan en skal gjøre ting, dvs. lage et felleskap basert på konsensus. Dette tar naturligvis litt mer tid (en må diskutere ting i forkant før en kan sette igang), men det kan bidra til at den oppførselen en planlegger å benytte seg av er mer gjennomtenkt. Det ender også typisk opp med en beskrivelse av ønsket oppførsel som flere kan forstå - da flere har vært involvert i å utarbeide beskrivelsen.

Dette er dessverre ikke alt som trengs for å forstå hva en åpen standard er for noe. Der alle kan se på hvordan folk oppfører seg, og dermed har valget om de vil oppføre seg likt eller ikke, så er det endel juridiske faktorer som gjør det hele mer komplisert - opphavsretten og patentlovgivningen for å være helt konkret. For å gi et eksempel. Hvis noen blir enige om å alltid plystre en bestemt melodi når de møtes, for å identifisere hverandre, så kan opphavsretten brukes til å styre hvem som får lov til å gjøre dette. De har standardisert hvordan de kjenner igjen alle som følger denne standarden, men ikke alle har nødvendigvis lov til å følge den. Musikk er opphavsrettsbeskyttet, og fremføring av musikk i offentligheten er opphavsmannens enerett (dvs. et monopol). Det vil i sin ytterste konsekvens si at alle som skal plystre en opphavsrettsbeskyttet melodi i det offentlige rom må ha godkjenning fra opphavsmannen. Har en ikke dette, så bryter en loven og kan straffes. Det er dermed mulig for opphavsmannen å kontrollere hvem som får lov til å benytte seg av denne standarden. En annen variant er hvis en standard er dokumentert, så er dokumentet som definerer standarden (spesifikasjonen) beskyttet av opphavsretten, og det er dermed mulig for rettighetsinnehaver å begrense tilgang til spesifikasjonen, og slik styre hvem som kan ta i bruk standarden på den måten.

Der opphavsretten innvilger et monopol på kunstneriske uttrykk med verkshøyde, innvilger patentlovgivningen monopol på ideer. Hvis en slik patentert idé (fortrinnsvis uttrykt i en teknisk innretning, men det er kompliserende faktorer som gjør at det ikke er et krav) trengs for å ta i bruk en standard, så vil den som innehar patent kunne styre hvem som får ta i bruk standarden. Det er dermed ikke gitt at alle kan delta i et standard-felleskap, og hvis de kan delta, så er det ikke sikkert at det er på like vilkår. F.eks. kan rettighetsinnehaver sette vilkår som gjør at noen faller utenfor, det være seg av finansielle, avtalemessige eller prinsipielle årsaker. Vanlige slike vilkår er "må betale litt for hver kunde/bruker" som utelukker de som gir bort en løsning gratis og "må gi fra seg retten til å håndheve sine egne patentrettigheter ovenfor rettighetshaver" som utelukker alle som ønsker å beholde den muligheten.

En åpen standard innebærer for meg at alle kan få innsikt i en komplett beskrivelse av oppførsel som standarden skal dekke, og at ingen kan nektes å benytte seg av standarden. Noen mener at det holder at alle med tilstrekkelig finansiering kan få tilgang til spesifikasjonen og at en kun har finansielle krav til bruk. Pga. denne konflikten har et nytt begrep spredt seg de siste årene, nemlig fri og åpen standard, der en har gjort det klart at alle må ha komplett og lik tilgang til spesifikasjoner og retten til å gjøre bruk av en standard for at en standard skal kunne kalles fri og åpen.

Tags: norsk, nuug, standard.
Første reprap-integreringsforsøk - Z-aksen beveger seg
19th March 2009

I går tok jeg mot til meg, og løste problemet med z-aksen ved å borre i delen som manglet feste mot tannjulet som skal drive z-aksereimen. Dermed var det klart for å montere z-akse-akslingen på motoren og komme et steg videre med reprap-monteringen. Prøvekjørte den i dag med testprogrammet til stepmotoren, og kunne glad konstatere at det hele fungerte. I hvert fall når stepmotoren ikke forsøkte å snurre for raskt rundt. Ved høy hastighet roterte ikke akslingen i det hele tatt. Motoren ble bare stående å vibrere. Usikker på hvorfor, men antar motoren ikke har nok kraft til å få hele akslingen til å rotere så raskt. Denne øvelsen avslørte dog et annet problem med monteringen så langt. Under testingen begynte skruer og muttere å ry ned fra ulike deler av reprap-konstruksjonen. Jeg har ikke skrudd alt hard nok sammen til å tåle slike vibrasjoner. Tror en 5-6 skruver og/eller muttere løsnet. Brukte ganske lang tid på å finne ut hvor det manglet deler og skru ting sammen igjen. Antar alt må strammes skikkelig til før første utskrift.

Neste steg er å få laget z-aksebåndet. Der trenger jeg egnet lim og en konstruksjon for å klemme bandet sammen under limingen, som beskrevet på reprap-wikien. Er blitt tipset om svart superlim som er elastisk også etter at det tørket, og dro ned til Small Size Hobbyland på Lilletorget som skulle ha slikt, men da jeg var innom fikk jeg høre at de ikke lenger hadde slikt lim. Må finne ut hvor i Oslo jeg kan skaffe slikt. Kanskje Panduro har? Vet ikke hva limet egentlig heter, så det er vanskelig å søke på nett.

Tags: 3d-printer, norsk, nuug, reprap.
Avisene i endring
15th March 2009

Jeg kom over bloggposten "Newspapers and Thinking the Unthinkable" som jeg synes forklarer godt hva som skjer med aviser, og fikk meg til å tenke litt rundt andre utdøende forretningsmodeller basert på å løse problemer som ikke lenger eksisterer. Det blir spennende å se hva vi ender opp med.

Tags: norsk, nuug.
Testing av reprap-elektronikken igang
12th March 2009

Lenge siden det var en oppdatering av status for min 3D-skriver og i mellomtiden har det skjedd en god del. Reprap-en er nesten ferdig montert, og elektronikken er også nesten ferdig loddet. Det ser ut til at bits-from-bytes sitt byggesett versjon 2.01 hadde noen småfeil, der en del manglet og en annen hadde suboptimalt design. Jeg løser antagelig det ene problemet med å borre noen ekstra hull til skruver i en plastdelen som trenger å festes. Det andre problemet håper jeg å få hjelp fra Audun Vaaler ved Høgskolen i Østfold til å løse. Høgskolen er igang med å bygge en tilsvarende reprap i versjon 2.0, og er kommet litt lenger enn meg. De kan forhåpentligvis skrive ut den delen jeg mangler på denne.

Når det gjelder elektronikken, så er mye allerede loddet sammen av min venn Anders Rosnes, som har mer peiling på elektronikk og lodding enn meg. Jeg fikk i dag testet stepper motordriveren (v1.1), og det fungerte. Jeg møtte et lite problem med strømforsyningen, en standard ATX-strømforsyning som nektet å fungere før jeg hadde satt en ledning mellom GRD og PS_ON som beskrevet på reprap-sidene om PC-strømforsyninger. Jeg møtte også et annet problem med Arduino-programvaren. Versjon 0013 fungerer visst ikke på Debian/Etch. Den kompilerte binæren ble på 0 bytes. En side jeg fant vha. et Google-søk tipset meg om at en nedgradering til versjon 0012 kunne løse problemet, og endelig ser jeg motorakslingen snurre. Nå er det å koble sammen mekanikk og elektronikk for å se om reprap-en kvikner til.

Tags: 3d-printer, norsk, nuug, reprap.
Frikanalen og jul i studentrådet
11th March 2009

I går lanserte NUUGs videogruppe Frikanalen med åpne standarder, og resultatet av noen intense uker med arbeide kunne endelig presenteres. Jeg har tro på åpen kanalkonseptet som Frikanalen er et eksempel på, der borgerne får anledning til å kringkaste sitt syn på en åpen og demokratisk måte. Jeg er veldig glad vi har fått gjort kanalen tilgjengelig i Ogg Theora, slik at alle kan få tilgang til opptakene på web, og slipper å måtte installere MS Silverlight for å spille av opptakene.

Frikanalen har en brokete historie, og dagens inkarnasjon er ikke helt slik foreningen Åpen kanal planla det for mange år siden, noe som er bakgrunnen for at det fredag 13. mars 2009 kl 09:00 starter en rettsak i Oslo tingrett der Kringkasterforeningen (tidligere foreningen Åpen kanal) har saksøkt kulturdepartementet over konsesjonsvilkårene til Frikanalen. Jeg er spent på resultatet.

I arbeidet med Frikanalen med åpne standarder, så har vi hatt glede av å se en rekke av innslagene som er tilgjengelig. Her er mye religiøst sludder, fra vandring i jerusalem via religiøst vinklede nyheter til kreasjonisk retorikk, men også fine dokumentarer om redningsselskapet og interessante tegneserieanmeldelser. Det jeg derimot har hatt størst glede av, er jul i studentrådet, der hver episode var en fest å se på. Jeg håper NUUG lykkes med å få ut sine opptak med like stor suksess.

Tags: frikanalen, norsk, nuug, video.
Lisensvalg for NUUG-opptakene endelig på plass
6th March 2009

Etter mange års meditasjon over temaet, har NUUG endelig klart å bestemme seg for hvilken lisens vi skal bruke på videoopptakene som gjøres av NUUGs videogruppe. Ole Kristian har annonsert at lisensen blir Creative Commons Navngivelse-Del på samme vilkår 3.0 Norge. Jeg er veldig glad for at denne saken endelig er landet. Lisensen for opptaket til Stallman-foredraget ble en annen pga. at lisensvalget ikke var avklart på forhånd og IFI og PING ønsket CC-BY-ND, og må ses på som et unntak i denne sammenhengen.

Tags: norsk, nuug, video.
Teknisk program for Go Open 2009 er nesten ferdig
5th March 2009

Etter lang tids jobbing begynner endelig programmet til det tekniske sporet på konferansen Go Open 2009 å bli ferdig. Det blir 9 punkter på programmet, og etter alt å dømme blir det disse 9:

De siste bekreftelsene og overskrifter mangler og kommer forhåpentlig på plass før mandag, men jeg håper dette blir et program flere enn meg vil sette pris på. Jeg gleder meg i hvert fall stort.

Tags: norsk, nuug.
Checking server hardware support status for Dell, HP and IBM servers
28th February 2009

At work, we have a few hundred Linux servers, and with that amount of hardware it is important to keep track of when the hardware support contract expire for each server. We have a machine (and service) register, which until recently did not contain much useful besides the machine room location and contact information for the system owner for each machine. To make it easier for us to track support contract status, I've recently spent time on extending the machine register to include information about when the support contract expire, and to tag machines with expired contracts to make it easy to get a list of such machines. I extended a perl script already being used to import information about machines into the register, to also do some screen scraping off the sites of Dell, HP and IBM (our majority of machines are from these vendors), and automatically check the support status for the relevant machines. This make the support status information easily available and I hope it will make it easier for the computer owner to know when to get new hardware or renew the support contract. The result of this work documented that 27% of the machines in the registry is without a support contract, and made it very easy to find them. 27% might seem like a lot, but I see it more as the case of us using machines a bit longer than the 3 years a normal support contract last, to have test machines and a platform for less important services. After all, the machines without a contract are working fine at the moment and the lack of contract is only a problem if any of them break down. When that happen, we can either fix it using spare parts from other machines or move the service to another old machine.

I believe the code for screen scraping the Dell site was originally written by Trond Hasle Amundsen, and later adjusted by me and Morten Werner Forsbring. The HP scraping was written by me after reading a nice article in ;login: about how to use WWW::Mechanize, and the IBM scraping was written by me based on the Dell code. I know the HTML parsing could be done using nice libraries, but did not want to introduce more dependencies. This is the current incarnation:

use LWP::Simple;
use POSIX;
use WWW::Mechanize;
use Date::Parse;
[...]
sub get_support_info {
    my ($machine, $model, $serial, $productnumber) = @_;
    my $str;

    if ( $model =~ m/^Dell / ) {
        # fetch website from Dell support
        my $url = "http://support.euro.dell.com/support/topics/topic.aspx/emea/shared/support/my_systems_info/no/details?c=no&cs=nodhs1&l=no&s=dhs&ServiceTag=$serial";
        my $webpage = get($url);
        return undef unless ($webpage);

        my $daysleft = -1;
        my @lines = split(/\n/, $webpage);
        foreach my $line (@lines) {
            next unless ($line =~ m/Beskrivelse/);
            $line =~ s/<[^>]+?>/;/gm;
            $line =~ s/^.+?;(Beskrivelse;)/$1/;

            my @f = split(/\;/, $line);
            @f = @f[13 .. $#f];
            my $lastend = "";
            while ($f[3] eq "DELL") {
                my ($type, $startstr, $endstr, $days) = @f[0, 5, 7, 10];

                my $start = POSIX::strftime("%Y-%m-%d",
                                            localtime(str2time($startstr)));
                my $end = POSIX::strftime("%Y-%m-%d",
                                          localtime(str2time($endstr)));
                $str .= "$type $start -> $end ";
                @f = @f[14 .. $#f];
                $lastend = $end if ($end gt $lastend);
            }
            my $today = POSIX::strftime("%Y-%m-%d", localtime(time));
            tag_machine_unsupported($machine)
                if ($lastend lt $today);
        }
    } elsif ( $model =~ m/^HP / ) {
        my $mech = WWW::Mechanize->new();
        my $url =
            'http://www1.itrc.hp.com/service/ewarranty/warrantyInput.do';
        $mech->get($url);
        my $fields = {
            'BODServiceID' => 'NA',
            'RegisteredPurchaseDate' => '',
            'country' => 'NO',
            'productNumber' => $productnumber,
            'serialNumber1' => $serial,
        };
        $mech->submit_form( form_number => 2,
                            fields      => $fields );
        # Next step is screen scraping
        my $content = $mech->content();

        $content =~ s/<[^>]+?>/;/gm;
        $content =~ s/\s+/ /gm;
        $content =~ s/;\s*;/;;/gm;
        $content =~ s/;[\s;]+/;/gm;

        my $today = POSIX::strftime("%Y-%m-%d", localtime(time));

        while ($content =~ m/;Warranty Type;/) {
            my ($type, $status, $startstr, $stopstr) = $content =~
                m/;Warranty Type;([^;]+);.+?;Status;(\w+);Start Date;([^;]+);End Date;([^;]+);/;
            $content =~ s/^.+?;Warranty Type;//;
            my $start = POSIX::strftime("%Y-%m-%d",
                                        localtime(str2time($startstr)));
            my $end = POSIX::strftime("%Y-%m-%d",
                                      localtime(str2time($stopstr)));

            $str .= "$type ($status) $start -> $end ";

            tag_machine_unsupported($machine)
                if ($end lt $today);
        }
    } elsif ( $model =~ m/^IBM / ) {
        # This code ignore extended support contracts.
        my ($producttype) = $model =~ m/.*-\[(.{4}).+\]-/;
        if ($producttype && $serial) {
            my $content =
                get("http://www-947.ibm.com/systems/support/supportsite.wss/warranty?action=warranty&brandind=5000008&Submit=Submit&type=$producttype&serial=$serial");
            if ($content) {
                $content =~ s/<[^>]+?>/;/gm;
                $content =~ s/\s+/ /gm;
                $content =~ s/;\s*;/;;/gm;
                $content =~ s/;[\s;]+/;/gm;

                $content =~ s/^.+?;Warranty status;//;
                my ($status, $end) = $content =~ m/;Warranty status;([^;]+)\s*;Expiration date;(\S+) ;/;

                $str .= "($status) -> $end ";

                my $today = POSIX::strftime("%Y-%m-%d", localtime(time));
                tag_machine_unsupported($machine)
                    if ($end lt $today);
            }
        }
    }
    return $str;
}

Here are some examples on how to use the function, using fake serial numbers. The information passed in as arguments are fetched from dmidecode.

print get_support_info("hp.host", "HP ProLiant BL460c G1", "1234567890"
                       "447707-B21");
print get_support_info("dell.host", "Dell Inc. PowerEdge 2950", "1234567");
print get_support_info("ibm.host", "IBM eserver xSeries 345 -[867061X]-",
                       "1234567");

I would recommend this approach for tracking support contracts for everyone with more than a few computers to administer. :)

Update 2009-03-06: The IBM page do not include extended support contracts, so it is useless in that case. The original Dell code do not handle extended support contracts either, but has been updated to do so.

Tags: english, nuug.
Using bar codes at a computing center
20th February 2009

At work with the University of Oslo, we have several hundred computers in our computing center. This give us a challenge in tracking the location and cabling of the computers, when they are added, moved and removed. Some times the location register is not updated when a computer is inserted or moved and we then have to search the room for the "missing" computer.

In the last issue of Linux Journal, I came across a project libdmtx to write and read bar code blocks as defined in the The Data Matrix Standard. This is bar codes that can be read with a normal digital camera, for example that on a cell phone, and several such bar codes can be read by libdmtx from one picture. The bar code standard allow up to 2 KiB to be written in the tag. There is another project with a bar code writer written in postscript capable of creating such bar codes, but this was the first time I found a tool to read these bar codes.

It occurred to me that this could be used to tag and track the machines in our computing center. If both racks and computers are tagged this way, we can use a picture of the rack and all its computers to detect the rack location of any computer in that rack. If we do this regularly for the entire room, we will find all locations, and can detect movements and removals.

I decided to test if this would work in practice, and picked a random rack and tagged all the machines with their names. Next, I took pictures with my digital camera, and gave the dmtxread program these JPEG pictures to see how many tags it could read. This worked fairly well. If the pictures was well focused and not taken from the side, all tags in the image could be read. Because of limited space between the racks, I was unable to get a good picture of the entire rack, but could without problem read all tags from a picture covering about half the rack. I had to limit the search time used by dmtxread to 60000 ms to make sure it terminated in a reasonable time frame.

My conclusion is that this could work, and we should probably look at adjusting our computer tagging procedures to use bar codes for easier automatic tracking of computers.

Tags: english, nuug.
Første vellykkede videostrøm fra NUUG
11th February 2009

Jeg ble glad for å se under gårdagens medlemsmøte i NUUG Oslo at utsending av live-video fra møtet fungerte for første gang. Forrige gang ble det ved en teknisk tabbe sendt video uten lyd. Vi kan takke Ole Kristian Lien og resten av videogruppen i NUUG for at nå NUUG-medlemmer over det ganske land kunne se foredraget samtidig med oss i Oslo. Vi opplevde til og med under møtet å motta spørsmål via IRC som ble besvart der og da. Opptaket publiseres så snart det er kopiert over til NUUGs webserver og komprimert.

Tags: norsk, nuug, video.
Min reprap tar sakte form
3rd February 2009

Min reprap begynner å ta form. Den er nå kommet så langt at den er blitt en kubisk ramme. Z-aksen er montert men ikke kalibrert, og det hele er klart for litt enkel testing. Har møtt på to problemer som blokkerer videre montering, men har oppnått kontakt med Audun Vaaler ved Høgskolen i Østfold som forteller at de er nesten ferdig med et tilsvarende byggesett som det jeg tar utgangspunkt i, og håper de kan forklare hvordan de kom rundt problemene. De to problemene er relatert til Z-aksen og Y-aksen.

For Z-aksen, er det et stjernehjul som festes på motoraksen ved tannjulet som driver z-aksebåndet og som skal holde båndet på plass. Problemet med det nederste stjernejulet er at det er helt løst, og blir liggende på motoren 5 mm nedenfor tannjulet, i stedet for å ligge inntil tannjulet slik det skal. Mulig løsningen er å borre i stjernehjulet, eller lime det fast.

For Y-aksen, er det en plastdel som ser ut til å mangle som skulle dekket to skruver som kommer i veien for kraftoverføringsmekanismen fra motoren til selve aksen, slik at mekanismen kan snurre fritt.

Når det gjelder elektronikken til min reprap, så er min gode venn Anders Rosnes igang med å lodde sammen delene og han forteller at koblingsbordet for Arduino er klart, og en temperatursensor og en optoswitch er også klar. Gleder meg til å teste dem. Må bare finne ut hvordan jeg laster opp firmware i Arduino-en. :)

Når det gjelder NUUGs reprap-prosjekt, så er det framgang og Ole Kristian, Tollef og Ketil besøke IFI for å få fortgang i produksjon av plastdeler, og Ole Kristian forteller at han har funnet en kilde til de fleste metalldelene. Gleder meg til å se resultaten av det arbeidet.

Tags: 3d-printer, norsk, nuug, reprap.
Intellektuelt privilegium - et bedre IP-begrep
1st February 2009

Ofte brukes intellektuell eiendom som samlebegrep for opphavsrett, patenter, varemerker og forretningshemmeligheter. Problemet med dette begrepet er at det er svært misvisende. For det første er ingen av de begrensede monopolene det her er snakk om som kan kalles eiendom, og for det andre er egenskapene til de ulike monopolene så forskjellige at det er mer tilslørende enn opplysende å gruppere dem sammen i et sekkebegrep. Blant annet Richard Stallman har skrevet litt om dette.

I dag kom jeg over en bloggpost fra Simon Phipps som foreslår å bruke intellektuelt privilegium som begrep i stedet, da det gjør det klarere at det ikke er snakk om eiendom, men et tidsbegrenset monopol. Simon Phipps forteller videre at noen jobber med å skrive en bok med tittel Intellectual Privilege, og at boken er anbefalt av Lawrence Lessig. Jeg tror jeg skal begynne å bruke begrepet intellektuelt privilegium når jeg snakker om opphavsrett, patenter, varemerker og forretningshemmeligheter framover.

Tags: norsk, nuug.
Fri og åpen standard, slik Digistan ser det
31st January 2009

Det er mange ulike definisjoner om hva en åpen standard er for noe, og NUUG hadde en pressemelding om dette sommeren 2005. Der ble definisjonen til DKUUG, EU-kommissionens European Interoperability Framework ( side 9) og teknologirådet omtalt.

Siden den gang har regjeringens standardiseringsråd dukket opp, og de ser ut til å har tatt utgangspunkt i EU-kommisjonens definisjon i sin arbeidsmetodikk. Personlig synes jeg det er en god ide, da kravene som stilles der gjør at alle markedsaktører får like vilkår, noe som kommer kundene til gode ved hjelp av økt konkurranse.

I sommer kom det en ny definisjon på banen. Digistan lanserte en definisjon på en fri og åpen standard. Jeg liker måten de bryter ut av diskusjonen om hva som kreves for å kalle noe en åpen standard ved å legge på et ord og poengtere at en standard som er både åpen og fri har noen spesielle krav. Her er den definisjonen etter rask oversettelse fra engelsk til norsk av meg:

Definisjonen av en fri og åpen standard

Den digitale standardorganisasjonen definierer fri og åpen standard som følger:

  • En fri og åpen standard er immun for leverandørinnlåsing i alle stadier av dens livssyklus. Immuniteten fra leverandørinnlåsing gjør det mulig å fritt bruke, forbedre, stole på og utvide en standard over tid.
  • Standarden er adoptert og vil bli vedlikeholdt av en ikke-kommersiell organisasjon, og dens pågående utvikling gjøres med en åpen beslutningsprosedyre som er tilgjengelig for alle som er interessert i å delta.
  • Standarden er publisert og spesifikasjonsdokumentet er fritt tilgjengelig. Det må være tillatt for alle å kopiere, distribuere og bruke den uten begresninger.
  • Patentene som muligens gjelder (deler av) standarden er gjort ugjenkallelig tilgjengelig uten krav om betaling.
  • Det er ingen begresninger i gjenbruk av standarden.

Det økonomiske resultatet av en fri og åpen standard, som kan måles, er at det muliggjør perfekt konkurranse mellom leverandører av produkter basert på standarden.

(Tar gjerne imot forbedringer av oversettelsen.)

Tags: digistan, norsk, nuug, standard.
Transendentalt tullball og en funksjonell tilnærming
24th January 2009

Kom over en bloggpost fra Daniel Kahn Gillmor som forteller at Eben Moglen, juridisk rådgiver for FSF og stifteren av Software Fredom Law Center, i sitt kurs har referert Felix Cohen sin artikkel Trancendental Nonsense and the Functional Approach fra 1935. Det må jeg si var svært interessant for å forstå hvordan og hvorfor immaterialretten har utvidet sitt virkeområde og hvor lenge det har pågått.

Innlegget minner meg på en presentasjon jeg overvar på Debconf 7 om hvordan innføring og utvidelse av opphavsretten ble debattert på 1700-tallet. Anbefaler å se den presentasjonen som er tilgjengelig på video i lav og høy oppløsning.

Tags: norsk, nuug.
ODF-bruk i staten, ikke helt på plass
22nd January 2009

I går publiserte Universitas, Dagens-IT og Computerworld Norge en sak om at de ansatte ved Universitetet i Oslo ikke følger regjeringens pålegg om å publisere i HTML, PDF eller ODF. Det er bra at det kommer litt fokus på dette, og jeg håper noen journalister tar en titt på de andre statlige instansene også.

Skulle ønske det var en enkel måte å sjekke om ODF-dokumenter er i henholdt til ODF-spesifikasjonen, og en måte å teste om programmer som hevder å støtte ODF forstår alle delene av ODF-spesifikasjonen. Kjenner kun til ufullstendige løsninger for slikt.

Tags: norsk, nuug, standard.
Det vanskelige Lisensvalget - ikke lag din egen
22nd January 2009

Min mormor har intet dypt forhold til opphavsrettsloven. Hun eier ingen kopimaskin eller datamaskin. Hun kan ikke bruke videoopptaker, og er generelt sjelden i en situasjon der hun kunne tenkes å kopiere noe som er opphavsrettslig vernet. Da jeg en gang forklarte at jeg var involvert i OpenStreetmap-prosjektet (hun lurte på hvorfor jeg kjørte rundt i nabolaget med GPS), var "hvorfor ikke bruke de offisielle kartene fra kartverket " det første hun spurte om. Jeg er usikker på om svaret ga mening, i og med at hun aldri har tenkt nøye over bruksrettigheter og slikt. Hva skulle hun med retten til videredistribusjon av nye kartkopier, som ikke kopierer kart? Hva skulle hun med retten til å publisere endrede utgaver som aldri har hatt behov for annet enn å notere litt på en kartkopi? Det er altså mulig å gå igjennom livet (og det har vært et langt og innholdsrikt liv for min mormor) uten å forholde seg til opphavsrettsloven.

Andre igjen trenger solid kunnskap om konsekvensene av paragrafene i opphavsrettsloven i sitt daglige virke, men har av ulike årsaker ikke satt seg nøye inn i lovens konsekvens. Denne teksten er tiltenkt slike lesere.

Når en publiserer programvare eller annet opphavsrettsbeskyttet materiale (eller "verk" som loven kaller det), så er det endel ting som er lurt å tenke på. Hvis en ikke sier noe spesifikt om vilkårene for publiseringen, så er det opphavsrettens grunnregler som gjelder. De sier blant annet at ingen andre enn rettighetshaver kan publisere, kopiere og endre verket. Hvis en ønsker å publisere noe uten bruksbegrensninger for mottaker (f.eks. fri programvare eller fritt tilgjengelige data), så må en altså eksplisitt gi tillatelse for andre til å gjøre disse tingene. Slike eksplisitte tillatelser kalles gjerne lisenser. Det er en god del å tenke på når en lager lisenser, og det er enkelt å gjøre feil, slik at lisensen ikke uttrykker intensjonen med publiseringen. Det er derfor lurt å gjenbruke en eksisterende lisenstekst hvis det er mulig.

Av flere årsaker er det lurt å ikke finne på sin egen lisenstekst. For det første gir det jobb for de som ønsker å bruke verket å sette seg inn i, forstå og vurdere hver enkelt lisens, for å finne ut om den dekker bruksbehovet. Hver ny lisensvariant gir dermed ekstra arbeide for de organisasjoner og individer som vurderer å ta i bruk et opphavsrettsbeskyttet verk. Gjenbruk forutsetter gjerne bruk sammen med andre verk, f.eks. programmer og biblioteker skal settes sammen til et hele, eller datafiler skal brukes sammen med programmer. Det er fort gjort å lage en hjemmesnekret lisens som ikke tillater bruk sammen med andre komponenter hvis en ikke er påpasselig med utformingen av lisensen (såkalte inkompatible lisenser), spesielt hvis det ikke er intensjonen ved publisering. Og for det andre, så er det fort gjort å glemme noe når en lager lisensteksten, slik at rettigheter en ønsket å gi til brukerne ikke blir nevnt og lovens begresninger gjelder.. Første regel ved lisensvalg er derfor å unngå å lage sin egen, men forsøke så langt som mulig å bruke en av de utallige eksisterende lisensene.

Et lite eksempel på problemer som kan oppstå er betingelsene som Meteorologisk institutt har gjort sine data tilgjengelig under. De ser pr. i dag slik ut (kopiert hit for å sikre at framtidige lesere kjenner innholdet hvis de endres):

Betingelser for bruk av data
Meteorologisk institutt innehar immaterielle- og eiendomsrettigheter til data og produkter produsert av instituttet (heretter omtalt som PRODUKTER/PRODUKTENE). Selv om et utvalg PRODUKTER er tilgjengelige her for nedlasting og bruk, medfører ikke dette på noen måte overdragelse av disse rettighetene. PRODUKTENE kan brukes til ethvert formål som ikke er i strid med norsk lov. Dersom PRODUKTENE videreformidles i opprinnelig form eller i en form hvor de opprinnelige PRODUKTENE utgjør en vesentlig og/eller en lett gjenkjennelig del, skal Meteorologisk institutt oppgies som kilde. Dette må gjøres på en godt synlig måte. Meteorologisk institutt kan ikke holdes ansvarlig for eventuelle konsekvenser av bruken av PRODUKTENE. Meteorologisk institutt garanterer ikke regelmessighet i oppdateringen av PRODUKTENE, og endringer i PRODUKTENE kan forekomme uten varsel. For direkte leveranse av spesifisert produktsett, vennligst kontakt Meteorologisk institutt.

Meteorologisk institutt hevder at dette skal gjøre dem "fritt tilgjengelige", og det gjør at jeg mistenker at betingelsene ikke reflekterer intensjonen bak publiseringen. I lisensen står det ikke at en har rett til å endre dataene og publisere det endrede resultatet. Det står heller ingenting om hvorvidt en har rett til videredistribusjon. Mangelen på tillatelse til slik bruk gjør at jeg ikke ville omtale datagrunnlaget som fritt tilgjengelig. Det er i strid med kriteriene for Free Software publisert av FSF, Debian Free Software Guidelines og NUUGs beskrivelse av fri programvare publisert i NUUGs folder om dette. Jeg lurer på hvorfor Meteorologisk institutt ikke valgte noen kjent lisens? Skulle tro at en Creative Commons-lisens eller en av de mest brukte fri programvarelisensene som GPL og BSD kunne duge. Jeg håper Meteorologisk institutt revurderer og endrer på betingelsene.

Oppdatering 2014-04-23: Meteorologisk institutt har siden jeg skrev denne teksten endret sine bruksvilkår for datasettet til Creative Commons Navngivelse 3.0 Norge eller Norsk lisens for offentlige data etter eget valg, hvilket er et langt steg fremover i og med at de har sluttet å bruke sin egenlagde lisens, men jeg lurer litt på hvor gjennomtenkt valget er, gitt at datasettet jo er vernet etter databaserettighetene i åndsverklovens § 43, og den aktuelle Creative Commons-lisensen jo inneholder «Dersom lisensgiver innehar databaserettigheter eller lignende i henhold til åndsverklovens § 43 og EUs databasedirektiv, fraskriver lisensgiver seg disse rettigheter», hvilket jo vil si at en har frasagt seg alle rettigheter til datasettet når det ikke er et verk men en database.

Tags: norsk, nuug, opphavsrett.
When web browser developers make a video player...
17th January 2009

As part of the work we do in NUUG to publish video recordings of our monthly presentations, we provide a page with embedded video for easy access to the recording. Putting a good set of HTML tags together to get working embedded video in all browsers and across all operating systems is not easy. I hope this will become easier when the <video> tag is implemented in all browsers, but I am not sure. We provide the recordings in several formats, MPEG1, Ogg Theora, H.264 and Quicktime, and want the browser/media plugin to pick one it support and use it to play the recording, using whatever embed mechanism the browser understand. There is at least four different tags to use for this, the new HTML5 <video> tag, the <object> tag, the <embed> tag and the <applet> tag. All of these take a lot of options, and finding the best options is a major challenge.

I just tested the experimental Opera browser available from labs.opera.com, to see how it handled a <video> tag with a few video sources and no extra attributes. I was not very impressed. The browser start by fetching a picture from the video stream. Not sure if it is the first frame, but it is definitely very early in the recording. So far, so good. Next, instead of streaming the 76 MiB video file, it start to download all of it, but do not start to play the video. This mean I have to wait for several minutes for the downloading to finish. When the download is done, the playing of the video do not start! Waiting for the download, but I do not get to see the video? Some testing later, I discover that I have to add the controls="true" attribute to be able to get a play button to pres to start the video. Adding autoplay="true" did not help. I sure hope this is a misfeature of the test version of Opera, and that future implementations of the <video> tag will stream recordings by default, or at least start playing when the download is done.

The test page I used (since changed to add more attributes) is available from the nuug site. Will have to test it with the new Firefox too.

In the test process, I discovered a missing feature. I was unable to find a way to get the URL of the playing video out of Opera, so I am not quite sure it picked the Ogg Theora version of the video. I sure hope it was using the announced Ogg Theora support. :)

Tags: english, h264, multimedia, nuug, video, web.
Fiksgatami begynner å ta form
15th January 2009

For noen uker siden bestemte noen av oss seg for at det var på tide med en norsk utgave av FixMyStreet, og satte igang et prosjekt i NUUG-regi. Konseptet er å gjøre det enklere å rapportere til rette instans om ting som er galt i offentligheten, ved å bruke kart og web. En testinstans er på plass på en maskin donert av min arbeidsplass USIT ved Universitetet i Oslo, og den begynner så smått å fungere. Det gjenstår å fullføre støtten for norsk språk, bytte ut kartet og finne kilde for å slå opp adresser før første versjon er operativ. Når den er operativ, håper vi å forbedre utseendet litt, samt legge til ny funksjonalitet. Prosjektet trenger flere folk, både utviklere og folk til å bidra med å finne ut hvor feilene som rapporteres skal sendes videre. Vi har kommet i kontakt med naturvernmiljøet i Bergen som allerede var igang med lignende planer, og det ser ut til at vi kan slå våre pjalter sammen med dem. Dette blir bra.

Tags: fiksgatami, norsk, nuug.
Elektronikkbyggesettet kommer fram på andre forsøk
2nd January 2009

Et langt hopp fremover for NUUGs replikator-prosjekt i dag.

I dag klarte posten det de ikke klarte før jul, nemlig å få fram elektronikkbyggesettet for 3D-skriveren min. Fikk pakkelapp i dag som sist, og dro til min lokale post-i-butikk for å hente pakken. Ingen pakke der, som sist. Ringte så direkte til til postens kundeservice som fortalte at de hadde snakket med min lokale post-i-butikk, og nå lå pakken der. Ruslet så tilbake og nå fant de den. Fikk inntrykk av at pakken hadde annet referansenummer enn det som var på utleveringsbilaget jeg hadde fått i posten. Lurer på om det samme skjedde sist, og om pakken også da lå her og ventet på meg uten at posten klarte å gi meg den ved oppmøte. Uansett, glad og lykkelig ruslet jeg hjem igjen med elektronikkbyggesettet.

Da er det bare å gå igang med å lodde sammen alle kretskortene. Det er en solid stabel deler, selv om esken ikke var så stor (ca 20x20x20 cm). Her skal min gode venn Anders hjelpe til. Han er fysikker og jobber med elektronikk til daglig, og har sagt ja til å bidra med sin kompetanse. :)

Ellers er det god framgang med bygging av mekanikksettet som ankom før jul. Har brukt romjulen til å bygge, og er ferdig med alle hjørnestykkene, Z-aksene og i gang med delene til Y-aksen. Når siste del av Y-aksen er ferdig kan det hele monteres sammen med stag slik at rammeverket til reprap-en kan monteres. Det blir interessant å få alt nøyaktig nok montert. Z-aksen skal ha festene til utskriftsplaten i samme høyde innenfor en feilmargin på 0.25 mm, over en avstand på 40 cm. Håper vater kan bidra her. Regner med at det blir enklere å komme opp med løsninger når rammen begynner å ta form.

Her om dagen kom jeg forresten over en alternativ 3D-skriver som ikke skriver ut plastikk, men i stedet bruker papir, kniv og lim. Mcor Matrix heter vidunderet, men det er ikke i salg ennå, selv om produsentens websider påstår det skulle skje i 2008.

Tags: 3d-printer, norsk, nuug, reprap.
Software video mixer on a USB stick
28th December 2008

The Norwegian Unix User Group is recording our montly presentation on video, and recently we have worked on improving the quality of the recordings by mixing the slides directly with the video stream. For this, we use the dvswitch package from the Debian video team. As this require quite one computer per video source, and NUUG do not have enough laptops available, we need to borrow laptops. And to avoid having to install extra software on these borrwed laptops, I have wrapped up all the programs needed on a bootable USB stick. The software required is dvswitch with assosiated source, sink and mixer applications and dvgrab. To allow this setup to work without any configuration, I've patched dvswitch to use avahi to connect the various parts together. And to allow us to use laptops without firewire plugs, I upgraded dvgrab to the one from Debian/unstable to get one that work with USB sources. We have not yet tested this setup in a production setup, but I hope it will work properly, and allow us to set up a video mixer in a very short time frame. We will need it for Go Open 2009.

The USB image is for a 1 GB memory stick, but can be used on any larger stick as well.

Tags: english, nuug, video.
FAD lanserer reiseregningsskjema som fri programvare
17th December 2008

Jeg overvar i dag FADs pressepresentasjon av arbeidet med ny programvare for skriving av reiseregninger, som de gir ut som fri programvare. Den gode nyheten er at FAD med dette prosjektet demonstrerer vilje til å gå foran i å etablere en delingskultur i offentlig sektor, og denne gang har hatt fokus på å lage en løsning som fungerer på flere platformer, konkret Linux, MacOS X og Windows. Løsningen er utviklet av Making Waves på oppdrag fra FAD, og kildekoden er tilgjengelig fra CodeResort. En får lesetilgang til kode og dokumentasjon uten å registrere seg, men må registrere seg for f.eks. å melde inn feil og skrive i wikien. FAD håper å få erfaring med fri programvareprosjekter vha. dette prosjektet, som er første gang de gir ut kildekode fra et "egenutviklet" prosjekt.

Løsningen er BSD-lisensiert, og basert på Adobe Flash, konkret Adobe Flex. Den bruker Flash 9, og fungerer ikke med Gnash. I tillegg til at selve flash-binæren ikke fungerer med Gnash, så er det lagt JavaScript-kode foran web-programmet som nekter å starte flash-programmet hvis ikke Adobe Flash 9 er installert. Det var irriterende, og jeg måtte hente ut URL til Flash-binæren fra HTML-siden og lage min egen testside for å sjekke om den fungerte med gnash. Fikk bare en blank flate der programmet skulle startet. Laget en side med følgende HTML-snutt for å laste programmet

<object data="http://213.225.125.209/kunder/dss/Reiseregningen.swf" width="100%" height="100%" >

Bruken av Adobe Flash er spesielt problematisk da Adobes Flash-utgave har en lisens som ikke tillater andre en Adobe å distribuere deres programpakke. Det gjør det umulig for linux-distribusjoner som Debian, Ubuntu og RedHat å legge ved Adobes Flash i sine distribusjoner. Adobe Flash er ikke fri programvare. Det finnes noen ikke-komplette Flash-implementasjoner som er fri programvare, som Gnash og swfdec. Jeg spurte utviklerne om de hadde testet med alternative utgaver av Flash som Gnash og swfdec, men utviklerne hadde ikke hørt om alternativer og heller ikke testet løsningen mot disse.

Videreutvikling av reiseregningsprogrammet vil kreve aksept for lisensen til Adobe Flex. I følge Adobe finnes Adobe Flax som Eclipse-utvidelse i en betautgave for Linux, men jeg vet ikke om denne er tilstrekkelig for å bygge reiseregningsprogrammet. Jeg mistenker at valg av teknologi gjør at svært få fri programvareutviklere ser det som interessant å involvere seg i videreutvikling av dette prosjektet. Personlig begrenser jeg meg til å jobbe med prosjekter som kan bygges og videreutvikles ved hjelp av fri programvare. Andre utviklere av fri programvare ser det åpenbart annerledes, da det jo finnes fri programvare på Windows. Vi får se om det er tilstrekkelig mange av dem til at FAD får bidragsytere utenfra. Prosjektet bærer litt preg av "kast det over gjerdet"-metoden for deling, der en legger ut koden men det ikke er klart hvem som skal skape fellesskapet som trengs for å få et fungerende fri programvareutviklingsmiljø.

Systemet viser fram et dynamisk skjema som fylles ut fortløpende, og der tidligere svar styrer hvilke alternativer en må fylle ut senere. Det henter informasjon om takster og regler fra FADs sider, der informasjonen skal være lagt ut i maskinlesbart format. Når en er ferdig med å fylle ut kan en hente ut en PDF og en XML-fil for utskrift eller videre lagring/behandling. Skjemaet er kun klientbiten, og eventuell integrering mot økonomisystemer følger ikke med. FAD lovte at de skulle bidra til at takster og regelfilene skulle holdes oppdatert. Konvertering til PDF var visst .NET-basert. Utviklerne hadde ingen idé om dette fungerte med fri programvareutgaver som Mono. .NET-utgaven skulle være en begrenset del av løsningen, og visstnok ble .NET valgt for å integreres med FADs eksisterende tjenerløsning. Løsningen kunne gjenbruke personinformasjon vha. XML-filer lagret lokalt på brukerens maskin, slik at en slapp å skrive inn samme informasjon hver gang. Sentralt lagring var ikke ønsket for å unngå personvernspørsmål, selv om dette gjorde det litt vanskeligere for brukeren.

Tags: norsk, nuug.
Elektronikkbyggesettet for reprapen sporet opp
16th December 2008

I dag fikk jeg endelig vite hva posten hadde gjort med elektronikkbyggesettet mitt. Fikk epost fra avsenderen, Zach 'Hoeken' Smith, som fortalte at posten hadde returnert pakken til ham. Ingen aning om hvorfor de klarte å sende pakkelappen til meg, men ikke selve pakken. De gode nyhetene er at vi forsøker igjen, og håper det går bedre denne gangen.

NUUGs replikator-prosjekt har de siste ukene fått et nytt medlem. Ole Kristian Lien har meldt seg for å bygge en reprap ved hjelp av plastdeler vi får skrevet ut på 3D-skriveren til Institutt for Informatikk i Oslo. Han er igang med å skaffe seg oversikt over hvilke deler som trengs derfra, og hvilke som kan skaffes fra jernvarehandel og f.eks. Clas Ohlson. Det er dermed gode håp om at vi har to 3D-skrivere operative over jul.

Tags: 3d-printer, norsk, nuug, reprap.
Mekanikk-delen av reprap-byggesettet i hus
9th December 2008

NUUG-prosjektet for å lage 3D-skrivere gjorde et lite hopp forover i dag. Jeg har som tidliger enevnt bestilt de to ferdige byggesettene for elektronikk og mekanikk, og i dag, endelig, ankom mekanikk-settet. Hurra. Håper å starte byggingen av mekanikksettet i romjula.

Når det gjelder bygging av reprap basert på deler fra IFIs 3D-skriver, så har NUUG avtale om at de lager plast-delene basert på STL-filer vi sender dem der, og printeransvarlig der har fått første dump av filer. Etter dette har jeg ikke klart å få tak i ham, så jeg tror han fortsatt er travelt opptatt. Håper det ordner seg snart. Det trengs frivillige for å bygge denne. Det innebærer blant annet å skaffe seg oversikt over hvilke plastdeler som må skrives ut, samt finne leverandør for skruver, mutt, metallstag, steppermotorer etc. Antar Clas Olsson og ELFA kan skaffe mye av dette, men har ingen plan om å sette meg inn i dette selv med det første. Frivillig til å skaffe seg sin egen 3D-skriver etterlyses, og kan melde seg på aktive@nuug.no.

Tags: 3d-printer, norsk, nuug, reprap.
Mekanikk-delen av reprap-byggesettet på vei
2nd December 2008

Endelig fikk jeg beskjed om at mekanikkbyggesettet er sendt fra England. Jeg kan følge pakkens bevegelser via web, og den er nå kommet fram til tollen i London. Da bør jeg ha den i hus om noen dager, hvis alt går bra.

Elekronikkbyggesettet ser det derimot dårligere ut for. Rette vedkommende i USA er på ferie, så jeg har ikke fått noe tilbakemelding på hvordan jeg får ordnet opp i kaoset posten etterlot da de rotet bort første pakke.

Tags: 3d-printer, norsk, nuug, reprap.
Reprap-pakke tapt i posten
27th November 2008

Siste nytt om reprap-pakken med elektronikk jeg har ventet på, er at posten har sendt meg et brev der de beklager at den er tapt. Da er det bare å bestille ny pakke og kreve erstatning fra Posten. Får håpe det går bedre denne gangen.

Mekanikkpakken har så vidt jeg kan se ennå ikke blitt sendt fra England, så også der spøker det for å få alt i hus før jul. Så lenge alt er klart til Go Open 2009 i april, så er det greit.

Tags: 3d-printer, norsk, nuug, reprap.
Amigafolket holder ut
26th November 2008

En sak på Linux Today om Amiga og hva som kunne skjedd hvis den originale Amiga-koden hadde vært GPL, minnet meg på prosjektet Aros. Aros-prosjektet går ut på å lage en klone av operativsystemet fra Amiga, slik at Amiga-folkene kan fortsette å bruke sine programmer på nyere maskinvare. Gledelig å se at det forsatt kommer nye utgaver og at de nærmer seg en komplett pakke. Kanskje Aros kunne vært interessant for et NUUG-foredrag?

Tags: amiga, aros, norsk, nuug.
Mens vi venter på 3D-skriveren
24th November 2008

Jeg synes ethvert møblert hjem bør ha sin egen replikator. Og for å få min replikator på plass, har jeg som del av NUUGs 3D-skriverprosjekt bestilt deler til en reprap fra utlandet, som skal bygges sammen slik at den kan demonstreres på Go Open 2009 i april. Foreløbig plan er å bygge to i parallell, en basert på byggesett fra utlandet, og en basert på deler skrevet ut på 3D-skriveren til Institutt for Informatikk ved Universitetet i Oslo. Jeg har fokusert på byggesettet, og håper noen andre vil ta ansvar for den hjemmelagede utgaven. :)

Nå er det den lange ventetiden som rår, etter at begge byggesettene er bestilt og betalt. Dog har visst den første pakken gått tapt etter at postens fikk den utlevert i Norge. Den er ferdig fortollet, og pakkelapp kom i postkassen før pakken var klar til henting. Det var 2008-11-07. Postens sporingssystem forteller at pakken ikke har beveget seg siden 2008-11-05, da den var innom omlastingsterminalen i Oslo. Dette var elektronikkbyggesettet som kom fra USA. Mekanikkbyggesettet er ennå ikke sendt fra England, og jeg håper det ikke går tapt på samme vis.

Tags: 3d-printer, norsk, nuug, reprap.

RSS Feed

Created by Chronicle v4.6