Alle Postings (153)

2017

Computer, Informatik und IT

Physik - die Ernte!

Subversiv? Physik?

Meine Philosophie!

Scripts erzeugen Scripts

2016

Theoretische Physik als Hobby

Selbstbezügliche Poesie

Stille Website

'Machst Du noch PKI?'

Meine Philosophie (?)

Wie wirkt Physik?

2015 ist nicht viel passiert

2015

Unaussprechliches

Selbst-Poesie

Letztes Posting...

Web-Projekt: Status-Update

Wir unterbrechen ...

Unsere Photovoltaik-Anlage

Soziale Schulden

PKI-Status-Update

Leben und Arbeit

IT-Postings

Alte Weisheiten - neue Popularität

Definition: 'Subversiv'

2014 in Büchern

Zu den Wurzeln von radices

Physik-Postings

Physiker oder Ingenieur?

Ing.-Postings

Wirkliche Expertin

2014

2014 - ein gutes Jahr

Fast 20 Jahre danach

Ingenieurs-Links

Jahresansprache

Was ist Kunst?

Bio

PKI FAQ

Worte und Google

Zertifikate und Wärmepumpen

Technet-Postings

WOP!

Leben, das Universum und überhaupt alles.

Oh-oh, kein Posting im März

Radices = Wurzeln = Roots

PKI-Probleme

PKI Ressourcen

PKI-Probleme

Arbeit

Schreiben

Was ist PKI?

Ich stehe auf den Schultern subversiver Giganten

PKI - Netzwerke - Smart Grid

Suchbegriffspoesie

Quantenfeldtheorie

Plattform für Poeten

2013 in Büchern

2013

Nutzbar machen, erklären, beurteilen

Lebensform Elke Stangl

Technologie

Was fasziniert mich an der Physik?

Naturphilosophische Praxis?

elkement and diese Site

Sind Netzwerke sozial?

Retrospektion

Newsletter-Wiederbelebung

Wilhelm Macke: Internet-Spuren

2012

Gratis, umsonst und nutzlos

Subversiver Jahresbericht

Was ist Energie?

Prof. Wilhelm Macke

Mein Leben ist ein Klischee(?)

Netzwerke (Kategorie)

Wissenschaft - Kindheitsmelodie

Freude am Klischeé

Möchtegern-Netizen

Der tägliche Untergrund

Parawissenschaften - Resümee

Profil

Parawissenschaft - Bücher

Das Element ist zurück!

Offline

PKI: Zwischenstand

2011

Warteschleife

Naturwissenschaft - Arbeitswelt

Nicht originell

Das ganze Internet...

Experte

Kurz vor einem Neubeginn

Die rote Pille

Erkenntnis

2008

Netizen (2)

2007

Das Ende

Früher einmal...

2006

Netzwerktheorie

2005

Tsunami-Physik

Nullpunktsenergie

Nr.9 - Krypton

radices.net - Internet

Hier ist der Ausgang

Element-Art

Skeptizismus und Esoterik

Der totale Spielraum

Nr.8 - Brave New Online World

Nr.7 - Wer ist DAS Element?

Moderner Networker

Liebe zur Weisheit

EPSI-Kult

EPSI

Nr.6 - The Art of Networking

Unterteilung der Physik

Ich bin ein Dilettant!

Bewusstseinserweiternd

Was ist 'subversiv'?

(Para-)Wissenschaften global

Epigonen

2004

Nr.4,5 - Welcome

Beruf, Berufung, Interesse

Nr.4 - Selbstfindung

Subversiver Römer für die Sammlung

Existenz

Parawissenschaften

Nr. 3: Internet-Apocalypse

Skeptizismus

Meta-Gefasel

Keine Ahnung von Kunst

Ur-Fragen

Umsonst

Dejavu

Bewegungsgleichung

Bildungsideal

Physik repräsentiert...

Nr. 2: Primzahl

Nerd, Geek, Techie

Nr. 1 von mindestens 42

Subversiver Newsletter

Best of Log

Netizen

Magie der Deadlines.

2003

Anstelle eines Lebenslaufes

Was ist Wissenschaft?

Captain Kirk's Lieblingsbefehl

Wissensmanagement

Keine Navigation

radices.net - Geschichte

Bücher: Meine Favoriten

2002

Elke war da

2000

Pinkes Raumschiff

1998

Worte

Goldene Talente

Lebensplanung oder Chaos

Wissenschaftliche (?) Laufbahn

1996

Rede zur Promotion

1987

Die 'heutige Jugend'

Das ist wieder einmal ein Beitrag zur Kategorie Technik – wobei die Grenzen zu 'IT' nicht sehr deutlich definiert sind, wie mein letzter Blogartikel über die Datenkrake zeigen.

Ich bin ja bei uns die Theoretische Abteilung und zuständig für Softwareentwicklung, Simulationen und Messdatenauswertung für unser Wärmepumpensystem (und das anderer Siedler, auch 'Kunden' genannt).

Es gibt einen wesentlichen Unterschied zwischen reinen IT-Projekten (z.B. PKI-Consulting) und 'Ingenieursprojekten mit IT': In letzterem Fall kenne ich und definiere ich die Anforderungen der Software zu 100% selbst – im Zentrum steht immer 'irgendetwas mit Energie'; im anderen Fall arbeite ich an Software oder Infrastruktur für Anforderungen, die jemand anderer definiert.

Glücklicherweise lässt sich fast alles, was ich jemals in der IT gemacht habe, auch 'energiebezogen' wiederverwerten: Heizungen und Steuerungen werden Teil des Internet of Things – IT-Sicherheit ist ein zentrales Thema. 2015 habe ich diese Website komplett umgebaut, endlich in .NET (und ASP endlich deaktiviert ?). Als Spin-Off davon wurde auch meine numerische Simulation unseres Wärmepumpensystems eine .NET-Applikation: Jede Komponente im Hydraulikschema wird zu einem Objekt; fast ein Lehrbuchbeispiel. 2014 wurde aus einer immer schwerer zu bändigen Excel-Datei mit Makros endlich eine SQL-Server-Datenbank. Die Datenkrake wurde seither schrittweise erweitert, Excel-Plots wurden automatisiert erstellt etc.

Hin und wieder kommen mir diese Datenkraken-Skills auch in den 'eigentlichen' IT-Projekten zugute – damit meine ich meine PKI-Projekte. (Die IT-Kategorie hier ist ja irgendwie zu einer Art Timeline verkommen mit Status-Updates zum Thema 'Machst Du noch PKI?'.) Es kann ja ganz nützlich sein, ein Certificate Practice Statement entsprechend dem RFC semi-automatisch zu erzeugen. Aber ich würde mich nie als Experten für Datenanalyse, SQL, o.Ä. bezeichnen: Ich bin eigentlich wieder dort angekommen, von wo ich vor vielen Jahren losgezogen bin.

Als IT-Berater bin ich immer wieder gefragt worden: Wie kommt man als Physiker in die IT? Die logische Begründung ist die unvermeidbare Programmiererfahrung des Physikers. Ja, auch ich habe vor vielen Jahren an Software mitentwickelt auf der Uni (an einem unübersichtlichen Haufen Software, ganz ohne Frameworks, Methodologien und Qualitätssicherung) – der Automatisierung der Messung der elektrischen Eigenschaften supraleitender dünner Schichten. Aber ich war experimenteller Physiker und meine Arbeit war nicht wahnsinnig 'computational' – genauso wenig erforderte meine spätere Beschäftigung mit angewandter Kryptografie (Public Key Infrastructure) tiefe mathematische Kenntnisse im täglichen Umgang. Eigentlich sehe ich die Parallele zwischen Physik und IT eher darin, dass Software sehr schnell genauso komplex wie unvorhersehbar wie ein von vielen Parametern beeinflusstes Naturphänomen. Man benötigt Geduld, Durchhaltevermögen und Freude daran, sich beim Troubleshooting durch einen Hyperraum von Möglichkeiten zu tasten – was in der Praxis heißt, den immer gleichen Prozess mit kleinen Änderungen immer wieder durchzuspielen.

Auch wenn sich das für Nicht-Geeks sehr langweilig anhört: Aus meiner Sicht sind diese Software-Basisarbeiten genau dann lohnend und interessant, wenn das große Ganze – der eigentliche Zweck, das 'Zielsystem' – lohnend ist. Und Letzteres sind für mich Wärmepumpen, Stromzähler, PV-Generatoren o.Ä. Da investiere ich gerne Stunden in das Debugging des Verhaltens fragwürdiger Firmware-Updates – genauso wie ich damals zumindest die Grundlagen von Turbo Pascal lernen musste, um Tieftemperaturmessungen durchzuführen.

2017 konzentriere ich mich auf die langsame Weiterentwicklung (und das Troubleshooting ?) der Datenkrake – und die langsame Annäherung von Messdatenauswertung (Echtkrake) und Simulation (virtueller Krake).

Hier einmal eine Bestandsaufnahme der aktuellen Features der Datenkrake – das ist der eigentliche Zweck dieses Artikels:

  • Dokumentation aller Sensoren bzw. Messwerte verschiedener Datenlogger (Wärmepumpe / UVR16x2, Smart Meter, PV-Wechselrichter…) in einer Access-Datenbank – einer kleine Proto-Krake.
  • Dokumentation aller Änderungen an Sensoren und Logfiles, wie: Durcheinander geworfener Logfile-Spalten, neue Namenskonventionen für Logfiles, oder ausgetauschte Sensoren. Z.B. wurde die manuelle 'Lineal'-Ablesung des Füllstandes im Eisspeicher ersetzt durch einen automatisierten Füllstandsmesser.
  • Ein Powershell-Script holt sich alle Roh-Logfiles und macht das unvermeidliche Datumsformat- und Dezimalkomma-oder-Punkt-Voodoo (performanter als eine entsprechende nachträgliche Änderungen im SQL-Server).
  • Dann erzeugt diese Powershell-Script die SQL-Scripts, die den eigentlichen Import und die Berechnungen in der Datenbank durchführen – ein Set von Scripts und eine SQL-Datenbank pro Siedler (Kunde). Z.B. werden die CREATE TABLE oder ALTER TABLE Befehle für die jeweils benötigen Felder aus der Felddokumentation in der Access-Proto-Krake erzeugt.
  • Diese SQL-Scripts sorgen dann dafür, dass nur Daten der richtigen (neuesten) Logfiles importiert werden – in eine Zwischentabelle. Jede SQL-Datenbank kann damit ggf. von Null weg neu aus den CSV-Dateien und der Access-Dokumentation erzeugt werden.
  • Die Zwischentabelle ist nötig, um Fehler korrigieren zu können: Z.B. werden vom Logger selbst als Fehler gekennzeichnete Werte (9999) identifiziert, oder Werte werden auf der Basis einer Tabelle besonderer Ereignisse (Sensor X war zwischen Y und Z Uhr nicht aktiv) auf NULL gesetzt.
  • Zum Schluss läuft dann endlich das wichtigste SQL-Script: Die eigentlichen Berechnungen von Mittelwerten, von Energien aus aktuellen Leistungen (Kollektorernte, Heizenergie…), Arbeitszahlen, Laufzeiten etc. Dafür sind einige 'Ebenen' an SQL-Views nötig.
  • Das Frontend dazu ist natürlich … Microsoft Excel! Tabellen von täglichen, monatlichen und jährlichen Kennwerten werden so dargestellt, dass man einfach zwischen verschiedenen Zeiträumen umschalten kann.
  • Diagramme werden verwendet, um Tagesgänge darzustellen (wie ändert sich das Eisvolumen?) oder Balkendarstellungen der monatlichen oder jährlichen Energiebilanzen. Die im Diagramm benötigten Felder und der Zeitraum werden in einer Definitionstabelle für die Diagramme ausgewählt, so dass die eigentlichen Plots dann automatisch geändert werden können. Details wie Farben und Strichbreite werden direkt im Diagramm geändert.

So seltsam wie diese Architektur klingt – bis jetzt war es möglich durch diese relative Unabhängigkeit der 'Teildatenbanken' das ganze System Schritt für Schritt weiterzuentwickeln … in einem Umfeld, in dem Veränderung die einzige Konstante ist … bedingt durch externe Einflüsse wie unvorhersehbare Auswirkungen von Firmware-Updates.

Datenkrake - Plottomat

Persönliche Website von Elke Stangl, Zagersdorf, Österreich, c/o punktwissen.
elkement [ät] subversiv [dot] at. Kontakt