Morse-MP3-Files aus dem ARD-Teletext erzeugen

von Ralf Beesner

Elektronik-Labor  Projekte  Mikrocontroller  Raspberry     

#!/bin/bash

# Programm lädt ARD-Teletext-Seiten fuer Mobilgeraete herunter, extrahiert die
# Nachrichten und formatiert sie fuer die CW-Wiedergabe
#
# Damit man das Programm leichter anpassen kann, falls das Format der 
# Teletext-Seiten mal geändert wird, erfolgt die Umwandlung in mehreren
# separaten Schritten und unter Zwischenspeichern der Text-Files

# Genutzt werden der Textbrowser links, ebook2cw, awk, grep, sed und tr
# Die letzten 4 sind Standard, die ersten beiden muessen unter Debian usw. mit
# "sudo apt install links ebook2cw" installiert werden



function getpages()

{
    # Der Browser "links" lädt html-Seite runter und wandelt sie in Text, dieser 
    # wird in die Datei "<Seitennr>-a.txt" geschrieben:

    links -dump "https://www.ard-text.de/mobil/"$page > /tmp/a2m/$page-a.txt
}

function txt2cw()

{
    echo "encoding mp3"

    # -w: Speed  -f: Frequenz  -p: unterdrueckt <BT>  -t: MP3-Tag  -a: Autor
    # -q 9: schlechteste mp3-Qualitaet  -u UTF8-Textcodierung  -o: Praefix Output-File

    ebook2cw -w $speed -f 600 -t $page -a ebook2cw -p -q 9 -u -o /tmp/a2m/$page-  /tmp/a2m/$page-d.txt   2>&1 > /dev/null
}


function extractmsgs()

{
    echo "extracting table" $page

# Pruefen, ob der String ">>" auf der Seite vorhanden ist: 

    if  ! grep -q ">>" /tmp/a2m/$page-a.txt ; then
        # wenn nicht vorhanden, page auf 800 setzen, damit die while-Schleife verlassen wird
        page=800
    fi


# "cat" listet das File und uebergibt es an "awk". "Awk" filtert die Textteile zwischen 
# ": Nachrichten" und ">>" heraus. Da diese beiden unerwuenschten Zeilen noch im 
# resutierenden Textblock  enthalten sind, werden sie mit "grep -v" gesucht und verworfen
# Ergebnis wird in "<Seitennr>-b.txt" geschrieben:

    cat /tmp/a2m/$page-a.txt | awk '/: Nachrichten/,/>>/' | grep -v ': Nachrichten' | grep -v '>>' > /tmp/a2m/$page-b.txt


# "cat -s" wandelt mehrfache Leerzeilen in genau eine Leerzeile
# der erste "sed"-Aufruf loescht Leerzeichen am Zeilenanfang
# der zweite "sed"-Aufruf loescht letzte Leerzeile
# "tr" wandelt Gross- in Kleinbuchstaben. Ergebnis wird in "<Seitennr>-c.txt" geschrieben:

    cat -s  /tmp/a2m/$page-b.txt |  sed 's/^ *//' | sed '$,1d' | tr A-Z a-z  > /tmp/a2m/$page-c.txt


# erster "sed"-Aufruf wandelt "ß" in "ss"  (leider nur 1 * pro Zeile, darum zwei Mal)
# zweiter "sed"-Aufruf wandelt "%" in "prozent"  (auch nur 1 * pro Zeile)
# dritter sed-Aufruf haengt an leere Zeilen Trennungszeichen an
# echo-Befehl hängt "+" an das File
# Ergebnis wird in "<Seitennr>-d.txt" geschrieben:

    cat /tmp/a2m/$page-c.txt | sed 's/ß/ss/' | sed 's/ß/ss/' | sed 's/%/ prozent/' | sed 's/^$/-/' > /tmp/a2m/$page-d.txt
    echo -n " +       " >> /tmp/a2m/$page-d.txt

# optional: Wandlung von Umlauten:
# Ergebnis wird in <Seitennr>-e.txt geschrieben:

#    cat /tmp/a2m/$page-c.txt | sed 's/ä/ae/' | sed 's/ö/oe/' | sed 's/ü/ue/' > /tmp/a2m/$page-e.txt

}



# Hauptprogramm

clear
echo
echo "ARD-Teletext-Downloader"
echo "-----------------------"

if [ $1 == ]; then
    echo
    echo "speed in WpM was not appended!"
    echo
    exit
fi

echo
echo "speed = " $1
speed=$1

# ggf. alte Files löschen

if [ -d /tmp/a2m ]; then
    echo "deleting old files"
    rm /tmp/a2m/*
fi

# falls der Ordner /tmp/a2m" nicht existiert: anlegen

if [ ! -d /tmp/a2m ]; then
    echo "mkdir /tmp/a2m"
    mkdir /tmp/a2m
fi


# neue Ueberschrift und Datum/Uhrzeit der Meldungen:
# Ergebnis wird als Meldungskopf in "4.txt" geschrieben

page=100
echo "printing headerfile"
echo -n "   <KA>  ard-teletext - " > /tmp/a2m/$page-d.txt
echo -n "datum  " >> /tmp/a2m/$page-d.txt
date +%d.%m. >> /tmp/a2m/$page-d.txt
echo -n " - uhrzeit  " >> /tmp/a2m/$page-d.txt
date +%H":"%M >> /tmp/a2m/$page-d.txt
echo -n " +   " >> /tmp/a2m/$page-d.txt
txt2cw

#Workaround, um Fehlermeldung abzufangen:

touch /tmp/a2m/800-a.txt


# nun werden die gewuenschten Seiten heruntergeladen:

echo "downloading tt-pages 104-119"
page=104
while [ $page -le 119 ]; do
    getpages
    extractmsgs
    txt2cw
    let page++
done


echo "downloading tt-pages 136-139"
page=136
while [ $page -le 139 ]; do
    getpages
    extractmsgs
    txt2cw
    let page++
done


echo "downloading tt-pages 156-159"
page=156
while [ $page -le 159 ]; do
    getpages
    extractmsgs
    txt2cw
    let page++
done


# temporäre Textfiles löschen

if [ -d /tmp/a2m ]; then
    echo "deleting tempfiles"
    rm /tmp/a2m/*-[a-c].txt
fi

echo "finished!"
echo "----------"
echo

---

Elektronik-Labor  Projekte  Mikrocontroller  Raspberry