Traurig

wmenne · **Posted:** Mon Nov 20, 2006 11:45 pm

Langsam bekomme ich den Eindruck, daß es sich hier nicht um eine Beta, sondern um einen frühen Alpha Test handelt.

Daß 5000 Betatester nach einer Migration versuchen, fast gleichzeitig einzuloggen, sollte jedem Admin und seinem Projektleiter eigentlich klar sein. Konnte man vorher nicht einfach mal mit ein paar Scripten die Verbindung zwischen den Servern testen?

Jeder halbwegs vernünftige Server von der Stange ist in der Lage, problemlos um die 3500 gleichzeitige Verbindungen aufzubauen. Es hätte eine Kiste und ein intelligent programmiertes Script gereicht, um das zu testen, was wir seid einer Woche machen.
Und ja, dazu gehört auch die Verbindung zwischen Login- und Datenbankserver.

War ein Beta Test nicht dazu da, Clipping-, Umgebungs (Landscape)-, Logik- und Benutzerinterface-Fehler zu finden?
Zu sehen, wie die Engine sich verhält, wenn User unvorhergesehene Dinge machen?

Nun ja, klicken wir weiterhin auf "Explore Uru" und hoffen das Beste.

So ein wunderschönes Game und so eine schlechte technische Umsetzung :(

chucker · **Posted:** Mon Nov 20, 2006 11:50 pm

wmenne wrote:

Konnte man vorher nicht einfach mal mit ein paar Scripten die Verbindung zwischen den Servern testen?

Jeder halbwegs vernünftige Server von der Stange ist in der Lage, problemlos um die 3500 gleichzeitige Verbindungen aufzubauen. Es hätte eine Kiste und ein intelligent programmiertes Script gereicht, um das zu testen, was wir seid einer Woche machen.
Und ja, dazu gehört auch die Verbindung zwischen Login- und Datenbankserver.

Man kann also deiner Meinung nach 4900 Verbindungen aus verschiedenen Teilen der Welt, mit verschiedenen Latenzen, verschiedenen Hardware-Konfigurationen, verschiedenen Bandbreiten und voellig unvorhersehbarem Verhalten (sind ja schliesslich Menschen) testen?

Na du bist mir aber ein Experte.

Quote:

War ein Beta Test nicht dazu da, Clipping-, Umgebungs (Landscape)-, Logik- und Benutzerinterface-Fehler zu finden?
Zu sehen, wie die Engine sich verhält, wenn User unvorhergesehene Dinge machen?

Ein Beta-Test eines MMOG ist praezise dazu da, die Situation des Launches so akkurat wie moeglich zu simulieren.

Quote:

So ein wunderschönes Game und so eine schlechte technische Umsetzung

Du kannst dich ja bei Cyan bewerben.

*kopfschuettel*

wmenne · **Posted:** Mon Nov 20, 2006 11:59 pm

"Man kann also deiner Meinung nach 4900 Verbindungen aus verschiedenen Teilen der Welt, mit verschiedenen Latenzen, verschiedenen Hardware-Konfigurationen, verschiedenen Bandbreiten und voellig unvorhersehbarem Verhalten (sind ja schliesslich Menschen) testen?

Na du bist mir aber ein Experte."

Man kann auf jeden Fall eine vorhersehbare Menge an Login Versuchen nachstellen und dann feststellen, ob es wohl funktioniert. Haben wir oft genug gemacht. Auch für Systeme mit mehr als 4900 Usern.

Unvorhersehbares Verhalten beim Login gibt es nicht. Man gibt nen Namen an und das System versucht es mit der Datenbank abzugleichen.
Ob der User nun mit 56k oder 16 Mbit reinkommt ist eine Timing Frage die vorher geklärt werden kann.

Das Unvorhergesehene passiert später, und das meine ich mit "Beta Test".

"Ein Beta-Test eines MMOG ist praezise dazu da, die Situation des Launches so akkurat wie moeglich zu simulieren."

Was meinst du mit "Launch"?
Einloggende User oder User, die sich im System befinden und interagieren?

"Du kannst dich ja bei Cyan bewerben."
Nein Danke.

"Kopfschüttel"
Hilft auch nix

chucker · **Posted:** Tue Nov 21, 2006 12:03 am

wmenne wrote:

Man kann auf jeden Fall eine vorhersehbare Menge an Login Versuchen nachstellen

Ja.

Quote:

und dann feststellen, ob es wohl funktioniert.

Nein.

Quote:

Unvorhersehbares Verhalten beim Login gibt es nicht. Man gibt nen Namen an und das System versucht es mit der Datenbank abzugleichen.
Ob der User nun mit 56k oder 16 Mbit reinkommt ist eine Timing Frage die vorher geklärt werden kann.

Nein, die kann eben nicht vorher geklaert werden, und genau dieses Timing ist das momentane Problem.

Concurrency-Probleme lassen sich nie gut vorhersehen.

Quote:

Was meinst du mit "Launch"?
Einloggende User oder User, die sich im System befinden und interagieren?

Die Veroeffentlichung des Produktes.

wmenne · **Posted:** Tue Nov 21, 2006 12:18 am

"Nein, die kann eben nicht vorher geklaert werden, und genau dieses Timing ist das momentane Problem.

Concurrency-Probleme lassen sich nie gut vorhersehen."

Seltsam, da habe ich andere Erfahrungen.
Nicht was das Vorhersagen angeht, es ist klar, daß solche Probleme auftreten können (und garantiert auch auftreten werden).
Null (oder 2 %) eingehende User sind nun mal ein Armutszeugnis.

Das hier ist doch nicht das erste Online Game der Welt, es sollten doch irgendwelche Erfahrungswerte existieren. Vor allem, da einige existierende Games Oracle verwenden und Oracle selber etwas daraus gelernt haben sollte.

Aber deine Quotes sind besser!

chucker · **Posted:** Tue Nov 21, 2006 12:22 am

Probleme bei anderen MMOGs sind keineswegs selten, insbesondere in der Beta-Phase.

Aber was soll's

wmenne · **Posted:** Tue Nov 21, 2006 12:24 am

chucker wrote:

Probleme bei anderen MMOGs sind keineswegs selten, insbesondere in der Beta-Phase.

Aber was soll's

... genau.

Und du schreibst schneller

Tiran · **Posted:** Tue Nov 21, 2006 1:51 am

wmenne wrote:

Daß 5000 Betatester nach einer Migration versuchen, fast gleichzeitig einzuloggen, sollte jedem Admin und seinem Projektleiter eigentlich klar sein. Konnte man vorher nicht einfach mal mit ein paar Scripten die Verbindung zwischen den Servern testen?

Überleg mal, wie viel Arbeit und Geld es kostet, 5000 Computer in der ganzen Welt zu besorgen und die Scripte dafür zu schreiben.

wmenne wrote:

Jeder halbwegs vernünftige Server von der Stange ist in der Lage, problemlos um die 3500 gleichzeitige Verbindungen aufzubauen. Es hätte eine Kiste und ein intelligent programmiertes Script gereicht, um das zu testen, was wir seid einer Woche machen.
Und ja, dazu gehört auch die Verbindung zwischen Login- und Datenbankserver.

Die Verbindung zwischen DB Cluster und Server Cluster ist Peanuts. Hast du schon mal mit einem wirklich großen Cluster gearbeitet? Ich hatte schon mal das Vergnügen, mich mit einem Frontend für ein Oracle System für viele Hundertausende von Kunden herumschlagen zu dürfen. Nie wieder.

wmenne wrote:

War ein Beta Test nicht dazu da, Clipping-, Umgebungs (Landscape)-, Logik- und Benutzerinterface-Fehler zu finden?
Zu sehen, wie die Engine sich verhält, wenn User unvorhergesehene Dinge machen?

Das haben wir schon lange hinter uns. Diese Fehler hat das QA Team von Cyan und die ersten 500 bis 1.000 Beta Tester gefunden. Seit einigen Wochen geht es nur um Lasttests.

chucker · **Posted:** Tue Nov 21, 2006 7:12 am

Tiran wrote:

wmenne wrote:

Daß 5000 Betatester nach einer Migration versuchen, fast gleichzeitig einzuloggen, sollte jedem Admin und seinem Projektleiter eigentlich klar sein. Konnte man vorher nicht einfach mal mit ein paar Scripten die Verbindung zwischen den Servern testen?

Überleg mal, wie viel Arbeit und Geld es kostet, 5000 Computer in der ganzen Welt zu besorgen und die Scripte dafür zu schreiben.

Er meinte vermutlich eher, das Verhalten solcher 5000 Computer zu simulieren.

Hamsta · **Posted:** Tue Nov 21, 2006 11:34 am

Wer sacht denn das die das nicht gemacht haben (vorher getestet mit Scripts o.ä.)?

Und wie meine Vorredner schon kontruktiv beantwortet haben: InGame Tests gibts schon seit ner Weile ;-)

The.Modificator · **Joined:** Tue May 09, 2006 4:06 pm **Posts:** 249

Letztendlich sind wir ja auch nicht hier, um uns über diese Fragen den Kopf zu zerbrechen.

Ich seh meine Aufgabe eigentlich nur im Testen und nicht im Fragenstellen wegen technischer (und erst recht nicht inhaltlicher) Umsetzung. Das können wir dann machen, wenn es wirklich los geht.

Modi

kateR · **Posted:** Tue Nov 21, 2006 5:57 pm

Tja man kann eben sorgfältiger arbeiten oder weniger sorgfältig arbeiten.
Ich habe seit Jahren den 2-teren Eindruck. Aber gut, es liegt nun bedauerlicherweise 'mal einfach ein Fehler vor, der so der Teufel will passieren kann, und ich frage mich weshalb es mich gar nicht verwundert. ;-)

Vermutlich aber wäre diese Situation zu 90% zu begrenzen gewesen, wenn hier nicht wieder gehuddelt und geschlampt werden würde. :roll:

Irgendwo in diesem Forum habe ich gelesen: "Wenn ein wirtschaftlich orientierter Betrieb durch so eine Situation eine Woche lang ausser Gefecht gesetzt wird, mit 100%iger Sicherheit einige Köpfe rollen würden."

Und da muss ich zustimmen. :wink:

..., obwohl ich den Anblick rollender Köpfe ... hmm aäh na ja lassen wir das.

Tja irgendwie ist der Punkt: Die eine Seite hat keine Zeit, und die andere Seite muss sich einfach die Zeit nehmen.

Kai-Uwe · **Posted:** Tue Nov 21, 2006 6:48 pm

Vielleicht liegt es ganz einfach daran, das sich bestimmte Sachen eben nicht vorausberechnen, sondern nur im praktischen Versuch ermitteln lassen.
Und von wegen sorgfältiger Arbeit mal ein ein Beispiel aus einer völlig anderen Branche: der Automobilindustrie. Ich nenne keine Namen, weil das auf alle diese Firmen zutreffen sollte. Diese Firmen machen, mehr oder weniger, seit Jahrzehnten nichts anderes als ständig neue Typen zu entwickeln und auf den Markt zu bringen. Wieso, zum Henker, müssen die diese dann eigentlich noch testen bzw. Änderungen am Prototyp vornehmen oder sogar Rückrufaktionen starten? Können die nicht sorgfältig arbeiten? Bei Rückrufaktionen meine ich jetzt nicht solche, wo eventuell aus Kostengründen Billigschrott eingebaut wurde.
Um mal zum Kern zu kommen: es ist einfach so, das es in komplexen Systemen auch vielfältige Fehlermöglichkeiten gibt. Und unter sorgfältiger Arbeit verstehe ich, das diese Fehler vor einer Freigabe/Veröffentlichung/Verkauf gesucht und möglichst ausgemerzt werden. Genau das passiert jetzt - wieso haben hier einige eigentlich ein Problem damit???

Kai-Uwe

The.Modificator · **Joined:** Tue May 09, 2006 4:06 pm **Posts:** 249

Kai-Uwe wrote:

Und unter sorgfältiger Arbeit verstehe ich, das diese Fehler vor einer Freigabe/Veröffentlichung/Verkauf gesucht und möglichst ausgemerzt werden. Genau das passiert jetzt - wieso haben hier einige eigentlich ein Problem damit???

Danke - du bringst es für mich auf den Punkt.

Modi

Tiran · **Posted:** Tue Nov 21, 2006 7:22 pm

Kai-Uwe wrote:

Und unter sorgfältiger Arbeit verstehe ich, das diese Fehler vor einer Freigabe/Veröffentlichung/Verkauf gesucht und möglichst ausgemerzt werden. Genau das passiert jetzt - wieso haben hier einige eigentlich ein Problem damit???

Weil anscheinend viele Leute diesen Beta Test nicht als Beta sehen sondern als kostenlose Möglichkeit das Spiel lange vor dem Release zu spielen.

Beta Testing ist harte Arbeit und nur sekundär bis terziär Spass.

Traurig

Who is online