バンドはパルンボとベックがキャンプで出会った後の1993年の夏に結成された。バンド名についてベックはこう述べる。「俺たちにはバンド名の候補の

バンドはパルンボとベックがキャンプで出会った後の1993年の夏に結成された。バンド名についてベックはこう述べる。「俺たちにはバンド名の候補のリストがあって、その中でどれが最もクールかという点だけで選ぼうとしていた。当時はマウスピース(mouthpiece)やカーブジョー(curbjaw)といった二つの単語を組み合わせたバンドが多く存在していて、そこで最初に目に留まったのがスウィフトキック(Swiftkick)だった。本当のところ、俺はどれでも良かったのだけれど、それだと少しばかりダサいってことで、結局はグラスジョーに落ち着いた。そこに特別な理由は無いよ。ただ響きがクールだったというだけで。」1994年、バンドは最初のライヴをニューヨーク州のオーシャンサイドにて行う。バンド活動初期、ベックとウェインストックはユダヤ系 ストレート・エッジ メタルコア バンドであるサンズ・オブ・アブラハム(Sons of Abraham)としても活動していた。ここでの活動はグラスジョーにも多大な影響を及ぼしており、1stアルバムに収録された｢Hurting and Shoving (She Should Have Let Me Sleep)｣はサンズ・オブ・アブラハムにて初期に書かれた曲である。同時期、パルンボも自身のストレート・エッジバンドXbustedXとしての活動を掛け持ちしていた。ニューヨークのハードコアシーンで活動していた頃のバンドはメンバーチェンジを頻繁に行っており、初期のベックの担当楽器はドラムであったが、1998年にアリエル・テルフォードが脱退するとベースに転向し、1999年にクリス・バルドウィンが脱退し、マニュエル・カーレロが加入するとリードギターに転向した。1994年から1999年の間、バンドは数回に亘ってデモをレコーディングしており、その中の曲はいくつか後にリリースされる作品に収録されているが、そのまま日の目を見なかった曲も多い。1997年にレコーディングされ、彼らの名前を一躍有名にした５曲入りのEP『キス・キス・バン・バン』は同年に2センツ・ア・ポップ(2 Cents a Pop) レーベル から インディーズ リリースされ、後の2001年にはレーベルを介さず再発売された。このEPに収録されている｢Star Above My Bed｣は現在でも セットリスト に加えられる程人気が高い。1999年にドン・フューリーを迎えて行われたレコーディングは、後にリリースされるデビューアルバム『エヴリシング・ユー・エヴァー・ウォンテッド・トゥ・ノウ・アバウト・サイレンス』に収録されることになる曲を多く含んだ重要なものとなった。